Taciana Serafim

O poder dos experimentos online: o clássico da HBR que continua atual

Experimentação
•
28/10/2026

Em resumo: publicado na Harvard Business Review em 2017, “The Surprising Power of Online Experiments” (o poder surpreendente dos experimentos online), de Ron Kohavi e Stefan Thomke, segue sendo a referência central sobre cultura de experimentação. A tese: empresas que testam em escala decidem melhor porque quase tudo que assumimos como óbvio falha no teste.

O artigo nasce de uma constatação desconfortável que Kohavi viveu na Microsoft e na Amazon: a maioria das ideias de melhoria falha quando testada. Não algumas, a maioria. Na Microsoft, cerca de um terço dos experimentos melhorava a métrica, um terço não mudava nada e um terço piorava. Se lá a intuição erra dois terços das vezes, por que a sua empresa decidiria diferente?

O que o artigo defende sobre experimentos online

Experimentos online baratos mudam a economia da decisão. Quando testar custa pouco, não faz sentido debater opiniões em reunião: testa-se. A escala importa porque efeitos pequenos, de 1% ou 2%, só aparecem com amostras grandes, e são esses efeitos que, somados ao longo de anos, constroem a vantagem competitiva.

O texto também introduz conceitos que viraram vocabulário da área: a OEC, a métrica única que resume o valor do negócio; o alerta contra métricas de vaidade; e a infraestrutura que permite a qualquer pessoa testar sem depender de um time central.

A parte que quase ninguém cita

O trecho mais útil do artigo não é o otimismo com a escala, é a honestidade sobre a taxa de fracasso. Se dois terços dos experimentos não melhoram nada, um programa de experimentação não é uma máquina de uplifts: é uma máquina de não fazer besteira cara. O valor econômico de evitar as piores ideias frequentemente supera o das que vencem. Escrevemos sobre esse custo invisível em o custo de não testar.

Minha leitura

Releio esse artigo quase dez anos depois e o que envelheceu melhor é a parte cultural: experimentação não é ferramenta, é a disposição de deixar o dado contrariar a hierarquia. Vejo empresas brasileiras comprando plataforma de teste antes de ter essa disposição, e o resultado é um teste por trimestre, escolhido a dedo para não contrariar ninguém. O artigo da HBR é o antídoto: o objetivo não é estar certo, é descobrir rápido onde se está errado. Para quem está nesse ponto da jornada, vale ler nosso texto sobre cultura de experimentação e o lembrete de que as empresas que mais crescem testam mais.

O que a gente aprende

  1. A maioria das ideias falha no teste. Planeje o programa para aprender com o fracasso, não para celebrar vitórias.
  2. Efeito pequeno composto vence efeito grande raro. Escala de testes é vantagem estratégica.
  3. Métrica única de valor primeiro. Sem uma OEC, cada teste vira uma negociação de narrativa.

Perguntas frequentes sobre o artigo da HBR

O que diz o artigo The Surprising Power of Online Experiments?

Publicado na HBR em 2017 por Ron Kohavi e Stefan Thomke, defende que experimentos online baratos mudam a economia da decisão e mostra que a maioria das ideias falha quando testada, o que torna a escala de testes uma vantagem competitiva.

O que é OEC em experimentação?

Overall Evaluation Criterion: a métrica única que resume o valor do negócio e orienta a leitura dos experimentos, evitando que cada teste seja avaliado por uma métrica diferente e conveniente.

Quantos experimentos realmente melhoram as métricas?

Na Microsoft, segundo Kohavi, cerca de um terço dos experimentos melhora a métrica, um terço não muda nada e um terço piora. A intuição erra dois terços das vezes.

Fontes

The Surprising Power of Online Experiments, Harvard Business Review, set-out 2017, via ExP Platform (em inglês). Traduzido e adaptado pela CRO Brasil.

Artigos relacionados

Veja também:

Marco Aragon

Como Gatilhos em Páginas de Produto Potencializaram as Conversões em 18%

O desafio:Um cliente realizou uma migração de plataforma para um ecossistema mais robusto que permitisse o...

Case/Experimentação
•
05/01/2026
Taciana Serafim

Anatomia de uma landing page de e-commerce que converte

No e-commerce, a página de produto (PDP) ou landing page de campanha é o campo de...

CRO
•
12/11/2026
Felipe Fogarolli

Como a Amazon fez um acordo para pagar US$2,5 bilhões por uma experiência do usuário negativa?

Em 2023, o Federal Trade Commission (FTC), o órgão responsável pela proteção dos consumidores e garantir...

UX e Pesquisa
•
30/01/2026