Taciana Serafim

Por que a maioria dos testes A/B mente para você

Experimentação
•
05/11/2026

Em resumo: a maioria dos testes A/B não mente de propósito, mas mente por omissão: peeking, amostra pequena, múltiplas métricas sem correção e efeito novidade produzem falsas vitórias. O artigo da Towards Data Science cataloga os erros mais comuns e por que passam despercebidos.

Todo time de CRO já viveu a cena: o teste A/B que deu verde na primeira semana, foi comemorado, implementado, e três meses depois ninguém encontra o ganho no resultado do negócio. O teste não mentiu sozinho. Ele foi conduzido de um jeito que quase garantia um falso positivo.

Os suspeitos de sempre em um teste A/B

  • Peeking. Olhar o resultado todos os dias e parar quando fica significativo infla drasticamente a chance de falso positivo. É o erro mais comum e o mais racionalizado.
  • Amostra pequena demais. Sem cálculo de amostra antes do teste A/B, qualquer conclusão é frágil.
  • Múltiplas métricas sem correção. Medir 20 métricas e celebrar a que subiu é pescaria estatística.
  • Efeito novidade. Usuários reagem à mudança porque ela é nova, não porque ela é melhor. Testes curtos capturam a novidade e confundem com preferência.
  • Segmentação depois do fato. Vasculhar segmentos até achar um em que a variação venceu produz histórias, não conhecimento.

Minha leitura

O que mais me impressiona nesses erros é que nenhum deles é ignorância: todo mundo já ouviu falar de peeking. Eles persistem porque são convenientes. Parar o teste quando dá verde é a decisão que agrada a agenda, a liderança e o ego. O artigo é útil como checklist, mas o problema real é de incentivo. Enquanto o time for avaliado por quantidade de vitórias, a estatística vai continuar sendo torturada até confessar.

Tem também um vilão técnico que o artigo não cobre e que invalida testes sem avisar: o sample ratio mismatch, quando a divisão entre controle e variação sai errada. Vale checar antes de qualquer análise. E sobre duração mínima, temos o guia de como definir a duração ideal de um teste A/B.

O que fazer a respeito

A defesa é processo, não sofisticação: hipótese e métrica primária registradas antes do teste, amostra calculada, duração mínima respeitando ciclos de negócio e segmentos tratados como geradores de hipótese, nunca como conclusão. O detalhe de cada ponto está no nosso guia de estatística de teste A/B. A pergunta incômoda que fica: quantos dos seus últimos dez testes vencedores sobreviveriam a esse checklist?

Perguntas frequentes sobre testes A/B que mentem

Por que a maioria dos testes A/B mente?

Por erros de condução: peeking (parar quando fica significativo), amostra pequena, múltiplas métricas sem correção, efeito novidade e segmentação após o resultado. Todos inflam falsos positivos.

O que é peeking em teste A/B?

Olhar o resultado repetidamente e encerrar o teste quando ele fica estatisticamente significativo. Cada olhada é uma chance extra de falso positivo, então a significância declarada deixa de valer.

Como evitar falsos positivos em testes A/B?

Registrar hipótese e métrica primária antes do teste, calcular a amostra necessária, respeitar a duração mínima do ciclo de negócio e tratar análises de segmento como exploratórias.

Fontes

Why Most A/B Tests Are Lying to You, Towards Data Science (em inglês). Traduzido e adaptado pela CRO Brasil.

Artigos relacionados

Veja também:

Marco Cardozo

O custo de não testar

A maioria das empresas subestima o custo de não testar. Parece detalhe, mas decisão tomada no...

Experimentação
•
07/12/2025
Evelyn Lintz

Quais as diferenças entre UX e CRO: entenda a importância de ambos para o sucesso do seu site

UX cuida da experiência de usar o site; CRO cuida do resultado de conversão. Veja onde...

UX e Pesquisa
•
13/08/2025
CRO Brasil, comunidade de otimização de conversão
Taciana Serafim

Case AURUM: experimentação no trial multiplicou a ativação por 4

Case brasileiro: a AURUM transformou o trial do Astrea em programa de experimentação e levou a...

Case/Experimentação
•
18/10/2026