Em resumo: a maioria dos testes A/B não mente de propósito, mas mente por omissão: peeking, amostra pequena, múltiplas métricas sem correção e efeito novidade produzem falsas vitórias. O artigo da Towards Data Science cataloga os erros mais comuns e por que passam despercebidos.
Todo time de CRO já viveu a cena: o teste A/B que deu verde na primeira semana, foi comemorado, implementado, e três meses depois ninguém encontra o ganho no resultado do negócio. O teste não mentiu sozinho. Ele foi conduzido de um jeito que quase garantia um falso positivo.
Os suspeitos de sempre em um teste A/B
- Peeking. Olhar o resultado todos os dias e parar quando fica significativo infla drasticamente a chance de falso positivo. É o erro mais comum e o mais racionalizado.
- Amostra pequena demais. Sem cálculo de amostra antes do teste A/B, qualquer conclusão é frágil.
- Múltiplas métricas sem correção. Medir 20 métricas e celebrar a que subiu é pescaria estatística.
- Efeito novidade. Usuários reagem à mudança porque ela é nova, não porque ela é melhor. Testes curtos capturam a novidade e confundem com preferência.
- Segmentação depois do fato. Vasculhar segmentos até achar um em que a variação venceu produz histórias, não conhecimento.
Minha leitura
O que mais me impressiona nesses erros é que nenhum deles é ignorância: todo mundo já ouviu falar de peeking. Eles persistem porque são convenientes. Parar o teste quando dá verde é a decisão que agrada a agenda, a liderança e o ego. O artigo é útil como checklist, mas o problema real é de incentivo. Enquanto o time for avaliado por quantidade de vitórias, a estatística vai continuar sendo torturada até confessar.
Tem também um vilão técnico que o artigo não cobre e que invalida testes sem avisar: o sample ratio mismatch, quando a divisão entre controle e variação sai errada. Vale checar antes de qualquer análise. E sobre duração mínima, temos o guia de como definir a duração ideal de um teste A/B.
O que fazer a respeito
A defesa é processo, não sofisticação: hipótese e métrica primária registradas antes do teste, amostra calculada, duração mínima respeitando ciclos de negócio e segmentos tratados como geradores de hipótese, nunca como conclusão. O detalhe de cada ponto está no nosso guia de estatística de teste A/B. A pergunta incômoda que fica: quantos dos seus últimos dez testes vencedores sobreviveriam a esse checklist?
Perguntas frequentes sobre testes A/B que mentem
Por que a maioria dos testes A/B mente?
Por erros de condução: peeking (parar quando fica significativo), amostra pequena, múltiplas métricas sem correção, efeito novidade e segmentação após o resultado. Todos inflam falsos positivos.
O que é peeking em teste A/B?
Olhar o resultado repetidamente e encerrar o teste quando ele fica estatisticamente significativo. Cada olhada é uma chance extra de falso positivo, então a significância declarada deixa de valer.
Como evitar falsos positivos em testes A/B?
Registrar hipótese e métrica primária antes do teste, calcular a amostra necessária, respeitar a duração mínima do ciclo de negócio e tratar análises de segmento como exploratórias.
Fontes
Why Most A/B Tests Are Lying to You, Towards Data Science (em inglês). Traduzido e adaptado pela CRO Brasil.

