Taciana Serafim

Por que a maioria dos testes A/B mente para você

Experimentação
•
05/11/2026

Em resumo: a maioria dos testes A/B não mente de propósito, mas mente por omissão: peeking, amostra pequena, múltiplas métricas sem correção e efeito novidade produzem falsas vitórias. O artigo da Towards Data Science cataloga os erros mais comuns e por que passam despercebidos.

Todo time de CRO já viveu a cena: o teste A/B que deu verde na primeira semana, foi comemorado, implementado, e três meses depois ninguém encontra o ganho no resultado do negócio. O teste não mentiu sozinho. Ele foi conduzido de um jeito que quase garantia um falso positivo.

Os suspeitos de sempre em um teste A/B

  • Peeking. Olhar o resultado todos os dias e parar quando fica significativo infla drasticamente a chance de falso positivo. É o erro mais comum e o mais racionalizado.
  • Amostra pequena demais. Sem cálculo de amostra antes do teste A/B, qualquer conclusão é frágil.
  • Múltiplas métricas sem correção. Medir 20 métricas e celebrar a que subiu é pescaria estatística.
  • Efeito novidade. Usuários reagem à mudança porque ela é nova, não porque ela é melhor. Testes curtos capturam a novidade e confundem com preferência.
  • Segmentação depois do fato. Vasculhar segmentos até achar um em que a variação venceu produz histórias, não conhecimento.

Minha leitura

O que mais me impressiona nesses erros é que nenhum deles é ignorância: todo mundo já ouviu falar de peeking. Eles persistem porque são convenientes. Parar o teste quando dá verde é a decisão que agrada a agenda, a liderança e o ego. O artigo é útil como checklist, mas o problema real é de incentivo. Enquanto o time for avaliado por quantidade de vitórias, a estatística vai continuar sendo torturada até confessar.

Tem também um vilão técnico que o artigo não cobre e que invalida testes sem avisar: o sample ratio mismatch, quando a divisão entre controle e variação sai errada. Vale checar antes de qualquer análise. E sobre duração mínima, temos o guia de como definir a duração ideal de um teste A/B.

O que fazer a respeito

A defesa é processo, não sofisticação: hipótese e métrica primária registradas antes do teste, amostra calculada, duração mínima respeitando ciclos de negócio e segmentos tratados como geradores de hipótese, nunca como conclusão. O detalhe de cada ponto está no nosso guia de estatística de teste A/B. A pergunta incômoda que fica: quantos dos seus últimos dez testes vencedores sobreviveriam a esse checklist?

Perguntas frequentes sobre testes A/B que mentem

Por que a maioria dos testes A/B mente?

Por erros de condução: peeking (parar quando fica significativo), amostra pequena, múltiplas métricas sem correção, efeito novidade e segmentação após o resultado. Todos inflam falsos positivos.

O que é peeking em teste A/B?

Olhar o resultado repetidamente e encerrar o teste quando ele fica estatisticamente significativo. Cada olhada é uma chance extra de falso positivo, então a significância declarada deixa de valer.

Como evitar falsos positivos em testes A/B?

Registrar hipótese e métrica primária antes do teste, calcular a amostra necessária, respeitar a duração mínima do ciclo de negócio e tratar análises de segmento como exploratórias.

Fontes

Why Most A/B Tests Are Lying to You, Towards Data Science (em inglês). Traduzido e adaptado pela CRO Brasil.

Artigos relacionados

Veja também:

Matthaeus Carvalho

7 Lições de Crescimento Contra-Intuitivas que Líderes Ignoram (e Que Custam Milhões)

O mundo do marketing digital está obcecado por otimizações pontuais: reduzir CAC, otimizar a conversão de...

Encontros/Growth e Receita
•
17/10/2025
Mirle Ferraz

Otimização perpétua e a conversa como consumo na era zero-UI 

Mais de 25% dos aplicativos são abandonados após o primeiro uso. No 30º dia, a retenção...

IA aplicada
•
23/02/2026
Taciana Serafim

Pesquisa de palavras-chave na era da IA: de termos soltos a perguntas e temas

Como fazer pesquisa de palavras-chave quando as pessoas também perguntam à IA: intenção de busca, perguntas...

SEO e GEO
•
02/10/2026