Em resumo: cada comparação extra que você faz em um teste A/B aumenta a chance de um falso positivo. É o problema das múltiplas comparações, o conflito mais subestimado entre intuição e estatística. O artigo da Statsig explica por que ele acontece e apresenta os métodos de correção.
A intuição diz que olhar os dados várias vezes ou medir vários KPIs não muda nada. A probabilidade discorda. O artigo usa uma analogia útil: um atirador com 10% de chance de errar o alvo vai errar pelo menos uma vez, com quase certeza, se atirar cem vezes. Cada teste adicional é um tiro a mais.
Onde as múltiplas comparações aparecem na prática
- Várias métricas analisadas no mesmo teste: com 20 métricas a 95% de confiança, em média uma dá significativa por puro acaso.
- Mais de duas variantes: cada par comparado é uma comparação a mais.
- Resultados fatiados por segmento: cada corte multiplica as chances de um falso achado.
- Olhar o teste repetidamente e parar quando der significância: o peeking de sempre, que é múltiplas comparações disfarçadas.
As correções disponíveis
O artigo apresenta os métodos clássicos: Bonferroni, conservador e simples; Holm, um meio-termo; Benjamini-Hochberg, que controla a taxa de falsas descobertas e preserva mais potência. A regra prática: quanto mais decisões você toma de um mesmo teste, mais rigorosa precisa ser a correção.
Minha leitura
A correção estatística é a solução cara para um problema que nasce mais barato no desenho. Uma métrica primária definida antes do teste elimina a maior parte das comparações espúrias, porque transforma todas as outras em exploratórias por contrato. Quem já trabalha assim reconhece o padrão no nosso guia de estatística de teste A/B. E para quem quer o alerta gêmeo: teste com variância contaminada entre grupos gera o sample ratio mismatch, outro erro silencioso que vale checar.
A pergunta de provocação para o seu time: se vocês medem 15 métricas por teste, quantas “vitórias” do último trimestre eram estatisticamente esperadas por puro acaso?
Perguntas frequentes sobre múltiplas comparações
O que é o problema das múltiplas comparações?
Cada comparação adicional em um teste A/B (mais métricas, mais variantes, mais cortes por segmento) carrega sua própria chance de falso positivo. Juntas, as chances se acumulam e resultados falsos parecem vitórias.
Como corrigir múltiplas comparações em testes A/B?
Com métodos como Bonferroni, Holm ou Benjamini-Hochberg, ou, melhor, pelo desenho: definir uma métrica primária antes do teste e tratar as demais como exploratórias.
Quantas métricas posso analisar em um teste A/B?
Uma primária, definida antes do teste. As demais podem ser analisadas como exploratórias, gerando hipóteses para testes futuros, mas sem embasar a decisão do teste atual.
Fontes
The problem of multiple comparisons in A/B testing, Statsig (em inglês). Traduzido e adaptado pela CRO Brasil.

