Taciana Serafim

Múltiplas comparações: o erro estatístico que sua intuição não percebe

Experimentação
•
13/11/2026

Em resumo: cada comparação extra que você faz em um teste A/B aumenta a chance de um falso positivo. É o problema das múltiplas comparações, o conflito mais subestimado entre intuição e estatística. O artigo da Statsig explica por que ele acontece e apresenta os métodos de correção.

A intuição diz que olhar os dados várias vezes ou medir vários KPIs não muda nada. A probabilidade discorda. O artigo usa uma analogia útil: um atirador com 10% de chance de errar o alvo vai errar pelo menos uma vez, com quase certeza, se atirar cem vezes. Cada teste adicional é um tiro a mais.

Onde as múltiplas comparações aparecem na prática

  • Várias métricas analisadas no mesmo teste: com 20 métricas a 95% de confiança, em média uma dá significativa por puro acaso.
  • Mais de duas variantes: cada par comparado é uma comparação a mais.
  • Resultados fatiados por segmento: cada corte multiplica as chances de um falso achado.
  • Olhar o teste repetidamente e parar quando der significância: o peeking de sempre, que é múltiplas comparações disfarçadas.

As correções disponíveis

O artigo apresenta os métodos clássicos: Bonferroni, conservador e simples; Holm, um meio-termo; Benjamini-Hochberg, que controla a taxa de falsas descobertas e preserva mais potência. A regra prática: quanto mais decisões você toma de um mesmo teste, mais rigorosa precisa ser a correção.

Minha leitura

A correção estatística é a solução cara para um problema que nasce mais barato no desenho. Uma métrica primária definida antes do teste elimina a maior parte das comparações espúrias, porque transforma todas as outras em exploratórias por contrato. Quem já trabalha assim reconhece o padrão no nosso guia de estatística de teste A/B. E para quem quer o alerta gêmeo: teste com variância contaminada entre grupos gera o sample ratio mismatch, outro erro silencioso que vale checar.

A pergunta de provocação para o seu time: se vocês medem 15 métricas por teste, quantas “vitórias” do último trimestre eram estatisticamente esperadas por puro acaso?

Perguntas frequentes sobre múltiplas comparações

O que é o problema das múltiplas comparações?

Cada comparação adicional em um teste A/B (mais métricas, mais variantes, mais cortes por segmento) carrega sua própria chance de falso positivo. Juntas, as chances se acumulam e resultados falsos parecem vitórias.

Como corrigir múltiplas comparações em testes A/B?

Com métodos como Bonferroni, Holm ou Benjamini-Hochberg, ou, melhor, pelo desenho: definir uma métrica primária antes do teste e tratar as demais como exploratórias.

Quantas métricas posso analisar em um teste A/B?

Uma primária, definida antes do teste. As demais podem ser analisadas como exploratórias, gerando hipóteses para testes futuros, mas sem embasar a decisão do teste atual.

Fontes

The problem of multiple comparisons in A/B testing, Statsig (em inglês). Traduzido e adaptado pela CRO Brasil.

Artigos relacionados

Veja também:

Taciana Serafim

Anatomia de uma landing page B2B para geração de leads

No B2B, a landing page é um ativo estratégico para ciclos de venda longos e consultivos....

CRO
•
12/11/2026
Taciana Serafim

Replit Agent: como criar e publicar apps com IA (e quando faz sentido usar)

O que é o Replit e o Replit Agent, como criar e publicar apps por conversa,...

IA aplicada
•
02/10/2026
Taciana Serafim

Retenção de clientes: métricas, estratégias e experimentos

Retenção de clientes é a capacidade de manter clientes ativos e comprando ao longo do tempo...

Growth e Receita
•
31/10/2026