Taciana Serafim

Múltiplas comparações: o erro estatístico que sua intuição não percebe

Experimentação
•
13/11/2026

Em resumo: cada comparação extra que você faz em um teste A/B aumenta a chance de um falso positivo. É o problema das múltiplas comparações, o conflito mais subestimado entre intuição e estatística. O artigo da Statsig explica por que ele acontece e apresenta os métodos de correção.

A intuição diz que olhar os dados várias vezes ou medir vários KPIs não muda nada. A probabilidade discorda. O artigo usa uma analogia útil: um atirador com 10% de chance de errar o alvo vai errar pelo menos uma vez, com quase certeza, se atirar cem vezes. Cada teste adicional é um tiro a mais.

Onde as múltiplas comparações aparecem na prática

  • Várias métricas analisadas no mesmo teste: com 20 métricas a 95% de confiança, em média uma dá significativa por puro acaso.
  • Mais de duas variantes: cada par comparado é uma comparação a mais.
  • Resultados fatiados por segmento: cada corte multiplica as chances de um falso achado.
  • Olhar o teste repetidamente e parar quando der significância: o peeking de sempre, que é múltiplas comparações disfarçadas.

As correções disponíveis

O artigo apresenta os métodos clássicos: Bonferroni, conservador e simples; Holm, um meio-termo; Benjamini-Hochberg, que controla a taxa de falsas descobertas e preserva mais potência. A regra prática: quanto mais decisões você toma de um mesmo teste, mais rigorosa precisa ser a correção.

Minha leitura

A correção estatística é a solução cara para um problema que nasce mais barato no desenho. Uma métrica primária definida antes do teste elimina a maior parte das comparações espúrias, porque transforma todas as outras em exploratórias por contrato. Quem já trabalha assim reconhece o padrão no nosso guia de estatística de teste A/B. E para quem quer o alerta gêmeo: teste com variância contaminada entre grupos gera o sample ratio mismatch, outro erro silencioso que vale checar.

A pergunta de provocação para o seu time: se vocês medem 15 métricas por teste, quantas “vitórias” do último trimestre eram estatisticamente esperadas por puro acaso?

Perguntas frequentes sobre múltiplas comparações

O que é o problema das múltiplas comparações?

Cada comparação adicional em um teste A/B (mais métricas, mais variantes, mais cortes por segmento) carrega sua própria chance de falso positivo. Juntas, as chances se acumulam e resultados falsos parecem vitórias.

Como corrigir múltiplas comparações em testes A/B?

Com métodos como Bonferroni, Holm ou Benjamini-Hochberg, ou, melhor, pelo desenho: definir uma métrica primária antes do teste e tratar as demais como exploratórias.

Quantas métricas posso analisar em um teste A/B?

Uma primária, definida antes do teste. As demais podem ser analisadas como exploratórias, gerando hipóteses para testes futuros, mas sem embasar a decisão do teste atual.

Fontes

The problem of multiple comparisons in A/B testing, Statsig (em inglês). Traduzido e adaptado pela CRO Brasil.

Artigos relacionados

Veja também:

Taciana Serafim

Como Definir a Duração Ideal para Seus Testes A/B (Sem Perder Tempo e Dinheiro)

Você está prestes a lançar um teste A/B e uma pergunta não sai da sua cabeça:...

Experimentação
•
03/01/2026
Consent state antes do default no GTM
Taciana Serafim

Consent state antes do default: o aviso do GTM que denuncia consent mode mal configurado

O aviso 'a tag read consent state before a default was set' indica tags disparando antes...

Dados e Analytics
•
15/11/2026
Ygor Gonçalves

Tracking como base para decisões de mídia, produto e growth

Em muitas empresas digitais, decisões sobre investimento em marketing, evolução do produto e priorização de iniciativas...

Dados e Analytics
•
11/05/2026