Taciana Serafim

Por que a Uber demoliu sua plataforma de experimentação e reconstruiu do zero

Case/Experimentação
•
30/10/2026

Em resumo: a Uber descobriu que uma parcela grande dos experimentos da sua plataforma antiga tinha problemas fatais de desenho e precisava ser refeita. A resposta foi demolir a Morpheus e construir uma plataforma de experimentação nova, com abstrações corretas, monitoramento automático e rollback de testes que prejudicam métricas de negócio.

O artigo da Uber Engineering abre com uma citação de R. A. Fisher, de 1938: chamar o estatístico depois que o experimento terminou é pedir uma autópsia. Ele só consegue dizer de que o experimento morreu. Quase um século depois, a Uber aprendeu a mesma lição na própria plataforma de testes A/B.

O que estava quebrado na plataforma de testes A/B da Uber

A Morpheus foi construída nos primeiros anos da empresa para feature flags e testes simples. Sete anos depois, suas abstrações só suportavam corretamente um conjunto estreito de desenhos. Desvios pequenos, como mudar a proporção de um rollout gradual, já geravam grupos de controle e tratamento incomparáveis, invalidando resultados sem que ninguém percebesse.

O sintoma organizacional era pior que o técnico: obter resultados confiáveis exigia conhecimento de especialista e análise manual, então refazer experimento mal conduzido virou rotina. Decisão lenta, retrabalho constante, confiança corroída.

Os princípios da reconstrução

A nova plataforma nasceu de três exigências: suportar corretamente uma variedade ampla de desenhos de experimento, dar agilidade para rodar e encerrar testes, e garantir qualidade por construção, não por vigilância. Na prática: randomização correta por desenho, monitoramento contínuo de métricas de negócio e reversão automática de testes que degradam o serviço.

Minha leitura

O ponto mais valioso do artigo é admitir que o problema não era a ferramenta em si, mas o que a ferramenta permitia passar despercebido. Grupo de controle contaminado é o tipo de erro que não grita: o teste roda, o número sai, a decisão é tomada em cima de uma comparação inválida. Se isso acontecia na Uber, com times inteiros de engenharia de experimentação, imagine no stack improvisado da maioria das empresas. Aliás, um dos jeitos mais comuns de um teste A/B estar inválido é o sample ratio mismatch, que tem guia próprio aqui no site.

E antes que alguém conclua que precisa construir plataforma própria: não precisa. Precisa garantir que cada teste tem hipótese registrada, grupos comparáveis e critério de encerramento definido antes de começar. Qualidade de experimento é pré-requisito de velocidade, não concorrente dela.

Perguntas frequentes sobre a plataforma de testes A/B da Uber

Por que a Uber reconstruiu sua plataforma de testes A/B?

Porque a plataforma antiga, Morpheus, só suportava corretamente desenhos simples de experimento. Desvios pequenos geravam grupos incomparáveis e resultados inválidos, e refazer experimentos mal conduzidos virou rotina.

O que a Uber priorizou na nova plataforma de experimentação?

Variedade de desenhos suportados corretamente, agilidade para rodar e encerrar testes e qualidade garantida por construção, com monitoramento automático e rollback de testes que prejudicam métricas de negócio.

Empresas menores precisam de plataforma própria de experimentação?

Não. O aprendizado transferível é sobre desenho de experimento: hipótese registrada, grupos comparáveis e critérios de encerramento definidos antes do teste.

Fontes

Supercharging A/B Testing at Uber, Uber Engineering (em inglês). Traduzido e adaptado pela CRO Brasil.

Artigos relacionados

Veja também:

Taciana Serafim

Estudo sobre a Netflix e sua cultura de experimentação

Sete experimentos feitos na página inicial da Netflix, com controle e variante vencedora, e o que...

Experimentação
•
26/04/2025
Taciana Serafim

Retenção de clientes: métricas, estratégias e experimentos

Retenção de clientes é a capacidade de manter clientes ativos e comprando ao longo do tempo...

Growth e Receita
•
31/10/2026
Taciana Serafim

Funil de conversão: o que é, etapas e como otimizar cada uma

Funil de conversão: o que é, quais são as etapas, como mapear o funil do seu...

CRO
•
08/11/2026