Taciana Serafim

Além do teste A/B: como o Airbnb acelerou em 50x a experimentação de busca

Case/Experimentação
•
26/10/2026

Em resumo: o time de busca do Airbnb tinha mais ideias para testar do que tráfego para testá-las. A solução foi o interleaving, técnica que mistura os resultados de dois algoritmos de ranqueamento na mesma lista e mede a preferência do mesmo usuário. Resultado: sensibilidade 50 vezes maior que um teste A/B, com 82% de concordância entre os métodos.

Quando você busca uma acomodação no Airbnb, um algoritmo decide o que aparece primeiro. Melhorar esse algoritmo é prioridade absoluta, mas o teste A/B tradicional tem um gargalo: viagens são transações raras, então cada experimento demora e consome tráfego que poderia testar outra ideia. É o mesmo gargalo de qualquer programa de experimentação, só que em escala maior.

O que é interleaving

No teste A/B, os usuários são divididos em dois grupos e cada um vê os resultados de um algoritmo. No interleaving, o mesmo usuário vê uma lista que mistura os resultados dos dois algoritmos, intercalados. A preferência é medida pelos cliques daquela pessoa, o que elimina a variância entre grupos, o maior consumidor de amostra do teste A/B.

Os números do Airbnb: um experimento de interleaving usa cerca de 6% do tráfego e um terço do tempo de um teste A/B equivalente. No caso extremo documentado, 0,5% do tempo e 4% do tráfego chegaram à mesma conclusão do teste A/B correspondente.

A esteira em três fases

O interleaving não substituiu o teste A/B: virou a peneira antes dele. Primeiro, avaliação offline com NDCG. Depois, interleaving para filtrar rápido as ideias promissoras. Só as que sobrevivem vão para o teste A/B completo. A fila anda mais rápido porque a maioria das ideias morre cedo e barato, sem consumir o recurso mais escasso do programa.

Onde o interleaving falha

A concordância de 82% com os testes A/B veio com um aprendizado importante: quando o algoritmo otimiza o conjunto da página, e não cada item isolado, o interleaving quebra a premissa e gera resultado enganoso. O exemplo do próprio time: um ranqueador que decide rebaixar anúncios com base na página inteira não pode ser avaliado item a item. A recomendação é avaliar caso a caso nesse cenário.

Minha leitura

O que vale copiar do Airbnb não é o interleaving, que exige infraestrutura que quase ninguém tem. É a arquitetura de esteira: hipóteses baratas de errar passam por filtros rápidos e baratos antes de consumir tráfego e tempo de teste. Na maioria das empresas, essa peneira pode ser pesquisa qualitativa, análise de gravações de sessão ou avaliação heurística antes do A/B. O princípio é o mesmo: o teste A/B é a etapa mais cara da esteira, então deixe para ele só o que merece.

E um elogio raro que o artigo merece: publicar a taxa de discordância junto com a de concordância. 82% de acordo significa 18% de divergência, e o time explica onde o método quebra. É o oposto do case de palco, em que tudo funciona sempre.

O que a gente aprende

  1. O gargalo de experimentação é tráfego, não ideia. Otimize a esteira antes de pedir mais volume.
  2. Métodos rápidos filtram, métodos caros confirmam. Interleaving filtra; A/B confirma; cada um no seu papel.
  3. Todo método tem um domínio de validade. Saber onde ele quebra faz parte de usá-lo.

Perguntas frequentes sobre interleaving

O que é interleaving em experimentação?

É uma técnica de avaliação online em que o mesmo usuário vê uma lista que mistura os resultados de dois algoritmos, e a preferência é medida pelos cliques. Elimina a variância entre grupos do teste A/B tradicional.

Interleaving substitui o teste A/B?

Não. No Airbnb, ele funciona como filtro rápido antes do teste A/B, que segue como etapa de confirmação. Os dois métodos concordam em 82% dos casos no estudo.

Quanto o interleaving acelerou a experimentação do Airbnb?

Cada experimento usa cerca de 6% do tráfego e um terço do tempo de um teste A/B equivalente, uma sensibilidade 50 vezes maior.

Fontes

Beyond A/B test: speeding up Airbnb search ranking experimentation through interleaving, Airbnb Engineering (em inglês). Traduzido e adaptado pela CRO Brasil.

Artigos relacionados

Veja também:

Stefano Emmanuel Rolla

Como mensurar a maturidade dos seus experimentos em CRO (Guia prático)

Seus experimentos estão realmente maduros… ou só parecem organizados? Você sabe dizer: Se essas respostas não...

Experimentação
•
11/02/2026
Paula Roberta Teixeira Perdiz Pinheiro

Case de CRO: como a Livelo aumentou em 5,6pp a conversão com vitrines personalizadas e cross-selling na jornada

Personalizar vitrines por geolocalização e oferecer produtos complementares no pós-compra elevou a conversão da vertical de...

Case/Experimentação
•
16/07/2025
Paula Bernardo Athayde

Case CRO: como um banner com CTA direto aumentou a conversão da Marabraz

A Marabraz testou duas versões do banner principal da home por 30 dias. A versão com...

Case/Experimentação
•
07/09/2025