Decidir com pessoas de várias áreas, cada uma com um interesse diferente, quase nunca é simples. O processo de teste ajuda: colocar dados na mesa deixa a conversa mais controlada. A dúvida que sobra é sempre a mesma.

Quais dados devemos olhar? Passei por uma situação que mostra bem esse problema. Um cliente trouxe a proposta de passar a oferecer frete grátis e queria implementar isso direto em uma página de produto. Pelo tempo de parceria, conseguimos transformar o novo benefício em um teste A/B. Assim entenderíamos o impacto real e se aquela era mesmo a melhor forma de mostrar o benefício ao usuário.

Após 14 dias de teste, com amostra atingida e 95% de significância estatística, a versão com o benefício aumentou a adição ao carrinho — e mesmo assim apresentou uma taxa menor de transações.

O problema

A decisão parecia óbvia. Existia um benefício novo, o cliente queria colocá-lo no ar e a expectativa era de mais vendas. O risco estava justamente nessa obviedade. Frete grátis muda a comunicação da página inteira, não só uma linha do layout, e mexe na expectativa de quem chega pelo anúncio ou pela busca.

Além disso, decisões assim costumam envolver áreas com interesses diferentes: marketing quer um apelo forte, produto quer uma jornada coerente e o comercial quer volume. Sem dado, a conversa vira disputa de opinião. Com dado, vira hipótese a ser verificada.

O que foi testado

O experimento comparou duas versões da página de produto:

• Controle: a versão original da página, sem o benefício de frete grátis.
• Variação: a página com o frete grátis implementado e comunicado ao usuário.

O teste acompanhou a adição ao carrinho, a quantidade de transações e a receita de cada versão. Também olhamos os cliques em uma call to action de outra etapa do funil: “Calcule seu frete”. Definir bem amostra e duração antes de começar é o que evita conclusão apressada, como explica o artigo sobre estatística de teste A/B: amostra, MDE e duração.

O resultado

Depois de 14 dias, o tamanho amostral foi atingido considerando a significância estatística de 95%. No agregado, a versão com o benefício teve aumento significativo na adição ao carrinho. Era o sinal para implementar tudo, certo?

Ao olhar as transações e as receitas das duas versões, veio a surpresa: a versão com o benefício apresentava uma taxa menor de transações. Uma versão com mais adição ao carrinho entregava menos compras.

Fomos entender o que acontecia no meio do funil. A call to action “Calcule seu frete” recebia bem menos cliques vindos da versão variante. Nossa hipótese foi que a comunicação contraditória causava frustração e a sensação de estar sendo enganado na etapa anterior. O usuário desistia do processo de compra. É por isso que uma métrica sozinha engana; o texto sobre taxa de conversão: como calcular, segmentar e por que a média engana mostra o mesmo efeito em outros contextos.

O que dá para aprender

• Adicionar ao carrinho não é vender. Métricas de topo de funil podem melhorar enquanto a receita cai.
• Olhe o funil inteiro, não só a métrica para a qual o teste foi desenhado.
• Relação causal entre etapas do funil é difícil de provar de imediato. O caminho é formular hipóteses e continuar investigando.
• Antes de confiar no número, vale checar se a divisão de tráfego está correta. Um Sample Ratio Mismatch (SRM) invalida a leitura.
• Mesmo quando a decisão parece óbvia, o teste protege o time. Levar esse aprendizado para a liderança exige tradução, como ensina o guia de como comunicar resultados de CRO para executivos.

Próximos passos

O caso reforça uma rotina simples: antes de implementar o que parece ganho garantido, transforme a mudança em teste e defina de antemão quais métricas de topo e de fundo de funil serão lidas juntas. Se o topo sobe e o fundo cai, o experimento não terminou — ele apenas apontou onde investigar. A pergunta que fica para o seu time é direta: no último teste que vocês rodaram, quantas etapas do funil foram olhadas além da métrica principal?

Se o seu time precisa de ajuda para transformar isso em resultado, a Métricas Boss faz consultoria de analytics e CRO: conheça o diagnóstico da Métricas Boss.

Ferramentas gratuitas da CRO Brasil

A CRO Brasil mantém duas ferramentas abertas para quem está começando: a calculadora de testes A/B, que estima amostra, MDE e duração a partir do seu tráfego, e o CRO BOT, que analisa o seu site de graça e sugere hipóteses de teste.

Sobre a autoria

Líder em CRO. Perfil de Felipe Fogarolli no LinkedIn.