Taciana Serafim

Evals de IA: o erro de medir antes de descobrir os próprios erros

IA aplicada
•
17/11/2026

Os evals de IA viraram requisito de mercado: metade das vagas de product manager que o Lenny Rachitsky compartilhou numa semana pedia experiência em escrever evals. O mercado decidiu que avaliar IA é a habilidade do momento. E a maioria dos times vai aprender errado, porque vai pular a parte chata: descobrir os erros antes de medir qualquer coisa.

É o que Hamel Husain e Shreya Shankar, que já trabalharam com mais de 50 empresas de IA, apontam no artigo deles sobre evals: os times saltam direto para a escrita de métricas e acabam medindo as coisas erradas. O processo correto começa olhando os dados, leitura manual e tediosa de dezenas de outputs, até os padrões de falha emergirem. Só depois disso se escreve a primeira métrica.

A tentação de medir antes de olhar

O padrão se repete em toda disciplina nova. Em CRO, é o time que instala a ferramenta de teste A/B e sai testando cor de botão sem uma única entrevista com usuário. Em analytics, é o dashboard com 40 métricas e nenhuma pergunta. Em IA, é o eval escrito no primeiro dia, medindo com precisão cirúrgica algo que não importa.

Medir dá a sensação de rigor sem o trabalho do rigor. Olhar os casos um a um, anotar onde o produto falhou e por quê, é lento e não escala. É também a única forma de saber o que vale medir. Quem trabalha com pesquisa reconhece o princípio: como escrevemos sobre como pesquisas qualitativas aceleram experimentos, o qualitativo não é luxo, é a fase que impede o quantitativo de medir o errado.

O que muda na prática

A recomendação dos autores é tratar a descoberta de erros como fase obrigatória: amostra de outputs reais, leitura humana, taxonomia de falhas, e só então métricas e automação. O que pode ser automatizado vem depois; o julgamento inicial não pode ser delegado. Nem para a IA, aliás, o que tem sua própria ironia.

A pergunta que fica para qualquer time, de IA ou não: quando foi a última vez que você leu, um a um, os casos em que seu produto falhou? Se a resposta é nunca, suas métricas medem o que você imaginou, não o que existe.

Perguntas frequentes sobre evals de IA

O que são evals de IA?

Evals são avaliações estruturadas que medem se um produto ou fluxo de IA está performando como esperado, com métricas definidas a partir dos padrões de falha reais do produto.

O que é a fase de descoberta de erros em evals?

A leitura manual de dezenas de outputs reais antes de escrever qualquer métrica, para descobrir onde e como o produto falha. Hamel Husain e Shreya Shankar a tratam como a etapa que a maioria dos times pula.

Por que não escrever as métricas de eval direto?

Porque sem a descoberta de erros, as métricas medem o que o time imaginou, não os modos de falha que existem. O resultado é um eval preciso sobre a coisa errada.

Fontes

Advanced evals: how to find (and fix) hidden AI failures in your product, Hamel Husain e Shreya Shankar na Lenny’s Newsletter (em inglês, conteúdo parcialmente pago).

Artigos relacionados

Veja também:

Taciana Serafim

Agentes CleverAI: como a CleverTap quer levar a individualização 1:1 para a escala

Todo time de Growth persegue a mesma meta: tirar mais retorno de cada real investido em...

IA aplicada/Notícias
•
12/11/2026
Taciana Serafim

Microsoft Clarity vs Hotjar: Qual a Melhor para CRO e Analytics?

Microsoft Clarity vs Hotjar: Um comparativo técnico profundo sobre captura de DOM, métricas de IA, integração...

CRO/Dados e Analytics/SEO e GEO
•
18/11/2026
Taciana Serafim

Estudo sobre a Netflix e sua cultura de experimentação

Sete experimentos feitos na página inicial da Netflix, com controle e variante vencedora, e o que...

Experimentação
•
26/04/2025