Taciana Serafim

Evals de IA: o erro de medir antes de descobrir os próprios erros

IA aplicada
•
17/11/2026

Os evals de IA viraram requisito de mercado: metade das vagas de product manager que o Lenny Rachitsky compartilhou numa semana pedia experiência em escrever evals. O mercado decidiu que avaliar IA é a habilidade do momento. E a maioria dos times vai aprender errado, porque vai pular a parte chata: descobrir os erros antes de medir qualquer coisa.

É o que Hamel Husain e Shreya Shankar, que já trabalharam com mais de 50 empresas de IA, apontam no artigo deles sobre evals: os times saltam direto para a escrita de métricas e acabam medindo as coisas erradas. O processo correto começa olhando os dados, leitura manual e tediosa de dezenas de outputs, até os padrões de falha emergirem. Só depois disso se escreve a primeira métrica.

A tentação de medir antes de olhar

O padrão se repete em toda disciplina nova. Em CRO, é o time que instala a ferramenta de teste A/B e sai testando cor de botão sem uma única entrevista com usuário. Em analytics, é o dashboard com 40 métricas e nenhuma pergunta. Em IA, é o eval escrito no primeiro dia, medindo com precisão cirúrgica algo que não importa.

Medir dá a sensação de rigor sem o trabalho do rigor. Olhar os casos um a um, anotar onde o produto falhou e por quê, é lento e não escala. É também a única forma de saber o que vale medir. Quem trabalha com pesquisa reconhece o princípio: como escrevemos sobre como pesquisas qualitativas aceleram experimentos, o qualitativo não é luxo, é a fase que impede o quantitativo de medir o errado.

O que muda na prática

A recomendação dos autores é tratar a descoberta de erros como fase obrigatória: amostra de outputs reais, leitura humana, taxonomia de falhas, e só então métricas e automação. O que pode ser automatizado vem depois; o julgamento inicial não pode ser delegado. Nem para a IA, aliás, o que tem sua própria ironia.

A pergunta que fica para qualquer time, de IA ou não: quando foi a última vez que você leu, um a um, os casos em que seu produto falhou? Se a resposta é nunca, suas métricas medem o que você imaginou, não o que existe.

Perguntas frequentes sobre evals de IA

O que são evals de IA?

Evals são avaliações estruturadas que medem se um produto ou fluxo de IA está performando como esperado, com métricas definidas a partir dos padrões de falha reais do produto.

O que é a fase de descoberta de erros em evals?

A leitura manual de dezenas de outputs reais antes de escrever qualquer métrica, para descobrir onde e como o produto falha. Hamel Husain e Shreya Shankar a tratam como a etapa que a maioria dos times pula.

Por que não escrever as métricas de eval direto?

Porque sem a descoberta de erros, as métricas medem o que o time imaginou, não os modos de falha que existem. O resultado é um eval preciso sobre a coisa errada.

Fontes

Advanced evals: how to find (and fix) hidden AI failures in your product, Hamel Husain e Shreya Shankar na Lenny’s Newsletter (em inglês, conteúdo parcialmente pago).

Artigos relacionados

Veja também:

Taciana Serafim

Mascaramento de dados sensíveis em session replay: o checklist antes de gravar a primeira sessão

Como mascarar CPF, cartão, endereço e áreas logadas em gravações de sessão no Clarity, UXCam, Fullstory...

Dados e Analytics
•
02/10/2026
Métricas de growth: o guia da a16z
Taciana Serafim

Guia de métricas de growth da a16z: o que medir e onde as empresas se enganam

A a16z publicou seu guia de métricas de growth com benchmarks de B2B. Os modos de...

Growth e Receita
•
03/11/2026
GEO na prática: o que aprendemos no encontro da CRO Brasil no Sem Parar Corpay
Taciana Serafim

GEO na prática: o que aprendemos no encontro da CRO Brasil no Sem Parar Corpay

O que é GEO, como a IA monta uma resposta e os três cases do Sem...

Encontros/SEO e GEO
•
10/10/2026