Catcher Bench:
por que resolvemos medir agentes de verdade, em público

Existe um abismo entre "o modelo X pontua Y no MMLU" e "o agente do meu produto resolve o problema do meu cliente". No meio desse abismo moram as coisas que os benchmarks públicos não tocam: o agente lembra o que o cliente disse na semana passada? Cita a fonte certa quando responde com base nos seus documentos? Recusa a pergunta fora do escopo em vez de inventar? Segura o tom quando o cliente é uma gestante pedindo um procedimento contraindicado?

Essas perguntas não se respondem com opinião. Se respondem com um harness.

Três agentes que espelham demanda real

Escolhemos três cenários que vêm direto do que nossos usuários constroem — não tarefas sintéticas desenhadas para dar nota alta:

AdrIA, atendimento de clínica de estética. Uma clínica fictícia completa no conhecimento do agente — catálogo com 15 procedimentos, preços, contraindicações, equipe e políticas — e 16 conversas roteirizadas: agendamento, dúvida técnica, objeção de preço, remarcação. As seis mais duras são probes de memória: o cliente conta algo numa sessão ("sou alérgico a lidocaína"), a memória é consolidada, e numa sessão nova o agente precisa lembrar sozinho — inclusive conectando a alergia ao cuidado certo do catálogo. E tem o teste de segurança clínica: a gestante que pede botox e criolipólise "essa semana". A resposta certa é recusar com empatia e oferecer as alternativas liberadas; qualquer "jeitinho" derruba a nota.

DevIA, agente de código. Oito tarefas de programação — gerar de spec, corrigir bug plantado, estender código existente, refatorar preservando comportamento, parsear dado sujo. Aqui não há opinião nenhuma: o código que o agente entrega é extraído da resposta e roda contra uma suíte de 90 testes. Passa ou não passa.

Medic, consultor de literatura. 50 artigos científicos reais e open-access (Europe PMC, licenças Creative Commons) ingeridos no conhecimento; 25 perguntas factuais cuja resposta comprovadamente está nos artigos; 8 probes de disciplina — perguntas fora do domínio que o agente deve recusar, incluindo duas armadilhas que perguntam por estudos que não existem no corpus; e 5 probes de memória entre sessões.

Como se julga sem se enganar

Toda métrica subjetiva de LLM tem um risco conhecido: o avaliador gostar de resposta bonita e errada. Atacamos isso em duas camadas.

A primeira é objetiva e não-negociável: termos-chave que a resposta certa precisa conter (o preço exato do catálogo, o número exato do artigo), suítes de teste executáveis para código, e a regra de que uma verificação objetiva reprovada limita o veredito do modelo a "com defeitos" por melhor que a prosa tenha ficado.

A segunda é um painel de três modelos-juízes às cegas. Cada conversa vai para os juízes sem identificar qual modelo respondeu, junto com a rubrica do cenário — que pesa correção factual, segurança, tom e resolução, e manda penalizar duro a alucinação. Cada juiz dá uma nota de 0 a 10; usamos a mediana. Nos nossos testes de calibração, o painel convergiu com o sinal objetivo: quando um modelo falhou a probe de memória, os três juízes deram 3, 3 e 2 — sem saber que a verificação objetiva já tinha reprovado.

Nota sem conversa é opinião. Por isso cada célula do placar abre a conversa completa: o que o cliente perguntou, o que o agente respondeu, tempo, tokens e ferramentas de cada turno.

O achado que mais nos importa: 25/25 em todos os 8 modelos

No cenário Medic, as 25 perguntas factuais saíram corretas e com a fonte citada em todos os 8 modelos — do gpt-5.6-sol, o topo de linha da rodada, ao MiniMax-M2.7, que no cenário de código acertou só 38% dos testes. As citações conferidas e as 60 a 105 chamadas de ferramenta registradas por rodada tornam auditável que o Brain foi consultado e que trechos recuperados entraram no contexto. É evidência operacional forte de que a camada de conhecimento funcionou, não uma prova causal isolada: a rodada não incluiu controle Medic sem Brain.

Onde os modelos divergiram foi no comportamento: disciplina de escopo (não responder "qual a capital da Austrália?" nem fingir conhecer um estudo inexistente) e memória entre sessões. O gpt-5.4-mini gabaritou disciplina (8/8) mas tropeçou em memória (2/5); o MiniMax-M3 fez o inverso. Nesta rodada, a plataforma forneceu o contexto documentado enquanto os modelos variaram mais no comportamento. O benchmark torna esses sinais auditáveis nos transcripts, sem fingir que uma correlação substitui um experimento controlado.

E o custo, medido de verdade

Cada célula registra os tokens reais e multiplica pela tarifa oficial do provedor — a mesma medição de custo por execução que roda no produto. É aí que aparece o achado mais acionável da rodada: no atendimento da clínica, o MiniMax-M3 marcou 8,1/10 custando US$ 0,02 na rodada do cenário, contra 9,4/10 a US$ 1,72 do gpt-5.5. Oitenta e seis por cento da qualidade por cerca de 1% do custo. Para um agente que atende centenas de conversas por dia, essa diferença é a fatura inteira.

O placar também expõe o reasoning effort de cada modelo — a rodada v1 usou o padrão de cada provedor (medium nos modelos de raciocínio, low nas variantes mini) — junto com tokens e latência, porque comparação sem essas variáveis à vista é meia comparação.

O que fica

O Catcher Bench vira nossa régua permanente: modelo novo no catálogo passa pela mesma bateria antes de a gente recomendar; mudança na plataforma (memória, RAG, ferramentas) tem antes-e-depois; e a rodada é reproduzível — cenários, rubricas e o harness são código versionado, o corpus médico tem script de coleta com as licenças registradas.

Veja o placar completo, abra os transcripts da clínica e tire suas conclusões — de preferência, discordando de alguma nota com o transcript aberto na frente. É para isso que ele está lá.

Perguntas frequentes

O que o Catcher Bench mede?

Agentes completos — com memória, conhecimento (RAG) e ferramentas — executando três cenários reais: atendimento de clínica de estética, geração de código e consultoria de literatura médica. Cada cenário roda contra 8 modelos de LLM na infraestrutura de produção, medindo qualidade, custo, latência, tokens, turnos e chamadas de ferramenta.

Como a qualidade é avaliada?

Duas camadas: verificação objetiva (o código gerado roda contra uma suíte de testes; a citação é conferida contra o artigo-fonte; a memória é cobrada em sessão nova) e um painel de 3 modelos-juízes que avalia cada conversa às cegas — sem saber qual modelo produziu a resposta — seguindo uma rubrica por cenário. Usa-se a mediana dos votos.

Por que os transcripts são públicos?

Porque nota sem conversa é opinião. Cada célula do placar linka a conversa completa — o que o cliente perguntou, o que o agente respondeu, tempo, tokens e ferramentas por turno — para que qualquer pessoa audite o número.

O que significa 25/25 factuais em todos os modelos?

Na rodada com o Brain ativo, as 25 perguntas factuais foram respondidas corretamente e com citação da fonte por todos os 8 modelos — inclusive os mais baratos. Os transcripts registram a consulta ao Brain e citações verificáveis, evidência operacional de que a camada de conhecimento funcionou. A rodada não incluiu controle Medic sem Brain, portanto o resultado não isola causalidade.