Qual modelo para cada agente?
o que 34 rodadas medidas nos ensinaram

Escolher modelo por reputação é comprar carro pelo barulho da porta. O que interessa é: no seu caso de uso, quanto de qualidade cada dólar compra? A rodada v1 mediu isso em três casos que espelham o que nossos usuários constroem — atendimento com memória, geração de código e consulta a documentos com citação. Três cenários, três respostas diferentes.

Agente de código: aqui não dá pra economizar errado

No cenário DevIA, cada programa gerado roda contra uma suíte de 90 testes. O resultado foi binário e brutal: toda a família gpt-5 passou em 100% dos testes nas 8 tarefas — do gpt-5.6-sol (US$ 0,39 na rodada) ao gpt-5.4-mini (US$ 0,04). O MiniMax-M3 fez 88% (falhou uma tarefa de arredondamento de centavos); o M2.7 fez só 38%.

A leitura prática tem duas pontas. Primeira: se o agente escreve código que precisa rodar, a família gpt-5 é o piso — e o gpt-5.4-mini é o achado, com 9,1/10 de qualidade, 100% dos testes e a menor latência do cenário (47s contra 177s do sol), por um décimo do custo. Segunda: "quase certo" em código é zero — os 12% que faltaram ao M3 são exatamente o tipo de bug que chega em produção.

Agente de atendimento: a conta inverte

No cenário AdrIA — a clínica de estética com catálogo, contraindicações e memória por paciente — o pódio de qualidade foi do gpt-5.5 (9,4/10). Mas o dado que muda decisão de produto é outro:

MiniMax-M3: 8,1/10, 97% dos checks objetivos, US$ 0,0183 na rodada do cenário.
gpt-5.5: 9,4/10, 100% dos checks, US$ 1,72. Ou seja: 86% da qualidade por ~1% do custo.

Num agente que atende milhares de conversas por mês, essa razão define a margem do produto. E o detalhe importante: nos testes de segurança do cenário — a gestante pedindo procedimento contraindicado, o menor de idade, o pedido de receita — o M3 recusou como devia. A diferença para o topo ficou em polimento de condução, não em erro perigoso. É o caso clássico de rotear por dificuldade: o modelo barato como padrão, o caro para os casos que o justificam.

Vale registrar a exceção honesta: o gpt-5.6-terra, um modelo intermediário caro, ficou atrás dos MiniMax em qualidade nesse cenário (7,7/10, com uma falha objetiva). Preço não é proxy de qualidade por cenário — por isso se mede.

Agente de conhecimento: o RAG nivela o factual

No cenário Medic — 50 artigos científicos reais no conhecimento — aconteceu a coisa mais interessante da rodada: as 25 perguntas factuais saíram certas, com citação, em todos os 8 modelos. Quando o conhecimento vem do cérebro do agente (busca híbrida + citação), o modelo deixa de ser o gargalo do factual. O corolário para quem constrói: investir na base de conhecimento rende mais que pagar modelo maior para "saber mais".

O que continuou variando por modelo foi comportamento: resistir à armadilha do estudo inexistente, recusar a pergunta fora do escopo, lembrar o contexto na sessão seguinte. O gpt-5.4-mini gabaritou disciplina (8/8) e tropeçou em memória (2/5); o MiniMax-M3 fez quase o oposto. Se o seu agente vive de conversa longa e contexto acumulado, esse eixo pesa mais que o QI bruto do modelo.

As variáveis que quase todo mundo esquece

Reasoning effort. Modelos de raciocínio gastam "pensamento" antes de responder, e isso move qualidade, custo e latência juntos. Na v1, cada modelo rodou no seu padrão — medium nos full, low nos mini — e o placar expõe o effort de cada um, porque esconder isso seria comparar maçã com maçã turbinada. (O harness já suporta fixar um effort uniforme; é a rodada v2 natural.)

Latência. No atendimento, o gpt-5.4-mini respondeu a rodada em 308s contra 486s do gpt-5.4 — quase 40% mais rápido. Para chat com humano esperando, latência é qualidade percebida.

Tokens. Modelos "econômicos" às vezes gastam mais tokens para chegar lá (o M2.7 usou 63k de entrada no atendimento contra 16k do M3 — reconsultas). O custo final por célula já embute isso; token por token, o placar mostra.

A régua de bolso

Se for pra levar uma heurística da rodada v1: código → gpt-5.4-mini como padrão, gpt-5.6-sol quando o código é crítico; atendimento de alto volume → MiniMax-M3 com escalonamento para gpt-5.5 nos casos sensíveis; conhecimento/documentos → capriche no corpus e escolha o modelo pelo comportamento (disciplina e memória), não pelo factual. E qualquer que seja a escolha: meça no seu caso. Na plataforma, trocar o modelo de um agente é um campo no formulário, e o custo de cada execução sai em USD no inspetor — a régua continua com você em produção.

Os números completos, com transcript aberto em cada nota, estão no placar.

Perguntas frequentes

Qual modelo usar para um agente de código?

Na rodada v1 do Catcher Bench, toda a família gpt-5 passou em 100% dos 90 testes executáveis nas 8 tarefas — inclusive o gpt-5.4-mini, o mais barato dela. Se a tarefa é gerar código que roda, esse é o piso seguro; o MiniMax-M3 fez 88% e o M2.7 só 38%.

Qual modelo usar para um agente de atendimento?

Depende da margem por conversa. O gpt-5.5 liderou com 9,4/10, mas o MiniMax-M3 marcou 8,1/10 custando cerca de 1% disso (US$ 0,02 contra US$ 1,72 na rodada do cenário). Em alto volume, começar pelo modelo barato e escalar os casos difíceis costuma vencer.

O modelo importa menos quando o agente tem RAG?

Para o factual, sim: com 50 artigos reais no conhecimento, todos os 8 modelos acertaram as 25 perguntas factuais com citação. O que continua variando por modelo é comportamento — disciplina de escopo, resistência a alucinação e uso da memória entre sessões.

O que é reasoning effort e por que importa?

É o nível de raciocínio interno que modelos como a família gpt-5 gastam antes de responder. Afeta qualidade, custo e latência. Na rodada v1 cada modelo usou seu padrão (medium nos full, low nos mini) — e o placar mostra o effort de cada um justamente para a comparação ser honesta.