Metodologia

Cada modelo é montado como um agente real na plataforma Catcher — com o mesmo conhecimento, memória e ferramentas — e recebe as mesmas conversas, na mesma ordem.

• Repetições: cada célula (cenário × modelo) roda várias vezes; reportamos a média das métricas.
• Julgamento às cegas: um painel de modelos avalia cada resposta de 0 a 10 seguindo uma rubrica, sem saber qual modelo a produziu; usamos a mediana.
• Verificação objetiva: no agente de código, o programa gerado roda contra uma suíte de testes; no consultor médico, checamos se a citação bate com o material. Reprovar no teste objetivo limita o veredito a "Com defeitos".
• Custo: tokens medidos × tarifa oficial por 1M. MiniMax é assinatura (Token Plan), então seu custo é uma referência marcada EST.
• Reasoning effort: o nível de raciocínio afeta qualidade, custo e tempo. A rodada v1 usou o padrão de cada provider — medium para os modelos de raciocínio (família gpt-5), low para as variantes mini/nano; a família MiniMax não expõe esse controle. O effort de cada modelo aparece no placar e em cada página de cenário. Rodadas futuras podem fixar um effort uniforme para uma comparação ainda mais controlada.
• Tokens e tempo: cada célula registra tokens de entrada/saída, latência do servidor (duration_ms do turno) e o wall-clock. Tokens e latência médios por modelo estão na tabela lado-a-lado de cada cenário.
• Fixtures sintéticos: clínica, pacientes e tarefas são fictícios; o corpus médico são papers open-access (Creative Commons) com a fonte citada.

Rodamos com paceamento amigável para não acionar as defesas anti-abuso da própria plataforma — parte do teste é operar como um cliente de verdade operaria.