Avaliação de Agentes

Especialização de evals cuja unidade inclui o resultado e o caminho percorrido pelo agente. A medição cobre conclusão do objetivo, trajetória, uso de ferramentas, transições de estado, custo, latência e efeitos produzidos. Uma resposta convincente vale pouco quando o agente escolhe a ferramenta errada, repete uma operação ou altera um recurso sem autorização.

Casos representativos precisam incluir falhas de ferramentas, contexto incompleto, retomada após interrupt e condições de parada. O trace permite avaliar a trajetória e atribuir a falha ao modelo, retrieval, contrato de ferramenta ou orquestrador. Permissões e efeitos críticos pedem validadores determinísticos; dimensões abertas podem usar LLM-as-judge calibrado e revisão humana amostral.