Evals (Avaliações de Sistemas de IA)

Contrato estruturado para medir se um sistema de IA atende critérios definidos em casos representativos. Uma eval combina população ou cenários, resultado esperado, método de pontuação e regra de decisão. Métricas, validadores determinísticos, revisão humana e LLM-as-judge são instrumentos possíveis dentro desse contrato.

A unidade avaliada acompanha o sistema e o risco. Avaliação de RAG especializa o contrato para retrieval, generation e resultado end-to-end; avaliação de agentes inclui trajetória, ferramentas, estado e efeitos. Uma suite útil precisa de baseline, versionamento, análise por segmento, incerteza e casos de regressão derivados de incidentes reais.