Avaliação de RAG

Especialização de evals que decompõe um sistema RAG em três níveis conectados. Retrieval mede se a evidência necessária aparece e em que posição, com sinais como precision@k, recall@k, MRR ou NDCG. Generation observa faithfulness, correctness, completude e attribution accuracy. O nível end-to-end verifica utilidade sob limites de custo e latência.

O score final não localiza sozinho a falha. Um retriever pode recuperar a evidência correta e o modelo ignorá-la; uma resposta correta pode surgir apesar de contexto inadequado. Casos versionados, ground truth de relevância, claims verificáveis e traces por componente permitem atribuir o problema antes de trocar modelo, embedding ou estratégia de busca.