Meta-avaliação

Avaliação do próprio método de avaliação. Ela verifica se uma métrica, rubrica, avaliador humano ou LLM-as-judge distingue casos bons e ruins segundo o critério que pretende representar. Concordância com especialistas, consistência entre repetições, sensibilidade a perturbações, viés e estabilidade entre versões são sinais centrais.

Um juiz pode produzir scores precisos e ainda ordenar respostas de forma inadequada. A meta-avaliação usa amostras anotadas fora do conjunto de calibração, casos adversariais e análise de desacordo para descobrir esse desvio. Mudança de modelo julgador, prompt ou rubrica pede nova verificação antes de comparar resultados históricos.