Robustez de Modelos

Capacidade de manter desempenho e comportamento relevantes diante de variações que não deveriam mudar o resultado esperado. Em LLMs, isso inclui paráfrases, ordem das opções, ruído de entrada, mudanças controladas de sampling e pequenas alterações de contexto. A diferença entre accuracy e consistência aparece quando o modelo acerta uma formulação e falha em outra semanticamente equivalente.

Um teste de robustez precisa declarar quais transformações preservam o significado e quais mudanças deveriam alterar a resposta. Repetir o mesmo prompt mede variância de sampling; testar paráfrases mede sensibilidade à formulação. Misturar essas fontes em um único score dificulta o diagnóstico, portanto resultados devem ser segmentados por perturbação, tarefa e consequência do erro.