Perplexidade

Métrica que resume quão surpreendente uma sequência é para um modelo de linguagem, derivada da probabilidade que ele atribui aos tokens observados. Menor perplexidade indica que o modelo atribuiu maior probabilidade ao texto sob aquela tokenização e distribuição.

Ela é útil para comparar ajuste probabilístico em condições equivalentes, mas não mede, por si só, utilidade, precisão factual, segurança ou satisfação do usuário. Comparações entre tokenizadores, corpora, idiomas ou objetivos diferentes podem ser enganadoras. Em aplicações de IA, uma eval ligada ao resultado do usuário costuma ser mais informativa que perplexidade isolada.