Top-K

Método de amostragem que, a cada próximo token, restringe os candidatos aos K tokens mais prováveis e sorteia dentro desse conjunto. Ele corta a cauda de alternativas improváveis, mas usa um limite fixo: K=20 tem efeito muito diferente quando a distribuição está concentrada e quando está dispersa.

Top-K pertence à decodificação do modelo, não à recuperação de documentos. Um valor pequeno pode tornar a linguagem repetitiva; um valor alto pode reintroduzir alternativas fracas. A configuração só faz sentido com avaliação do comportamento desejado, e não como ajuste universal para “melhorar” o modelo.