Entropia

Na teoria da informação, medida da incerteza de uma distribuição de probabilidades. Ela cresce quando probabilidades se espalham entre alternativas e atinge o máximo quando todos os estados possíveis são equiprováveis. O valor sempre depende do espaço de estados: duas opções equiprováveis e cem mil opções equiprováveis têm entropias máximas muito diferentes.

Em modelos de linguagem, temperatura altera a distribuição de próximos tokens e, em geral, muda sua entropia: menor temperatura concentra probabilidade; maior temperatura admite mais alternativas. Em engenharia de contexto, “reduzir entropia” é uma metáfora útil para tornar a intenção menos ambígua com restrições, exemplos e evidência. Formalmente, porém, a ambiguidade só vira entropia quando se define qual distribuição está sendo medida. Contexto melhor não garante uma saída correta; ele apenas estreita, ou às vezes desloca, o espaço de comportamentos plausíveis.