Modelo Autorregressivo

Modelo que decompõe a probabilidade de uma sequência e prevê cada elemento condicionado aos anteriores. Em um LLM decoder, o token escolhido é anexado ao contexto e passa a influenciar a previsão seguinte; a geração continua repetindo esse ciclo até atingir uma condição de parada.

O objetivo local de prever o próximo token pode produzir texto globalmente coerente, mas não verifica fatos nem garante um plano consistente. Um erro também vira contexto para os passos seguintes e pode se propagar. Temperatura, top-k e top-p mudam o caminho de amostragem, enquanto a arquitetura autorregressiva permanece a mesma.