Token

Unidade discreta que o tokenizer transforma em um identificador para o modelo processar. Um token pode corresponder a uma palavra inteira, parte de uma palavra, pontuação, espaço ou sequência de bytes, conforme o vocabulário e o algoritmo de tokenização. O modelo recebe esses identificadores como representações vetoriais e, na geração autorregressiva, calcula uma distribuição sobre o próximo token possível.

Token não é sinônimo de palavra. A mesma frase pode produzir contagens diferentes entre modelos e idiomas, o que afeta janela de contexto, latência e custo. Estimar por caracteres serve apenas como aproximação; limites operacionais precisam usar o tokenizer correspondente ao modelo e incluir mensagens de sistema, histórico, resultados de ferramentas e tokens especiais.