Cache KV (Key-Value Cache)

Estado de inferência que armazena os vetores de chaves (K) e valores (V) já calculados nas camadas de atenção de um Transformer causal. No prefill, o modelo processa o prompt e monta esse estado; no decode, acrescenta os vetores do novo token e reutiliza os anteriores. Isso evita recalcular o prefixo inteiro a cada passo da geração.

Esse reaproveitamento tem um custo de memória: em atenção completa, a cache cresce com a sequência, o número de camadas, as cabeças KV e as sequências ativas. Contextos longos podem limitar concorrência e throughput. O novo token ainda consulta as chaves e valores armazenados. Reutilizar prefixos entre requisições exige os mesmos tokens de prefixo e uma configuração de modelo compatível; em CAG, esse reaproveitamento sustenta a base de conhecimento pré-carregada.