Mecanismo de Atenção

Operação que combina representações a partir de pesos calculados entre consultas (Q) e chaves (K). Na atenção por produto escalar escalado usada em Transformers, esses scores passam por softmax e ponderam os valores (V). A representação de uma posição incorpora informação das posições permitidas pela máscara de atenção.

Em self-attention, Q, K e V vêm da mesma sequência; em cross-attention, as consultas vêm de uma sequência e as chaves e valores de outra. A máscara causal impede acesso a posições futuras, permitindo treinar um modelo autorregressivo com várias posições em paralelo. Na geração, os tokens continuam dependendo dos anteriores. Na atenção densa, o número de pares comparados cresce quadraticamente com o contexto, por isso, o tamanho da entrada e a implementação afetam custo e latência.