Grouped-Query Attention (GQA)

Variante de atenção em que várias cabeças de consulta compartilham as mesmas cabeças de chaves e valores dentro de cada grupo. Na multi-head attention (MHA), cada cabeça de consulta tem suas próprias cabeças K e V; na multi-query attention (MQA), todas compartilham um único par. GQA permite escolher um ponto intermediário entre esses extremos.

Menos cabeças KV reduzem o tamanho da cache KV e os dados que precisam ser lidos durante o decode. Com 32 cabeças de consulta e 8 cabeças KV, quatro cabeças de consulta compartilham cada par K/V; mantendo as outras dimensões e a precisão, a cache ocupa cerca de um quarto da equivalente em MHA. O ganho de latência depende do hardware e do kernel. A configuração pertence à arquitetura do modelo, e sua avaliação precisa considerar qualidade além de memória e velocidade.