BERT

Sigla de Bidirectional Encoder Representations from Transformers, modelo introduzido em 2018 para pré-treinar representações de linguagem com um Transformer do tipo encoder. Seu objetivo de masked language modeling oculta parte dos tokens e usa o contexto dos dois lados para reconstruí-los; o trabalho original também empregou previsão da relação entre pares de sentenças. O modelo pré-treinado pode então ser adaptado a tarefas como classificação, extração de entidades e resposta extrativa por fine-tuning.

BERT produz representações contextuais por token, portanto a mesma palavra pode receber vetores diferentes conforme a frase. O checkpoint original não foi desenhado para geração autoregressiva nem para busca vetorial eficiente. Sistemas de recuperação costumam adaptar encoders da família BERT como bi-encoders, ou processar query e documento conjuntamente como cross-encoders. BERT descreve uma família arquitetural e um método de pré-treinamento; embeddings, retrieval e reranking dependem da variante e do treinamento aplicado.