Destilação de Conhecimento

Técnica de treinamento que transfere comportamento de um modelo professor, ou de um ensemble, para um modelo aluno mais adequado à implantação. O aluno aprende com os rótulos esperados e com a distribuição de probabilidades do professor, frequentemente suavizada por temperatura, porque as probabilidades entre classes carregam relações que um rótulo discreto não mostra.

O objetivo frequente é reduzir custo e latência preservando parte da qualidade, embora um aluno também possa ter arquitetura diferente. A destilação exige dados, função de perda e evals próprias, além de poder herdar erros e vieses do professor. Ela se distingue da quantização, que reduz a precisão numérica da representação, e de fine-tuning genérico, cujo sinal de treinamento não precisa vir de um professor.