Destylacja
Entraîner un petit modèle sur les réponses d'un grand - l'« élève » reprend les compétences du « professeur ».
La distillation de connaissances est une technique où un petit modèle (« élève ») apprend à imiter les réponses d'un grand modèle (« professeur »). Au lieu d'entraîner le petit depuis zéro sur des données brutes, on le nourrit des sorties du géant - ce qui lui permet de reprendre une bonne partie de ses compétences pour une fraction de la taille. C'est la méthode standard pour créer des modèles rapides et économiques pour des applications grand public. Cela soulève aussi des controverses quand quelqu'un distille le modèle fermé d'autrui via son API - les conditions d'utilisation de la plupart des fournisseurs l'interdisent explicitement.