› Cette étude publiée sur arXiv (cs.LG / cs.AI) a été soumise le 19 octobre 2026 par Siyuan Gan et six coauteurs, dont le document ne précise pas les affiliations.Le problème : répartir le budget d’entraînement entre plusieurs modèles enseignantsLa distillation en ligne avec plusieurs enseignants (Multi-teacher On-Policy Distillation, ou MOPD) consiste à entraîner un modèle élève à partir de plusieurs modèles experts, chacun spécialisé dans un domaine différent, par exemple les mathématiques ou le codage.
› La difficulté : le nombre d’étapes d’optimisation et d’échantillons (rollouts) dont dispose l’élève est limité, et il faut les répartir entre les domaines.Les auteurs décrivent deux approches de référence.
› La première, appelée Fixed, utilise des proportions d’échantillonnage fixes, fondées sur la taille des corpus, sans adaptation.
› La seconde, D3-MOPD, ajuste ces proportions de façon dynamique à partir de la divergence KL inverse entre l’enseignant et l’élève, ainsi que de sa baisse la plus récente.