Nash-MOPD : mieux répartir l’entraînement entre plusieurs domaines
Nash-MOPD répartit les ressources d’entraînement entre plusieurs domaines pour éviter de pénaliser ceux qui progressent plus lentement.
👁 120 lectures
Cette étude publiée sur arXiv (cs.LG / cs.AI) a été soumise le 19 octobre 2026 par Siyuan Gan et six coauteurs, dont le document ne précise pas les affiliations.
Le problème : répartir le budget d’entraînement entre plusieurs modèles enseignants
La distillation en ligne avec plusieurs enseignants (Multi-teacher On-Policy Distillation, ou MOPD) consiste à entraîner un modèle élève à partir de plusieurs modèles experts, chacun spécialisé dans un domaine différent, par exemple les mathématiques ou le codage. La difficulté : le nombre d’étapes d’optimisation et d’échantillons (rollouts) dont dispose l’élève est limité, et il faut les répartir entre les domaines.
Les auteurs décrivent deux approches de référence. La première, appelée Fixed, utilise des proportions d’échantillonnage fixes, fondées sur la taille des corpus, sans adaptation. La seconde, D3-MOPD, ajuste ces proportions de façon dynamique à partir de la divergence KL inverse entre l’enseignant et l’élève, ainsi que de sa baisse la plus récente. Mais D3-MOPD favorise les domaines qui viennent de progresser rapidement : ceux qui apprennent plus lentement risquent donc de recevoir trop peu d’exemples.
La proposition : un jeu minimax local fondé sur l’équilibre de Nash
Nash-MOPD s’attaque à ce problème en formulant l’allocation entre domaines comme un jeu minimax local. L’équilibre du jeu maximise la plus faible réduction proportionnelle prévue de la divergence KL inverse dans un modèle local. Cette approche protège du sous-financement les domaines qui progressent plus lentement. En d’autres termes, elle leur attribue davantage de prompts lorsqu’ils ont besoin de plus d’exemples pour atteindre une amélioration comparable.
Selon les auteurs, Nash-MOPD ne nécessite ni requêtes supplémentaires aux enseignants ni rollouts supplémentaires. La méthode réutilise les statistiques de divergence KL inverse déjà disponibles pendant l’entraînement.
Résultats des expériences
Les tests ont été réalisés avec deux modèles de base : DeepSeek-R1-Distill-Qwen-1.5B et Qwen3-8B-Base. Les auteurs présentent les résultats obtenus après 100 étapes d’entraînement. Avec DeepSeek-R1-Distill-Qwen-1.5B, Nash-MOPD dépasse, après 100 étapes, les résultats finaux des deux méthodes de référence, Fixed et D3-MOPD, en mathématiques et en codage. Avec Qwen3-8B-Base, la méthode atteint après 100 étapes le résultat final de Fixed.
Dans le bilan général, Nash-MOPD arrive en tête pour huit des neuf métriques rapportées. Elle obtient le meilleur résultat ou est à égalité avec le meilleur pour les six métriques de précision en mathématiques et en codage. Le document ne donne pas les valeurs détaillées de ces métriques, qui ne figurent pas dans le résumé disponible.
Ce que le document ne précise pas
Le texte disponible se limite au résumé d’arXiv. Il ne contient ni tableaux de résultats détaillés, ni description de l’architecture des enseignants, ni liste des jeux de données utilisés, ni analyse des coûts de calcul, ni comparaison avec des méthodes extérieures à la famille MOPD. Des précisions méthodologiques et des études d’ablation pourraient figurer dans la version PDF complète, dont le contenu n’a pas été fourni.
Google · Vos sourcesPromptif plus haut dans Google - en un clicAjouter aux sources préférées →Ce qu’il faut en retenir
Il s’agit d’un préprint précoce, qui n’a pas été évalué par les pairs : les résultats sont donc à considérer avec prudence. L’idée d’utiliser l’équilibre de Nash pour protéger les domaines qui apprennent lentement, plutôt que de favoriser ceux qui progressent déjà rapidement, me paraît pertinente sur le plan conceptuel et économe en calcul, puisqu’elle n’ajoute pas de requêtes aux enseignants. Si les résultats de l’article complet confirment l’avantage observé après 100 étapes, cela pourrait plaider en faveur de Nash-MOPD pour entraîner un modèle sur plusieurs jeux de données spécialisés. Pour l’instant, toutefois, seul le résumé est disponible et l’ampleur des écarts en valeurs absolues reste inconnue.
Source : arXiv cs.AI : Nash-MOPD: Optimizing Task Trade-offs in Multi-Teacher On-Policy Distillation (document daté du 20 octobre 2026). Cet article s’appuie sur le texte du document, et non sur des comptes rendus d’autres médias.
More on this from PROMPTIF
