Modded-nanoRT : entraîner un modèle relationnel en 305 secondes
Une nouvelle référence de speedrun pour les modèles relationnels promet d’atteindre un objectif de qualité avec un seul GPU.
👁 122 lectures
L’article, publié sur arXiv sous le numéro 2610.28855, a été soumis le 20 octobre 2026 et accepté à l’atelier CODEC-FM de la conférence NeurIPS 2026. Ses auteurs sont Gabriel Wedson Mendonça de Souza Veloso, Luan Borges Teodoro Reis Sena, Denis Oliveira Correa et Francisco Galuppo Azevedo. Le document compte 9 pages et 4 figures.
Le défi de l’entraînement des modèles relationnels
L’entraînement de grands modèles fondamentaux coûte cher, ce qui réserve souvent les expérimentations aux grands laboratoires. Les recettes d’entraînement sont mises au point dans ces structures, documentées selon des protocoles internes et rarement rassemblées sous la forme de connaissances accessibles à tous. Selon les auteurs, les progrès dans ce domaine dépendent de la capacité à financer des essais. Les modèles relationnels, entraînés sur des données issues de bases relationnelles, ne font pas exception.
Un classement de speedrun pour l’entraînement des modèles
Les auteurs proposent d’appliquer à l’entraînement des modèles d’IA le principe du speedrun, une compétition où l’objectif est de réaliser une tâche le plus vite possible. Le problème est défini, les outils sont ouverts et les propositions sont classées selon le temps réel nécessaire pour atteindre un seuil de qualité donné. Les auteurs soulignent qu’un seul GPU suffit pour battre le record, ce qui pourrait faciliter la participation de chercheurs indépendants.
Leur outil, nommé modded-nanoRT, est présenté comme le premier classement de ce type pour les Relational Transformers, des modèles de type transformer conçus pour traiter des données relationnelles.
Comment les auteurs ont choisi la base de données du benchmark
Le choix de la base de données de référence peut déterminer si un benchmark distingue réellement une amélioration du bruit aléatoire. Pour traiter cette question, les auteurs ont évalué six bases candidates. Ils ont examiné dans quelle mesure une courbe d’apprentissage de 45 minutes permettait de séparer les progrès réels de la variabilité liée à l’initialisation aléatoire, aussi appelée « bruit de seed ». Ils ont ensuite retenu un jeu de données comme référence figée.
La recette technique derrière le record
Les auteurs lancent le classement avec leur propre recette, qui combine trois éléments. Le premier est le typed trilinear attention, un opérateur relationnel qui conditionne les scores d’attention et les valeurs en fonction des clés étrangères parcourues dans la base de données. Le deuxième est l’optimiseur Muon. Le troisième est la technique SIGReg. Le document ne détaille pas les mécanismes de Muon ni de SIGReg : dans le résumé disponible, ces méthodes sont seulement citées par leur nom.
Résultat : la recette atteint l’objectif de qualité en 305,63 secondes sur une seule carte NVIDIA H200, soit 8,11 fois plus vite que l’implémentation de référence. Lors des tests réalisés en dehors de la base utilisée pour élaborer la recette, elle l’a emporté dans 13 des 15 comparaisons par paires.
Disponibilité du benchmark et du code
Les auteurs déclarent qu’ils publieront le benchmark, ses artefacts figés et les exécutions correspondant aux records. Le code est déjà disponible à l’adresse indiquée dans l’article. Le dépôt n’est pas nommé dans le résumé disponible.
Google · Vos sourcesPromptif plus haut dans Google - en un clicAjouter aux sources préférées →Ce que cette étude apporte
Ce court article d’atelier, qui compte 9 pages, ne propose ni nouvelle architecture ni résultats à grande échelle. Son intérêt est ailleurs : si le classement fonctionne comme le décrivent ses auteurs, un chercheur seul et équipé d’une carte graphique pourrait rivaliser avec un laboratoire et contribuer aux progrès des méthodes d’entraînement des modèles relationnels. L’idée d’organisation est intéressante, même si le classement ne compte pour l’instant qu’une seule entrée, soumise par ses créateurs. Il reste à voir si la communauté l’adoptera.
Source : arXiv cs.AI : Speedrunning Relational Foundation Model Pretraining (document daté du 2026-10-22). Cet article s’appuie sur le texte intégral du document, et non sur les comptes rendus d’autres médias.
More on this from PROMPTIF
