Comment Ai2 orchestre ses milliers de GPU H100 et B200

👁 119 lectures

L’Allen Institute for AI (Ai2) a publié un retour d’expérience détaillé sur la refonte complète de son système d’ordonnancement des tâches au sein de ses clusters GPU. Ce compte-rendu illustre à la perfection la façon dont une infrastructure technique bien conçue peut s’effondrer sous la pression des usages réels.

Ai2 administre des milliers d’accélérateurs NVIDIA H100, B200 et B300, répartis en clusters comptant de 88 à 1024 GPU. Environ 150 chercheurs internes exploitent cette puissance pour des travaux très variés : pré-entraînement de grands modèles de langage (LLM) et multimodaux (VLM), simulations d’apprentissage par renforcement pour la robotique, ou encore post-training d’agents scientifiques. Cette diversité impose d’assurer à la fois de longues sessions d’entraînement stables et un accès quasi instantané pour le débogage interactif - deux exigences difficilement conciliables par un simple système de priorités.

La tragédie des biens communs appliquée aux clusters de calcul

Le problème n’avait rien d’inédit : la demande en temps de calcul dépassait l’offre depuis longtemps. À tout instant, la file d’attente cumulait des requêtes réclamant 2 à 3 fois plus de cartes que celles physiquement disponibles. Autrement dit, pour chaque heure de calcul disponible, deux à trois projets de recherche se disputaient les mêmes accélérateurs.

L’ancien mécanisme reposait sur des niveaux de priorité et permettait aux tâches de désactiver la préemption, c’est-à-dire l’interruption forcée au profit d’une tâche jugée plus urgente. Chaque équipe disposait d’un quota de GPU protégés contre toute interruption, tandis que les tâches préemptibles pouvaient utiliser les cartes inactives au-delà de cette limite. Sur le papier, la logique semblait s’imposer. Dans la pratique, des dérives prévisibles sont rapidement apparues.

La première concerne le squatting de GPU : les chercheurs lançaient des tâches vides en continu (no-op workloads) afin de pouvoir s’y brancher immédiatement lorsqu’ils avaient besoin de déboguer du code. Ils y étaient contraints, car lancer un nouveau conteneur avec un délai suffisamment court était devenu impossible. La deuxième pathologie résidait dans l’inflation des priorités : à un certain point, 100 % des tâches programmées utilisaient le niveau maximal HIGH, privant complètement les priorités inférieures de temps de calcul. La troisième, sans doute la plus lourde sur le plan opérationnel : les ingénieurs d’astreinte passaient l’essentiel de leurs permanences à négocier manuellement l’arrêt de tâches non préemptibles qui tournaient sur des serveurs signalés pour des pannes matérielles.

L’équipe d’Ai2 reconnaît avoir mis du temps à cerner la véritable cause du dysfonctionnement. Les premières tentatives de correction visaient à durcir l’attribution des priorités, puis à contourner l’ordonnanceur en allouant manuellement des clusters entiers à certains projets sous forme de monopoles. C’est plus tard que l’équipe a identifié une classique tragédie des biens communs : une dynamique où chaque acteur, en poursuivant rationnellement son propre intérêt individuel, dégrade la ressource partagée au détriment de l’ensemble de la collectivité.

La solution a consisté à remplacer l’ordonnanceur par priorité par un système reposant sur trois piliers : des budgets de temps GPU alloués aux projets en amont, une répartition équitable hiérarchique (fair-share allocation) et un contrat explicite de partage temporel (time-slicing), qui définit clairement les créneaux durant lesquels chaque équipe dispose d’un droit d’accès prioritaire. Le basculement décisif a toutefois été organisationnel : fixer le temps de GPU accordé à un projet n’est plus l’objet de négociations techniques au coup par coup, mais relève désormais d’un processus budgétaire administratif transparent.

Ce constat s’avère précieux si vous administrez une infrastructure de calcul partagée. Le problème rencontré par Ai2 ne venait pas d’un mauvais algorithme de planification, mais d’une grille d’incitations défaillante. Quand un chercheur peut mobiliser un GPU sans supporter de coût direct, il le fait. Quand une priorité maximale est gratuite, tout le monde la sélectionne. Grâce à ce nouveau cadre, chaque arbitrage a désormais des répercussions budgétaires visibles et mesurables à l’échelle de l’organisation - un levier d’autorégulation bien plus efficace que n’importe quelle règle de préemption algorithmique.

// lire la suiteComment l’IA détruit des emplois en silenceMagazineComment reconnaître une chanson créée par IA : 6 signesGuidesROAR : mieux prédire les séries temporelles par retrievalÉtat de l'IA

Kinetyra