› L'Allen Institute for AI (Ai2) a publié un retour d'expérience détaillé sur la refonte complète de son système d'ordonnancement des tâches au sein de ses clusters GPU.
› Ce compte-rendu illustre à la perfection la façon dont une infrastructure technique bien conçue peut s'effondrer sous la pression des usages réels.Ai2 administre des milliers d'accélérateurs NVIDIA H100, B200 et B300, répartis en clusters comptant de 88 à 1024 GPU.
› Environ 150 chercheurs internes exploitent cette puissance pour des travaux très variés : pré-entraînement de grands modèles de langage (LLM) et multimodaux (VLM), simulations d'apprentissage par renforcement pour la robotique, ou encore post-training d'agents scientifiques.
› Cette diversité impose d'assurer à la fois de longues sessions d'entraînement stables et un accès quasi instantané pour le débogage interactif - deux exigences difficilement conciliables par un simple système de priorités.La tragédie des biens communs appliquée aux clusters de calculLe problème n'avait rien d'inédit : la demande en temps de calcul dépassait l'offre depuis longtemps.