Comment OpenAI a conçu le stockage de ChatGPT pour un milliard d’utilisateurs
OpenAI détaille les défis liés au stockage des données de ChatGPT à l’échelle d’un milliard d’utilisateurs.
👁 119 lectures
OpenAI a publié la deuxième partie d’un guide technique consacré au passage à l’échelle de l’infrastructure de stockage de ChatGPT, qui a franchi le cap du milliard d’utilisateurs. Il est rare qu’une entreprise de cette envergure dévoile ainsi les coulisses techniques d’un produit devenu, en à peine deux ans, l’une des applications à la croissance la plus rapide de l’histoire d’Internet.
Un milliard d’utilisateurs, un défi d’ingénierie
L’ampleur décrite par OpenAI est difficile à appréhender. ChatGPT n’a eu besoin que de cinq jours pour atteindre un million d’utilisateurs après son lancement en novembre 2022. À titre de comparaison, Instagram a mis deux mois et demi et Netflix, plus de trois ans. Aujourd’hui, l’entreprise évoque plus d’un milliard d’utilisateurs : son infrastructure a donc dû évoluer à un rythme sans précédent dans l’histoire des applications d’IA grand public.
Chaque conversation avec ChatGPT génère des données : historique des échanges, contexte, préférences de l’utilisateur, fichiers et documents transmis et, dans le cas des offres payantes, créations produites par des outils comme DALL-E ou l’interpréteur de code. Le problème ne se résume pas à une base de données : il faut concevoir une architecture de persistance capable de fonctionner en temps réel, de manière fiable et à l’échelle mondiale.
Pourquoi le stockage des données est si complexe
Dans le domaine des grands modèles de langage, les discussions portent généralement sur la puissance de calcul : nombre de GPU, coût de l’entraînement, débit de l’inférence. Le stockage est moins spectaculaire, mais tout aussi essentiel. Lorsqu’un utilisateur ouvre une conversation avec ChatGPT, le système doit en reconstituer rapidement tout le contexte : messages précédents, fichiers transmis et éventuelles instructions système définies par l’utilisateur ou l’opérateur de l’API. Avec un milliard d’utilisateurs et des milliards de conversations, il faut gérer des volumes de données comparables à ceux des plus grandes plateformes sociales au monde.
À partir d’une certaine échelle, l’approche classique des bases de données - acheter une solution prête à l’emploi auprès d’un fournisseur cloud et augmenter la capacité des serveurs - ne suffit plus. Meta, Google et Amazon ont rencontré le même problème il y a déjà une décennie et l’ont résolu en créant des systèmes spécialisés : Cassandra, Bigtable et DynamoDB. Entreprise relativement jeune, OpenAI a dû relever le même défi en un temps record, tout en maintenant un produit utilisé chaque jour par des centaines de millions de personnes.
Une série technique qui en dit long sur le secteur
Le choix d’OpenAI de rendre ces défis publics, sous la forme d’une série en plusieurs parties, est en soi révélateur. Une telle démarche répond à plusieurs objectifs. D’abord, le recrutement : les ingénieurs veulent savoir qu’ils travailleront sur des problèmes à la pointe de la technologie, plutôt que sur un système CRUD de plus. Ensuite, la réputation dans le milieu technique : montrer que l’entreprise comprend ses propres défis et sait les expliquer avec précision renforce la confiance des développeurs qui utilisent son API. Enfin, cette démarche contribue à la formation de l’ensemble du secteur de l’IA, où la croissance est si rapide que les connaissances sur la mise à l’échelle des systèmes en production sont précieuses.
Google avait suivi une démarche comparable avec ses publications sur MapReduce et Bigtable, Facebook avec la présentation de Haystack, son système de stockage de photos, et Netflix avec la description de son architecture de recommandation. Chacun de ces documents est devenu une référence pour le secteur pendant des années.
Google · Vos sourcesPromptif plus haut dans Google - en un clicAjouter aux sources préférées →Ce que l’infrastructure d’OpenAI peut apprendre aux entreprises européennes
Pour les entreprises européennes qui déploient des solutions fondées sur des modèles de langage, la série technique d’OpenAI présente un intérêt pratique, même si aucune ne gère un milliard d’utilisateurs. Les défis auxquels OpenAI fait face aujourd’hui pourraient toucher, dans quelques années, toute entreprise développant des assistants d’IA dotés d’une mémoire à long terme : cabinets d’avocats conservant l’historique des dossiers, plateformes de commerce en ligne personnalisant l’expérience de leurs clients ou services client s’appuyant sur plusieurs années d’échanges.
En Europe, le RGPD ajoute des exigences en matière de conservation et de suppression des données, qui ne prennent pas la même forme aux États-Unis. L’architecture de stockage des systèmes d’IA doit donc tenir compte du droit à l’effacement, des restrictions sur les transferts de données hors de l’Espace économique européen et des exigences relatives à la localisation du stockage. La manière dont OpenAI traite ces questions au niveau de son infrastructure constitue ainsi une source d’enseignements pour les ingénieurs qui travaillent dans le cadre juridique européen.
La série technique d’OpenAI rappelle que, derrière une simple fenêtre de discussion, se cache une infrastructure aussi complexe que celles qui font fonctionner les réseaux financiers mondiaux. La construire au rythme imposé par le marché est l’un des défis d’ingénierie les plus difficiles de notre époque.
More on this from PROMPTIF
magazine·Ray-Ban Meta : combien coûte vraiment une minute d’enregistrement ?Prix, autonomie et fonctions d’IA : découvrez ce que coûtent vraiment les Ray-Ban Meta et les points à vérifier avant de les acheter.