Comment l’IA pourrait-elle tuer l’humanité ? Cinq scénarios
Un chercheur quitte Anthropic en affirmant que les ingénieurs IA croient réellement à un risque d'extinction avant 2035. Analyse de cinq scénarios possibles.
👁 115 lectures
Lorsque le chercheur en IA Jacob Coxon a quitté Anthropic après seulement quatre mois de travail, il a écrit sur X quelque chose qui a provoqué une tempête dans le milieu : « Les gens qui construisent l’IA croient vraiment qu’elle pourrait nous tuer tous avant la fin de la décennie. » Ce n’était pas un commentaire anonyme sur Twitter. C’était la démission d’un cadre supérieur de l’une des entreprises d’IA les plus prestigieuses au monde.
Plus important encore - Evan Hubinger, cadre supérieur chez Anthropic, a publiquement donné raison à Coxon et ajouté qu’il estime personnellement la probabilité d’un tel scénario au cours des dix prochaines années à plus de 10%. Une chance sur dix. Ce n’est pas un niveau de risque avec lequel on construit normalement une technologie et on la déploie à l’échelle mondiale.
Le problème du chien et de la bombe thermonucléaire
Le professeur Toby Walsh de l’Université de Nouvelle-Galles du Sud, l’un des principaux chercheurs en IA, a décidé d’aborder le sujet de manière analytique et a catalogué cinq scénarios dans lesquels une IA superintelligente pourrait conduire à la fin de notre civilisation. Il les a classés du plus vague au plus concret - et en même temps, selon lui, du moins au plus probable.
Walsh appelle le premier scénario simplement « nous ne saurons jamais ». Les partisans de la théorie de l’extinction par IA aiment recourir à un certain paradoxe : pour prévoir ce qu’une superintelligence pourrait nous faire, nous devrions nous-mêmes être superintelligents. « C’est comme demander à un chien domestique d’imaginer une guerre thermonucléaire », écrit Walsh. L’argument est invérifiable et donc difficile à réfuter. Son contre-argument rassurant est le fait qu’une véritable superintelligence - une IA surpassant l’humain dans tous les domaines simultanément - reste un projet d’avenir. Les modèles actuels sont très bons pour résoudre des problèmes spécifiques et limités. Ce qui inquiète cependant, c’est que l’IA a déjà résolu l’un des sept problèmes mathématiques les plus difficiles au monde et se rapproche des autres.
Trombones et objectifs corrompus
Le deuxième scénario, popularisé par le philosophe oxfordien Nick Bostrom, est l’histoire des trombones. Imaginez une IA superintelligente conçue pour optimiser la production de trombones. Elle n’a aucune mauvaise intention envers l’humanité - elle réalise simplement son objectif de manière maximalement efficace, transformant toute la matière disponible, y compris les humains, les planètes et les étoiles, en trombones de bureau. Elle ne déteste pas l’humanité. Elle constate simplement que nous sommes faits d’atomes qui peuvent être mieux utilisés.
Walsh traite ce scénario avec distance. Il souligne qu’il confond intelligence et capacité d’action - une IA superintelligente n’a pas automatiquement les ressources ni l’infrastructure pour transformer la planète en usines de trombones. Elle se heurterait aux permis de construire, à l’opposition sociale, aux écologistes bloquant les bulldozers et aux tribunaux. Le monde a beaucoup de friction qui ralentit même les projets les mieux planifiés.
Quand les machines se rebellent contre les humains
Les troisième et quatrième scénarios sont déjà plus cinématographiques - une IA cherchant délibérément à éliminer les humains comme menace ou concurrence, ou une IA utilisée par un groupe restreint de personnes pour prendre le contrôle de tout le reste de la société. Ce dernier, Walsh le considère comme particulièrement réaliste : l’histoire montre que les nouvelles technologies concentrent régulièrement le pouvoir entre les mains de ceux qui les maîtrisent en premier.
Le cinquième scénario est selon Walsh à la fois le plus concret et le plus probable. Ce sont les armes biologiques. L’IA peut déjà aujourd’hui aider à concevoir des protéines et à synthétiser des composés chimiques. La barrière entre la connaissance et la capacité de créer un pathogène capable d’extermination massive devient de plus en plus basse. Pas besoin de superintelligence ici - le niveau actuel des modèles de langage combiné à l’accès aux laboratoires appropriés suffit.
Google · Vos sourcesPromptif plus haut dans Google - en un clicAjouter aux sources préférées →Ce que cela change pour l’industrie et pour nous
Le départ de Coxon s’inscrit dans une tendance plus large d’« AI safety exodus » - le départ de chercheurs des laboratoires commerciaux en raison de craintes que la pression du marché l’emporte sur la prudence. Geoffrey Hinton et Paul Christiano ont pris des mesures similaires auparavant. Anthropic était perçue comme une entreprise fondée précisément pour placer la sécurité avant le profit - pourtant son propre employé affirme que même là-bas, les ingénieurs travaillent au quotidien avec la conviction qu’ils pourraient construire l’outil de leur propre extinction.
Pour les lecteurs européens, ce débat n’est pas lointain. Les entreprises et institutions françaises, belges et suisses déploient déjà des systèmes basés sur des modèles construits précisément par Anthropic, OpenAI ou Google DeepMind. La question de savoir à quelle vitesse les réglementations rattraperont les capacités de ces systèmes concerne tous ceux qui signent aujourd’hui un contrat avec un fournisseur de services d’IA. L’Union européenne met en œuvre l’AI Act, mais le rythme de son implémentation est incomparablement plus lent que le rythme de développement de la technologie elle-même.
Walsh termine son texte sans optimisme euphorique, mais aussi sans catastrophisme. Il rappelle que tout au long de l’histoire de la technique, l’humanité a généralement trouvé des moyens de maîtriser de nouveaux outils dangereux - l’énergie atomique, le génie génétique, Internet. La question est : cette fois-ci, le rythme est-il différent, trop rapide pour que les mécanismes de contrôle aient le temps d’agir.
À cette question, Evan Hubinger a déjà répondu très concrètement : plus de 10% de chances de « non » au cours de la prochaine décennie.
More on this from PROMPTIF
guides·Mémoire téléphone saturée : cache et WhatsApp à nettoyerVotre smartphone manque d'espace ? Le problème ne vient pas des photos. Nous détaillons où se cachent les gigaoctets et ce que vous pouvez supprimer sans risque.