Une hallucination d’IA a failli provoquer un incident militaire entre les États-Unis et la Chine
Les États-Unis ont frôlé l'interception armée d'un navire chinois après qu'un analyste du Commandement des opérations spéciales a produit un rapport de renseignement «entièrement faux» généré avec l'aide d'un chatbot.
👁 118 lectures
Les États-Unis ont failli arraisonner un navire chinois en mer après qu’un rapport de renseignement «entièrement faux», produit avec l’aide d’un chatbot, a suggéré que le bâtiment transportait des composants de programme nucléaire à travers le Moyen-Orient, selon un article de CNN cité par Ars Technica. Quatre sources familières avec l’épisode ont indiqué que l’armée américaine se préparait à intercepter le navire, avec appui aérien, avant que des responsables ne découvrent que le chatbot avait «identifié de façon incorrecte» la nature de la cargaison. Une source a déclaré à CNN que l’incident «a failli déclencher une guerre».
- Un analyste du US Special Operations Command a utilisé un chatbot pour analyser le manifeste d'un navire chinois, produisant un rapport erroné sur des composants nucléaires
- L'armée américaine se préparait à arraisonner le navire avec un appui aérien avant que l'erreur ne soit découverte - une source a confié à CNN que cela «a failli déclencher une guerre»
- 1,5 million de personnels actifs du DoD utilisent déjà des outils d'IA générative, selon un représentant du Pentagone devant le Congrès en juin
Selon le rapport, l’analyste du US Special Operations Command a utilisé le chatbot pour examiner des rapports de renseignement concernant le manifeste du navire. L’outil a fusionné des renseignements en source ouverte avec des signaux secrets classifiés détenus par le gouvernement, produisant un document de synthèse qui a failli déclencher une séquence d’événements désastreuse.
L’incident intervient dans un contexte d’accélération assumée du recours à l’IA au sein du Pentagone. En janvier, le Department of Defense a déployé une «stratégie d’accélération de l’IA» visant à rendre «toutes les données appropriées disponibles dans les systèmes informatiques fédérés pour l’exploitation par l’IA». En décembre dernier, le DoD a annoncé l’utilisation de Gemini for Government de Google comme base de sa plateforme «GenAI.mil», à laquelle Grok for Government a été ajouté le mois dernier. Anthropic propose également une version personnalisée de Claude pour les services de renseignement américains. En juin, un représentant du Pentagone a indiqué au Congrès que 1,5 million de personnels actifs du DoD ont utilisé ces outils d’IA générative.
Une déclaration du Département d’État de 2023 sur «l’utilisation militaire responsable de l’IA» stipulait pourtant que cette utilisation devait toujours impliquer «un humain dans la boucle» et «une chaîne de commandement et de contrôle humaine responsable».
À retenir pour les praticiens : cet épisode illustre un risque concret pour quiconque intègre un LLM dans un flux de travail décisionnel - le modèle ne signale pas son incertitude, il produit une réponse plausible même quand les données sources sont insuffisantes. Croiser systématiquement les sorties d’un chatbot avec les documents primaires, et ne jamais laisser un rapport généré par IA franchir une étape critique sans validation humaine indépendante, n’est pas une précaution académique : c’est la seule pratique qui évite ce type de défaillance.
Google · Vos sourcesPromptif plus haut dans Google - en un clicAjouter aux sources préférées →
More on this from PROMPTIF
