Hallucination de chatbot : avions en vol, opération annulée

👁 117 lectures

Au printemps 2026, des avions militaires américains étaient déjà en vol lorsqu’il s’est avéré que le rapport de renseignement sur lequel reposait une opération armée contre un navire chinois avait été inventé par un chatbot. L’opération a été annulée à la dernière minute. CNN a décrit tout l’épisode vendredi, et le récit de TechCrunch mérite d’être lu non pas comme une anecdote sur la bévue d’un analyste, mais comme la description d’une défaillance procédurale concrète qui a son arithmétique.

Selon la description de la source, un analyste du Commandement des opérations spéciales a demandé au chatbot de synthétiser des données de sources ouvertes avec du renseignement d’origine électromagnétique classifié. Le modèle a mal interprété le manifeste de cargaison du navire et a conclu que des composants pour un programme d’armes nucléaires se trouvaient à bord. Ensuite, ce même analyste a utilisé l’outil une deuxième fois - cette fois pour formater les conclusions erronées en un résumé ressemblant à un document officiel. Et c’est précisément cette deuxième étape qui est la plus dangereuse dans toute cette histoire, car l’hallucination a reçu un emballage qui, dans les canaux de commandement, se lit comme un produit de renseignement.

Combien de faux rapports passent une étape de contrôle

Nous avons fait un calcul simple que chacun peut reproduire sur papier. Prenons deux paramètres. Le premier est la proportion de réponses contenant des affirmations fausses lors de tâches de résumé et de fusion de documents. Dans les classements publics d’hallucinations lors du résumé de documents, les meilleurs modèles descendent en dessous de deux pour cent, mais la dispersion dans l’ensemble atteint de un pour cent à une dizaine - le classement de Vectara le montre le mieux, et les tests basés sur des questions de connaissance, comme SimpleQA, donnent pour de nombreux modèles plusieurs dizaines de pour cent de réponses erronées aux questions factuelles. La tâche de l’incident décrit - fusionner des données publiques avec des données électromagnétiques et tirer une conclusion sur la cargaison - est plus proche de cette deuxième catégorie que du résumé d’une page de texte. Nous avons retenu de manière conservatrice cinq pour cent.

Le deuxième paramètre est l’efficacité de la vérification humaine. Supposons qu’un analyste ou son supérieur détecte trois erreurs sur quatre, soit une efficacité de 75 pour cent. Cette hypothèse est généreuse, car elle concerne un document qui a lui-même l’air professionnel et provient de sa propre unité. Avec ces chiffres, sur mille rapports, cinquante contiennent une erreur, dont douze et demi passent par une étape de contrôle. Douze faux rapports sur mille - c’est un sur quatre-vingts. Seul l’ajout d’une deuxième étape de vérification indépendante avec la même efficacité ramène ce résultat à trois sur mille, et une troisième - à moins d’un.

La conclusion de ce calcul est brutalement simple : dans une chaîne où sur mille produits analytiques une dizaine sont inventés, un incident du type de celui du printemps n’est pas un accident, mais une statistique. La question n’est pas de savoir s’il se produira, mais après combien de milliers de requêtes. Si dans un commandement donné les modèles traitent dix mille requêtes analytiques par an - un chiffre tout à fait réaliste pour un outil accessible depuis un navigateur - alors avec nos hypothèses nous avons cent vingt-cinq produits erronés par an passant le premier contrôle.

Le contexte critique ne concerne pas que l’armée : tribunaux et médecine ont déjà leurs comptes

La dimension militaire est la plus spectaculaire, mais pas la première. Dans le système judiciaire, nous avons déjà des cas comptabilisés : une base de données tenue par l’avocat français Damien Charlotin depuis 2023 a rassemblé plus de mille décisions du monde entier dans lesquelles un tribunal a constaté qu’un avocat s’était référé à des jugements inexistants ou à des citations fabriquées générées par un modèle - le registre est public et actualisé. Le cas le plus connu concerne non pas un avocat, mais la réaction du tribunal : dans l’affaire Mata contre Avianca à New York, le juge P. Kevin Castel a condamné deux avocats à une amende de cinq mille dollars chacun.

En médecine, l’échelle est différente, car l’erreur n’est pas détectée par la partie adverse. Des études sur le résumé de documentation et la transcription de consultations ont montré que les outils basés sur des modèles ajoutent aux enregistrements des phrases entières que personne n’a prononcées - un phénomène décrit notamment lors d’analyses de Whisper, où dans une partie des transcriptions examinées apparaissaient des fragments totalement inventés. Un mécanisme, trois secteurs différents : le modèle génère un contenu qui sonne comme un produit d’expert et est traité comme un produit d’expert.

« Il est important que les soldats comprennent l’incertitude inhérente à la nature des modèles de langage. Mais c’est particulièrement critique pour toutes les décisions qui peuvent conduire à l’usage de la force - lors de la désignation de cibles, de l’analyse de renseignement ou de la planification opérationnelle. Ces décisions ont des conséquences en termes de vie et de mort » - Jake Steckler, chercheur à GovAI et ancien officier de l’armée américaine, dans une réponse écrite pour TechCrunch.

Steckler ajoute quelque chose de facile à négliger : selon lui, l’incident devrait être un argument pour ajouter des protections, et non pour renoncer aux outils. Placer la vitesse de déploiement au-dessus de tout conduira à des événements qui saperont la confiance des soldats dans ces systèmes, ce qui finira par ralentir le déploiement lui-même.

Structures de défense et IA : le cadre réglementaire

Nous n’avons pas encore d’équivalent publiquement connu de l’incident décrit en Europe, mais nous avons quelque chose qui rend la question actuelle : des structures propres traitant de l’IA dans la défense. L’OTAN a depuis 2021 une stratégie IA adoptée avec six principes d’utilisation responsable, dans laquelle sont mentionnés séparément l’exigence d’identifiabilité et la possibilité d’interrompre le fonctionnement du système - le texte des principes est accessible publiquement.

Nous arrivons ici à une lacune qu’il faut nommer franchement. Le règlement européen sur l’intelligence artificielle, l’AI Act, dans son article 2 exclut de son champ d’application les systèmes utilisés exclusivement à des fins militaires, de défense et de sécurité nationale. Cela signifie que le régime européen le plus élaboré d’exigences pour les systèmes à haut risque - documentation, supervision humaine, enregistrement des événements - ne s’applique pas à l’analyse militaire. En pratique, la responsabilité revient donc aux principes généraux : la responsabilité disciplinaire et pénale du soldat pour manquement aux obligations ainsi que la responsabilité civile de l’État pour les dommages causés dans l’exercice du pouvoir public. Le modèle n’est pas un sujet, donc il n’y a personne à blâmer à part la personne qui a cliqué sur « envoyer ».

La conséquence pratique pour quiconque travaille avec des documents dans une institution publique, l’armée ou une entreprise de défense est unique et découle de ce que l’analyste a fait la deuxième fois dans l’incident décrit. N’utilisez jamais un modèle pour formater des résultats que ce même modèle a générés. Si le chatbot a créé du contenu, sa tâche suivante - lui donner l’apparence d’un document officiel - supprime le dernier signal d’alerte qu’était la sortie brute et chaotique. Séparer ces deux opérations entre différents outils et différentes personnes ne coûte rien et est la protection la moins chère qui puisse être mise en place dès aujourd’hui.

Deux vitesses qui s’excluent mutuellement

Le Pentagone parle ouvertement de l’IA comme d’un outil accélérant la chaîne de frappe, pour que les commandants puissent réagir au bon moment. Le problème est que c’est cette même vitesse qui permet à une hallucination de passer par les canaux de commandement avant que quiconque ne demande la source. La juxtaposition de ces deux objectifs dans un même tableau montre qu’il ne s’agit pas de deux aspects du même processus, mais de deux fonctions objectif opposées.

La dernière ligne de ce tableau est notre calcul du début de l’article. La différence entre douze et trois faux rapports sur mille est le prix payé pour une deuxième étape de contrôle - et le seul chiffre qu’il vaut la peine de montrer à une personne décidant d’une procédure. Car en termes de temps, cette deuxième étape représente quelques heures de retard, et en termes de risque, une réduction du nombre d’événements du type « avions déjà en vol » de trois quarts.

Il n’y a dans cette histoire aucun argument pour éliminer les modèles de langage de l’analyse. Il y a en revanche un argument très fort pour les traiter comme un outil avec un coefficient d’erreur connu et mesurable - comme l’armée traite tout autre capteur. Un radar a une probabilité déterminée de fausse détection et personne ne tire un missile après un seul écho. Un modèle de langage a aussi un tel coefficient, seulement personne ne l’a inscrit dans les instructions.

Faits vérifiés le 20 septembre 2026. Sources : TechCrunch sur l’incident, classement des hallucinations de Vectara, base de données de décisions judiciaires avec citations inventées, stratégie IA de l’OTAN et principes d’utilisation responsable. Calculs propres basés sur les hypothèses données dans le texte.

// lire la suiteLa dette technique n’a pas de plafond naturel, rappelle un développeurActualitésBria FIBO 2.0 : test de génération et d’édition d’imagesBenchmarksApplications de génération vidéo IA : Kling, PixVerse et autresOutils d'IA

Kinetyra