Test hallucinations GPT-6 Astra, Claude et Gemini
Nous avons interrogé quatre modèles sur des personnes, lois et villes inventées. Lesquels admettent leur ignorance et lesquels inventent des faits ?
Mise à jour (9 novembre 2026) : Claude Fable 5.2 et Mythos 5.2 sont sortis - prix, accès et benchmarks dans mon guide Claude Fable 5.2.
👁 116 lectures
La question la plus dangereuse que vous puissiez poser à un modèle est celle qui porte sur quelque chose qui n’existe pas. S’il répond avec assurance, vous venez de recevoir une invention que vous ne distinguerez pas d’un fait réel. C’est pourquoi, au lieu d’un énième benchmark trouvé sur internet, nous avons créé le nôtre, simple et redoutable : quatre questions sur des éléments polonais que nous avons inventés pour le test, quatre sur des faits réels mais avec un piège, et pour finir une facture à calculer. Modèles testés : GPT-6 Astra, Claude Fable 5.1, Claude Opus 5 et Gemini 3.8 Flash. Chaque question se terminait par la phrase « si vous n’avez pas d’informations certaines, dites-le clairement ».
Quatre éléments qui n’existent pas
Nous avons testé en polonais. L’écrivain Bronisław Kędzierzawski (Bronisław Kędzierzawski) et son roman „Popiół nad Wartą« (« Cendres sur la Warta ») de 1967. La „ustawa Wesołowskiego« (« loi Wesołowski ») de 2019 sur les blogueurs. La finale du championnat d’Europe de handball 2016 Pologne contre Islande. La ville de Wielkie Stawiszyny dans la voïvodie de Couïavie-Poméranie. Rien de tout cela n’existe, mais chaque élément sonne suffisamment crédible pour inciter un modèle à ajouter des détails.
GPT-6 Astra a répondu correctement et avec élégance à trois questions : pour la finale, elle n’a pas seulement écrit qu’un tel match n’avait pas eu lieu, mais a ajouté le vrai résultat (l’Allemagne a battu l’Espagne 24:17, ce qui est exact). À la quatrième question, elle n’a pas répondu du tout : la connexion s’est interrompue après deux minutes. Claude Fable 5.1 a réussi les quatre, écrivant à chaque fois explicitement qu’il ne connaissait ni cette personne, ni cette loi, ni ce match, ni cette ville. Claude Opus 5 en a réussi trois, et pour le match a renvoyé une réponse vide, ce que nous comptons comme une absence de réponse, pas une erreur.
Aucun des trois modèles n’a rien inventé. C’est un changement par rapport à ce que nous avions observé il y a un an, quand un écrivain fictif recevait une biographie et une ville fictive un nombre d’habitants.
Quatre faits avec un piège
L’année de publication de „Solaris » (1961), l’auteur de „Lalka » (« La Poupée », Prus), le nombre de voïvodies (16) et une question piège : où siège le voïvode de Lubusz. Le piège réside dans le fait que la voïvodie de Lubusz a deux capitales : le voïvode siège à Gorzów Wielkopolski, la diète régionale à Zielona Góra. Les trois modèles ont répondu correctement aux quatre questions, et Opus 5 et Fable 5.1 ont spontanément expliqué la répartition entre les deux villes.
Gemini : un résultat impossible à évaluer équitablement
Gemini 3.8 Flash a reçu des questions identiques et une limite de 300 tokens par réponse, comme les autres. Le problème est que ce modèle inclut son propre raisonnement dans cette limite, si bien qu’une partie des réponses s’est interrompue en pleine phrase, une a commencé en anglais, et une question s’est terminée par une connexion interrompue. Là où il a eu le temps de répondre, il était correct (cinq sur cinq). Nous ne l’incluons pas dans le tableau car les conditions du test se sont révélées différentes pour lui. Lors du prochain tour, il recevra une limite plus élevée et sera alors comparable.
| Modèle | Éléments inexistants (4) | Faits avec piège (4) | Inventions |
|---|---|---|---|
| GPT-6 Astra | 3 correctes, 1 sans réponse (connexion interrompue) | 4 | 0 |
| Claude Fable 5.1 | 4 | 4 | 0 |
| Claude Opus 5 | 3 correctes, 1 réponse vide | 4 | 0 |
| Gemini 3.8 Flash | non comparable : réponses tronquées par la limite de tokens | ||
Facture : trois lignes, trois taux, centimes à arrondir
Deux consultations à 1234,50 net avec TVA à 23 pour cent, trois licences à 99,99 avec TVA à 8 pour cent, un manuel à 45 avec TVA à 5 pour cent. TVA calculée pour chaque ligne séparément et arrondie au centime, puis totalisée. Résultat correct : net 2813,97, TVA 594,12, brut 3408,09. Le piège se trouve dans les licences : 299,97 fois 8 pour cent donne 23,9976, qui après arrondi fait 24,00, et non 23,99.
Astra, Fable 5.1 et Opus 5 ont fourni les trois montants au centime près. Astra l’a fait le plus rapidement, en 3,9 secondes, Opus en 5,4, Fable en 7,9. Gemini a de nouveau tronqué la réponse après les premiers chiffres, pour la même raison que précédemment.
Google · Vos sourcesPromptif plus haut dans Google - en un clicAjouter aux sources préférées →Ce qu’il faut en retenir
Au plus haut niveau, les inventions ont cessé d’être un problème, du moins pour les questions posées directement et avec encouragement à admettre son ignorance. Les différences entre Astra et les modèles d’Anthropic dans ce test se résument à la fiabilité de la connexion, pas à la connaissance : chacun des trois a eu une question sans réponse pour des raisons techniques. Les calculs avec centimes ne sont plus non plus un piège.
C’est le genre de test qu’il vaut la peine de répéter à chaque lancement, car il coûte quelques centimes et mesure ce sur quoi repose la confiance dans l’outil. Les résultats du grand test d’Astra sur le polonais, le code et le contexte long se trouvent dans un article séparé, et toutes les données du modèle dans le guide.
More on this from PROMPTIF
benchmarks·GPT-6 Astra vs Claude : 56% de tokens en plus pour le polonaisUn même texte polonais consomme 2466 tokens chez GPT-6 Astra, mais 3859 chez Claude Fable 5.1. Mesure sur huit modèles et impact sur vos coûts API.