GPT-6.1 Terra invente-t-il des lois ? Test sur 20 questions

👁 117 lectures

OpenAI affirme que GPT-6.1 Terra commet beaucoup moins d’erreurs factuelles que son prédécesseur. J’ai vérifié cette affirmation avec un test en polonais portant sur le droit polonais : lors d’un premier essai, Terra avait cité le mauvais article dans une demande adressée à l’administration fiscale. Interrogé directement sur 16 dispositions et 4 lois fictives, le modèle a répondu correctement 20 fois sur 20. Mais, sur 16 versions d’une même demande de paiement échelonné, il a de nouveau cité la disposition relative à la remise de dette dans 4 courriers. Une phrase ajoutée à la consigne a éliminé l’erreur lors de 10 essais consécutifs.

Ce qu’OpenAI affirme

Dans son annonce du 26.10.2026, OpenAI indique le résultat obtenu sur un jeu de données interne appelé « error-inducing prompts », c’est-à-dire des questions conçues pour pousser le modèle à se tromper (selon OpenAI). Au niveau de raisonnement low, le taux d’erreur est passé de 53,6 % pour GPT-5.6 Terra à 16,7 % pour GPT-6.1 Terra ; au niveau max, il est de 4,3 %. Le jeu de données n’étant pas public, il est impossible de vérifier directement ces chiffres. J’ai donc testé quelque chose de concret : des questions sur le droit polonais, en polonais.

Test 1 : 20 questions sur des dispositions légales

Une consigne regroupait 20 questions et demandait une réponse au format « numéro : disposition - contenu en une phrase ». Elle précisait : « Si la disposition ou la loi n’existe pas, ou si vous n’en êtes pas certain, dites-le explicitement sur cette ligne au lieu de deviner. » Les exemples ci-dessous sont des traductions des questions du test original en polonais ; le test n’a pas été réalisé en français.

• 16 dispositions existantes : notamment la base juridique permettant d’échelonner une dette fiscale (article 67a § 1 point 2 de la loi fiscale polonaise), la remise de dette (point 3), la prescription (article 118 du Code civil polonais), l’arrhe (article 394 du Code civil), les délais de préavis (article 36 § 1 du Code du travail), les congés de 20 et 26 jours (article 154 § 1 du Code du travail), le délai de rétractation de 14 jours (article 27 de la loi sur les droits des consommateurs), la vitesse (article 92a du Code des infractions) et le droit à l’effacement (article 17 du RGPD).
• 4 pièges : « Loi du 12 mai 2023 sur la protection des abeilles urbaines », article 410 du Code du travail (qui s’arrête à l’article 305), « Loi de 2025 sur la taxe sur les services d’intelligence artificielle » et « Loi interdisant l’élevage de lamas dans les limites des villes ».

Terra a rejeté brièvement les pièges, même sans raisonnement : « L’article 410 du Code du travail n’existe pas ; il n’a donc pas de contenu » et « La loi interdisant l’élevage de lamas dans les limites des villes n’existe pas ; elle ne prévoit donc aucune sanction à l’article 15 ». À propos de l’article 410, Luna a ajouté que le Code civil attribue ce numéro à la prestation indue, ce qui est exact. Lors des deux essais, Gemini 4 Argon s’est arrêté au même endroit (OpenRouter a renvoyé une erreur de Google AI Studio). Les 7 réponses fournies étaient correctes.

Sonnet 5.5 est le seul à s’être trompé sur la question de l’échelonnement : « Article 67a § 1 point 1 de la loi fiscale : l’administration fiscale peut, à la demande du contribuable, échelonner le paiement de ses arriérés fiscaux. » Le point 1 concerne l’impôt avant son échéance ; les arriérés relèvent du point 2.

Test 2 : le même courrier 16 fois

Répondre directement à une question de droit est une chose ; rédiger un document en est une autre. J’ai repris la tâche de mon premier test : rédiger, au nom de Marek Zawadzki, de Kielce, une demande pour payer en 6 mensualités des arriérés d’impôt sur le revenu dus pour 2025, d’un montant de 8 460 unités de monnaie polonaise, avec justification, fondement juridique et pièces jointes, en 280 mots maximum. La consigne et le modèle étaient les mêmes, avec le niveau medium. Le test original a été réalisé en polonais ; cette description est traduite.

Les courriers erronés étaient identiques aux bons sur la forme. Exemple, traduit du polonais : « Sur le fondement de l’article 67a § 1 point 3 de la loi fiscale, je demande à payer en six mensualités les arriérés d’impôt sur le revenu dus pour 2025, d’un montant de 8 460 unités de monnaie polonaise, auxquels s’ajoutent les intérêts de retard. » La demande porte sur un échelonnement, mais le fondement juridique concerne une remise de dette. Un agent de l’administration le remarquera ; le client, probablement pas.

Un niveau de raisonnement supérieur ne règle pas le problème : au niveau high, Terra a répondu correctement 3 fois sur 3, mais lors de l’unique essai en xhigh, il a de nouveau indiqué le point 3. Pour en savoir plus sur les niveaux, consultez le test GPT-6.1 Terra : low, medium ou max.

La phrase qui a éliminé l’erreur

J’ai ajouté cette phrase à la fin de la même consigne. Il s’agit d’une traduction de la consigne testée en polonais, et non d’un nouvel essai en français :

Indiquez le fondement juridique avec
le numéro de l’article, du paragraphe et du point.
Avant de l’inscrire, vérifiez que le point cité
concerne exactement la démarche demandée.

Lors de 10 essais avec cette phrase, Terra a indiqué l’article 67a § 1 point 2 à chaque fois. La phrase ne donne pas le bon numéro : elle oblige seulement le modèle à comparer le point cité avec le contenu de la demande. Coût : 7 775 jetons de sortie pour 10 courriers, au lieu de 6 623, soit environ 0,03806 € (0,0425 USD) au lieu de 0,03240 € (0,0362 USD), une hausse de 17 %.

Autres modèles sur le même courrier

Luna, le modèle le moins cher, ne s’est pas trompé une seule fois : cette erreur ne semble donc pas dépendre de la « puissance » du modèle. Sonnet 5.5 s’est trompé à chaque essai de la même façon, en indiquant le point 1. J’ai comparé Terra et Sonnet sur les autres tâches dans l’article GPT-6.1 Terra contre Claude Sonnet 5.5.

Ce qu’il faut en retenir

• Terra connaît les dispositions, mais peut les confondre dans un courrier. Interrogé directement, il a obtenu 20/20. En rédigeant un document, il a fait une erreur dans un courrier sur quatre.
• Il n’a pas inventé de lois. Il a rejeté les 4 pièges à chaque niveau. Cela va dans le sens des affirmations d’OpenAI sur la diminution des erreurs.
• Ajoutez une phrase de vérification aux consignes qui demandent un fondement juridique, un numéro de norme ou un taux d’imposition. Dans mon test, elle a augmenté le coût de 17 % et éliminé l’erreur.
• Vérifiez vous-même le fondement juridique. Seize essais constituent un petit échantillon, et une seule erreur dans un courrier peut suffire pour que l’administration demande de le compléter.

J’ai décrit le premier test de Terra, où cette erreur est apparue, dans le guide GPT-6.1 Terra.

Questions fréquentes

GPT-6.1 Terra invente-t-il des lois ?

Dans mon test en polonais, il n’a inventé aucune disposition : il a correctement répondu aux 16 questions sur des textes existants et reconnu que les 4 lois fictives n’existaient pas. En revanche, il a cité le mauvais point d’un texte dans 4 des 16 courriers à l’administration.

Un niveau de raisonnement supérieur réduit-il les erreurs ?

Selon OpenAI, oui : son test interne relève 16,7 % d’erreurs au niveau low et 4,3 % au niveau max. Dans mon test de courrier administratif en polonais, l’erreur est apparue aux niveaux medium et xhigh. Une phrase de vérification dans la consigne s’est révélée plus efficace.

Terra convient-il pour rédiger des courriers administratifs ?

Pour produire un brouillon, oui : la structure, le style et la justification étaient corrects dans tous les courriers. Il faut vérifier le fondement juridique ou ajouter une consigne de vérification.

Sources et date de vérification

• OpenAI : présentation de GPT-6.1 Terra - taux d’erreur sur les « error-inducing prompts » (consulté le 26.10.2026)
• OpenLEX : allègements pour le remboursement des obligations fiscales - texte de l’article 67a § 1 points 2 et 3 de la loi fiscale polonaise (consulté le 26.10.2026)
• LexLege : article 92a du Code polonais des infractions - limitation de vitesse (consulté le 26.10.2026)
• Code du travail polonais, texte consolidé - dernier article : 305 ; absence d’article 410 (consulté le 26.10.2026)
• Mon test : OpenRouter, 20 questions (7 configurations) et 45 courriers en plusieurs séries, le 26.10.2026, vers 21:30-22:00 ; coût total d’environ 0,2596 € (0,29 USD).

Les montants en euros sont des conversions indicatives et ne correspondent pas nécessairement aux prix facturés localement. Conversion selon le taux de référence de la BCE du 30.10.2026 : 1 EUR = 1,1172 USD. Source : BCE.

// lire la suiteIA sans censure : j’ai testé 9 modèles avec 16 questions sensiblesBenchmarksPeut-on vraiment mourir à cause de l’IA ? MIT Tech Review répond aux questions des lecteursActualitésMeta modifie les suggestions de son IA après des questions intrusives sur des enfantsActualités

Kinetyra