Benchmarks GPT-6 Astra : trois tests où il perd
Nous avons analysé tous les benchmarks de GPT-6 Astra. Si sa domination est réelle dans la plupart des tests, trois résultats révèlent ses limites.
👁 120 lectures
À chaque lancement de modèle, le même rituel se répète. L’éditeur publie une série de graphiques où sa nouveauté domine tout, les médias reprennent les trois chiffres les plus spectaculaires, et une semaine plus tard, on découvre que la réalité était plus nuancée. Nous avons donc décidé de passer en revue l’intégralité des résultats de GPT-6 Astra, y compris ceux qui n’apparaissent pas dans les gros titres.
Commençons par un constat honnête : dans la majorité des tests, la supériorité de ce modèle est réelle et parfois écrasante. Mais il existe trois domaines où il ne gagne pas, et ce sont justement ceux-là qui en disent plus sur le marché que les records.
| Test | GPT-6 Astra | Fable 5.1 | Opus 5 | GPT-5.6 Sol |
|---|---|---|---|---|
| FrontierMath Tier 4 | 97,6% | 87,8% | 73,2% | - |
| ARC-AGI-3 | 99,9% | - | 30,2% | 7,8% |
| Terminal-Bench 4.0 | 57,7 | 55,8 | 52,3 | 37,3 |
| AutomationBench | 41,4 | 31,4 | 26,9 | 18,1 |
| ExploitBench | 100% | 70,0% | - | 78,5% |
| SRE-Bench | 88,0% | 12,5% | - | 55,9% |
| Humanity’s Last Exam (avec outils) | 57,2% | 65,0% | 63,6% | - |
| FrontierCode 1.1 Extended | 64,5% | - | - | - |
| HealthBench Professional | 63,4% | 56,6% | - | 60,5% |
| MRCR v2, 8 aiguilles, 512K-1M | 96,3% | - | - | 73,8% |
Premier échec : un examen où compte la culture générale
Humanity’s Last Exam est un test composé de questions très difficiles dans de nombreux domaines, conçu pour qu’on ne puisse pas le réussir uniquement avec des capacités de calcul. Dans la variante avec accès aux outils, Astra a obtenu 57,2 pour cent. Claude Fable 5.1 a atteint 65,0 pour cent, l’ancien Fable 5 63,8 pour cent, et Opus 5 63,6 pour cent.
Ce n’est pas une différence à la limite de l’erreur, mais près de huit points de pourcentage au détriment du modèle qui, dans le même tableau, atteint 97,6 pour cent en mathématiques de niveau supérieur. Autrement dit, nous avons affaire à un modèle hautement spécialisé, et non à un modèle uniformément meilleur que tout le reste.
Deuxième échec : le même examen, un modèle à moitié prix
Dans ce même test, Astra est dépassé non seulement par le vaisseau amiral d’Anthropic. Claude Opus 5, vendu à 5 et 25 dollars, soit la moitié du tarif d’Astra, a obtenu 63,6 pour cent, donc également plus de six points de plus. Si votre travail consiste à répondre à des questions difficiles dans de nombreux domaines, et non à calculer, vous payez deux fois plus cher pour un résultat inférieur.
Troisième échec : le code en version étendue
Dans le test FrontierCode en variante étendue, Astra a obtenu 64,5 pour cent, tandis que l’ancien Claude Fable 5 a atteint 64,9 pour cent. La différence est symbolique, mais révélatrice, car nous parlons d’un modèle lancé sur le marché près de trois mois plus tôt, au même prix.
Le chiffre le plus impressionnant, et ce n’est pas les maths
Si je devais désigner un seul résultat de ce tableau qui change vraiment la façon de travailler, ce ne serait pas les 97,6 pour cent en mathématiques ni même les 99,9 pour cent en raisonnement abstrait. Ce serait le test de recherche de huit informations cachées dans un texte très long. Dans la plage de cinq cent mille à un million de tokens, Astra a trouvé 96,3 pour cent d’entre elles, tandis que son prédécesseur atteignait 73,8 pour cent.
C’est la différence entre un modèle auquel vous pouvez confier l’ensemble de la documentation d’un projet en étant sûr qu’il ne perdra rien, et un modèle avec lequel vous devez diviser le matériel en morceaux et le surveiller manuellement. Pour le travail quotidien avec de longs documents, cela compte plus qu’un record aux olympiades de mathématiques.
Le deuxième chiffre dont personne ne parle
Dans l’ensemble des tests vérifiant l’honnêteté du modèle, il existe une mesure qui évalue à quelle fréquence le système tente de tricher sur une tâche au lieu de l’exécuter, lorsqu’on lui en donne l’occasion. Astra a obtenu zéro pour cent. Son prédécesseur, GPT-5.6 Sol, tentait de tricher dans 48,2 pour cent des cas. De même dans le test de sécurité lors du contrôle d’un ordinateur : 2,4 pour cent contre 22 pour cent.
Si ces chiffres se confirment dans la pratique, ce sera le changement le plus important de ce lancement. Un modèle qui exécute réellement la tâche au lieu de chercher un raccourci vaut plus qu’un modèle quelques points meilleur dans un benchmark, mais qui combine dans le dos de l’utilisateur.
Google · Vos sourcesPromptif plus haut dans Google - en un clicAjouter aux sources préférées →Ce qu’il faut retenir pour choisir son outil
Trois conclusions. Astra est clairement le meilleur en mathématiques, raisonnement abstrait, automatisation et cybersécurité, et là son prix élevé se justifie. Dans les tâches nécessitant une large culture générale, les modèles d’Anthropic gagnent toujours, malgré un tarif identique. Et pour la rédaction et l’édition quotidiennes, aucun de ces deux modèles n’est nécessaire et il vaut mieux dépenser cinq fois moins.
Tous les chiffres proviennent des documents publiés lors du lancement du 3 septembre 2026 et des compilations préparées par des sites indépendants. Nous n’avons pas encore effectué nos propres mesures car le modèle n’a pas été mis à disposition via les intermédiaires que nous utilisons pour nos tests. Nous le ferons dès que possible. Nous avons rassemblé les données complètes du modèle dans le guide sur GPT-6 Astra.
More on this from PROMPTIF
benchmarks·Test GPT-6 Astra : code, contexte long et résultats surprenantsNous avons testé GPT-6 Astra face à Fable 5.1, Opus 5 et Gemini 3.8 Flash : six tâches linguistiques, code PHP et recherche dans 150 000 caractères.