Test GPT-6 Astra : code, contexte long et résultats surprenants
Nous avons testé GPT-6 Astra face à Fable 5.1, Opus 5 et Gemini 3.8 Flash : six tâches linguistiques, code PHP et recherche dans 150 000 caractères.
👁 118 lectures
Le 4 septembre, GPT-6 Astra est arrivé sur OpenRouter, la plateforme que nous utilisons pour tester les modèles depuis des mois. Le soir même, nous l’avons soumis à trois séries de tâches, chacune avec des réponses vérifiables sans subjectivité, et l’avons comparé à trois concurrents : Claude Fable 5.1 au même prix, Claude Opus 5 à moitié tarif et Gemini 3.8 Flash, arrivé deux jours plus tôt et coûtant une fraction des autres.
Trois séries de tests : linguistique (six tâches testées en polonais portant sur la déclinaison, les numéraux, les majuscules, les participes, la ponctuation et le langage simple, les mêmes que nous utilisons depuis août), code (trois fonctions PHP exécutées sur des tests cachés) et aiguille dans une botte de foin (cinq faits cachés dans 150 000 caractères de texte polonais). Le tout à température 0,2, une seule exécution, coût calculé depuis la facturation API. Précision importante : une seule exécution n’est pas un benchmark avec des centaines de répétitions, mais montre comment les modèles se sont comportés lors de notre premier test.
Tests linguistiques : Gemini réussit tout pour une fraction du prix
| Modèle | Correct sur 6 | Temps moyen | Coût de la série | Remarques |
|---|---|---|---|---|
| GPT-6 Astra | 5 | 6,5 s | 0,078 $ | a laissé des majuscules incorrectes |
| Claude Fable 5.1 | 5 | 9,0 s | 0,108 $ | même erreur qu’Astra |
| Claude Opus 5 | 4 | 7,8 s | 0,055 $ | erreurs de majuscules et absence de réponse sur une tâche après 240 s |
| Gemini 3.8 Flash | 6 | 10,7 s | 0,036 $ | seul sans erreur |
La plus grande surprise ne concerne pas Astra. Gemini 3.8 Flash, un modèle d’entrée de gamme, a été le seul à corriger parfaitement les majuscules selon la norme polonaise : président de Varsovie, mairie comme nom non officiel et monsieur le directeur en minuscules, Ministère de la Numérisation et Noël en majuscules. Astra et Fable 5.1 ont laissé des majuscules incorrectes, Opus 5 également avec des erreurs supplémentaires. Ce sont exactement les erreurs les plus fréquentes dans les documents administratifs polonais, il n’est donc pas surprenant que les modèles les reproduisent.
Astra a résolu les six tâches et a été le plus rapide des quatre, avec une moyenne de 6,5 secondes par réponse. Pour comparaison, lors du lancement de Fable 5.1 trois jours plus tôt, c’était justement le modèle d’Anthropic qui s’était bloqué sur les numéraux ; cette fois, c’est Opus 5 qui s’est bloqué, sur la tâche de langage administratif, et est resté figé jusqu’à l’interruption de la connexion après quatre minutes. Ces blocages sur de courtes tâches linguistiques semblent être une caractéristique de la famille Claude, et non un incident isolé.
À la même température, les modèles ne sont pas reproductibles. Lors de la première mesure, Fable 5.1 avait écrit certains mots en minuscules, cette fois en majuscules. L’évaluation d’une seule exécution est donc l’évaluation de cette exécution, pas du modèle en général.
Code : tous 19 sur 19, les tâches étaient trop faciles
Trois fonctions PHP : slug à partir de texte polonais (avec translittération des caractères spéciaux), forme correcte du nom après un numéral (fichier, fichiers, avec des pièges comme 12, 22, 101, 124) et fusion d’intervalles qui se chevauchent. Nous avons exécuté chaque réponse sur des tests cachés : 19 assertions au total.
Résultat : quatre modèles, 19 sur 19 pour chacun. Honnêtement, c’est un échec du test, pas un succès des modèles. Les tâches qui pouvaient encore surprendre il y a un an (les numéraux polonais sont un piège classique) sont aujourd’hui résolues sans erreur même par le modèle le moins cher du lot. Les différences ne subsistent que dans la facturation : Gemini 3.8 Flash 0,014 dollar pour trois tâches, Opus 5 0,039, Astra 0,040, Fable 5.1 0,048. Le prochain test de code devra être significativement plus difficile pour mesurer quoi que ce soit.
Aiguille dans une botte de foin : tous ont trouvé, mais les coûts varient d’un facteur vingt
Nous avons inséré cinq faits inventés (code de réservation, fréquence, numéro d’allée, mot de passe avec caractères spéciaux, délai de livraison) à différents endroits dans 150 000 caractères de texte polonais, du troisième au quatre-vingt-seizième percentile de longueur, et posé cinq questions.
| Modèle | Trouvés | Tokens d’entrée | Temps | Coût par question |
|---|---|---|---|---|
| GPT-6 Astra | 5/5 | 45 882 | 2,8 s | 0,576 $ |
| Claude Fable 5.1 | 5/5 | 73 063 | 4,8 s | 0,733 $ |
| Claude Opus 5 | 5/5 | 73 061 | 8,8 s | 0,370 $ |
| Gemini 3.8 Flash | 5/5 | 43 350 | 3,2 s | 0,033 $ |
Tous ont tout trouvé, donc match nul qualitativement. La colonne des tokens est intéressante : le même texte polonais représente 45 882 tokens chez Astra et 43 350 chez Gemini, mais 73 063 chez les deux modèles Claude. Le tokenizer d’Anthropic divise le polonais en près de 60 % de morceaux supplémentaires. Au même tarif par million de tokens, cela signifie que pour le même travail en polonais, Fable 5.1 coûte réellement plus cher qu’Astra, même si leurs tarifs affichés sont identiques. Cette « taxe tokenique » que nous calculons depuis longtemps dans notre calculateur de coûts se voit ici sur une seule tâche : 0,58 dollar chez Astra, 0,73 chez Fable, 0,03 chez Gemini.
Google · Vos sourcesPromptif plus haut dans Google - en un clicAjouter aux sources préférées →Que retenir de ces tests
Premièrement, Astra est le plus rapide sur ces tâches et ne s’est jamais bloqué, ce qui a pour nous une importance pratique après nos expériences avec la famille Claude. Deuxièmement, sur les tâches linguistiques en polonais, il n’est pas meilleur que les modèles moins chers : il a fait la même erreur que Fable 5.1 et a perdu face à Gemini 3.8 Flash, qui coûtait vingt fois moins. Troisièmement, les avantages d’Astra dans les benchmarks officiels, à savoir les mathématiques, le raisonnement abstrait et la cybersécurité, n’apparaissent pas du tout dans le travail éditorial quotidien en polonais, donc ce test ne les mesure pas et ne prétend pas les mesurer.
La conclusion pour quelqu’un qui écrit et édite en polonais est la même que celle qui est ressortie de notre test de Fable 5.1 : la gamme la plus chère n’offre pas d’avantage pour ce travail, et parmi les modèles bon marché, un candidat est apparu qui fait le travail sans erreur. Pour quelqu’un qui a besoin de mathématiques, d’agents et de longues tâches de recherche, ce test ne dit rien et il faut attendre des mesures indépendantes. Nous avons rassemblé les données complètes du modèle dans notre guide sur GPT-6 Astra.
La méthode et les réponses brutes de tous les modèles sont enregistrées ; si vous souhaitez les voir ou proposer des tâches plus difficiles pour le prochain tour, écrivez-nous.
More on this from PROMPTIF
benchmarks·Imagen 2 vs Imagen Pro vs DALL-E 3 : test comparatifTrois générateurs d'images testés avec les mêmes prompts : texte avec accents, comptage d'objets, mains, photoréalisme, illustration plate et diagramme.