GPT-6 Astra programmation : résultats tests et limites

👁 119 lectures

Pour un développeur, le lancement d’un nouveau modèle se résume à une question : fera-t-il mieux ce que fait mon modèle actuel, et pour quel prix. La réponse des tests publiés au lancement de GPT-6 Astra est moins univoque que ne le suggère la communication, et mérite d’être décortiquée.

Trois tests, trois images différentes

Dans Terminal-Bench 4.0, qui mesure le travail en ligne de commande sur des tâches réelles, Astra obtient 57,7 points. Claude Fable 5.1 obtient 55,8, Claude Opus 5 52,3, l’ancien Fable 5 42,0, et GPT-5.6 Sol 37,3. L’avance sur le concurrent direct est de moins de deux points, mais le bond par rapport à son propre prédécesseur est énorme : de 37,3 à 57,7.

Dans DeepSWE v1.1, le test de correction de bugs dans de vrais dépôts, Astra a obtenu 74,1 pour cent contre 72,7 pour cent pour Sol. L’amélioration existe, mais elle est modeste. À ce niveau de difficulté, une différence d’un point et demi représente quelques tâches sur cent.

Et enfin FrontierCode 1.1 en variante étendue : Astra 64,5 pour cent, Claude Fable 5 64,9 pour cent. Le modèle d’il y a presque trois mois, au même prix, fait un cheveu mieux.

Ce que ces chiffres ne disent pas

Les tests mesurent des tâches fermées : il y a un bug à corriger, une commande à exécuter, un résultat à vérifier. Le travail quotidien avec du code, c’est en majorité autre chose : lire le code des autres, prendre des décisions d’architecture, discuter de ce qu’il ne faut surtout pas faire. Aucun de ces tests ne mesure cela, et les différences entre modèles y sont parfois autres que dans le tableau.

Deuxième point : les prix. Astra coûte 10 et 50 dollars par million de tokens, Sol 2 et 10. Un avantage d’un point et demi en correction de bugs avec une différence de prix de cinq fois n’est un argument que si ces quelques pour cent de tâches que Sol ne réussira pas coûtent plus cher que le surcoût pour toutes les autres.

Où Astra change vraiment la donne pour le développeur

Deux endroits. Le premier, c’est le contexte long : dans le test de recherche d’informations dans un texte de longueur allant d’un demi-million à un million de tokens, Astra obtient 96,3 pour cent contre 73,8 pour son prédécesseur. C’est la différence entre jeter tout un dépôt dans le contexte en ayant confiance que le modèle ne perdra rien, et le découper en morceaux. Le second, c’est le travail en mode agent : dans le test d’automatisation de tâches professionnelles, Astra obtient 41,4 points contre 31,4 pour Fable 5.1 et 18,1 pour Sol, et dans OSWorld, le test de contrôle d’ordinateur, 72,6 pour cent contre 65,7.

Si votre travail consiste en longues sessions d’agent sur une grande base de code, Astra est le premier modèle qui le fait nettement mieux que les autres. Si ce sont des questions isolées et des corrections rapides, un modèle moins cher fera la même chose, et la facture sera cinq fois plus basse.

Le tableau complet des tests avec comparaison à la concurrence se trouve dans le texte sur les benchmarks d’Astra, et toutes les données du modèle dans le guide.

// lire la suiteOpus 5.5 crée un jeu en une phrase : test, coût et correctionBenchmarksWan 3.0 vs Wan 2.2 : 8 vidéos côte à côteBenchmarksTypeSafe AI lance Jev, un modèle qui renvoie des chiffres plutôt que du texteActualités