Test GPT-6 Astra : 11 modèles IA face à 9 défis de code

👁 120 lectures

Nous avons construit un test pour onze modèles : neuf tâches de code, traduction et respect des consignes, chacune vérifiée automatiquement pour éviter toute évaluation subjective. Après examen des réponses, il s’est avéré que sur une tâche, notre automate notait à l’envers. Les modèles auxquels il attribuait zéro avaient répondu correctement, et ceux qui obtenaient un point se trompaient.

C’est plus intéressant que le classement lui-même, alors commençons par là.

La tâche où le test s’est trompé, pas les modèles

Nous avons donné aux modèles ce code PHP et demandé d’indiquer l’erreur en une phrase :

foreach ($lista as $i => $el) {
    if ($el == null) unset($lista[$i]);
}
echo count($lista);

Les réponses se sont réparties en deux camps.

Premier camp : l’erreur est de supprimer des éléments du tableau pendant l’itération, car cela casse la boucle et saute des éléments.

Second camp : l’erreur est la comparaison lâche ==, qui en plus de null capture aussi zéro, chaîne vide, faux et tableau vide, donc supprime plus que prévu.

Notre automate cherchait dans la réponse des mots sur la modification pendant l’itération, donc récompensait le premier camp. Nous avons exécuté ce code sur un serveur, en PHP 8.4.25, et le résultat est sans équivoque.

1) uniquement des null : il reste 4 sur 7, valeurs : a,b,c,d
   l'itération a-t-elle sauté des éléments ? NON, a supprimé exactement 3 null
2) avec des zéros et vides : il reste 5 sur 10, valeurs : 'a','b','c','d','0'

La suppression dans la boucle n’a rien cassé. En PHP, la boucle sur les valeurs travaille sur une copie du tableau, donc la suppression en cours est sûre. En revanche, la comparaison lâche a éliminé zéro, chaîne vide, faux et tableau vide, exactement ce dont parlait le second camp.

Le premier camp a répété une règle vraie dans d’autres langages. Le second camp connaissait PHP.

Qui a reconnu la vraie erreur

Ont répondu correctement cinq modèles sur onze : GPT-6 Astra, Claude Fable 5.1, Gemini 3.8 Flash, GLM 5.3 Flash et Kimi K3. Les six autres ont donné la règle sur l’itération ou, dans le cas de Ministral, quelque chose d’encore différent et également faux.

C’est une division qui coïncide avec le prix : l’ont reconnu les modèles haut de gamme. Ce n’est pas toujours le cas et nous allons montrer dans un instant une tâche où c’était l’inverse.

Résultats après correction

Ci-dessous la notation après correction de cette tâche. Nous indiquons aussi le coût de l’ensemble complet et le temps, car pour choisir un modèle de travail, l’un sans l’autre ne signifie rien.

Le plus cher n’a pas gagné

Claude Fable 5.1 a coûté 0,11503 dollar, soit plus de deux fois plus que le vainqueur, et a terminé un point en dessous. Gemini 3.8 Flash a obtenu autant que Fable pour un coût inférieur de deux tiers.

À l’autre bout du classement, Ministral 14B a obtenu cinq points pour 0,00019 dollar, soit autant que Claude Haiku 4.5, qui a coûté dix-sept fois plus. Il l’a fait en 6,2 secondes, le plus rapide de tous les onze.

Le code s’est révélé étonnamment homogène

Dans le groupe de tâches de programmation, après correction, les différences sont plus petites que nous ne l’avions supposé. La fonction vérifiant un numéro NIP avec somme de contrôle a été écrite par tous. La requête avec sommation, regroupement et limitation à dix résultats est également passée chez tous.

Toute la différence s’est faite sur la tâche avec l’erreur, c’est-à-dire là où il fallait non pas tant écrire du code que le comprendre. C’est probablement l’observation la plus pratique de tout le test : écrire du code est aujourd’hui résolu même dans les modèles bon marché, lire le code d’autrui ne l’est pas.

Les consignes sont le point faible de tous

Le groupe de tâches où il fallait respecter des contraintes strictes a le plus mal réussi. Seul GPT-6 Astra a réussi les trois.

La tâche était : écris deux phrases sur le café en polonais, mais n’utilise jamais la lettre « a ». Trois modèles sur onze y sont parvenus.

Les façons d’échouer sont les plus intéressantes. Deux modèles ont écrit des phrases correctes, mais les ont précédées d’une introduction du genre „Oto dwa zdania bez litery a » (« Voici deux phrases sans la lettre a »), donc se sont sabotés avec leur propre annonce. Un a commencé à inventer des mots inexistants : „Kow jest gorący, czarny napój« . Un autre a ajouté à la fin une remarque disant que le mot même „kawa » (café) contient la lettre interdite, comme s’il voulait se justifier.

Les réponses correctes ressemblaient à ceci : „Espresso pobudzi umysł. Jego woń koi zmysły«  (« L’espresso stimule l’esprit. Son arôme apaise les sens ») et „Ciemny, gorzki płyn w kubku budzi o świcie uśpione zmysły«  (« Le liquide sombre et amer dans la tasse réveille à l’aube les sens endormis »).

Conclusion pratique : si vous construisez quelque chose qui doit respecter un format strict, vérifiez-le séparément. Un modèle qui écrit magnifiquement peut simultanément ne pas savoir compter les phrases.

Nous avons testé cela en polonais.

Calques de l’anglais

Nous avons demandé l’équivalent polonais de l’expression « it’s not rocket science ». Huit modèles ont donné quelque chose de naturel, le plus souvent „to żadna filozofia«  (« ce n’est pas de la philosophie »). Trois sont allés vers le calque : „to nie jest żadna rakietowa nauka«  (« ce n’est pas de la science de fusée »), „to nie jest fizyka jądrowa«  (« ce n’est pas de la physique nucléaire »), „to nie jest rakieta, to jest prostsze niż myślisz«  (« ce n’est pas une fusée, c’est plus simple que tu penses »).

C’est une différence qu’on ne voit pas dans les tests faits en anglais, mais qui détermine si le texte sonne comme écrit par un locuteur natif.

Au passage, notre automate a montré ici une deuxième faiblesse. Il a considéré comme erronées les réponses „to nie jest wyższa matematyka«  (« ce n’est pas des mathématiques supérieures ») et „to nie jest zajęcie dla głupich«  (« ce n’est pas une activité pour les idiots »), car elles n’étaient pas sur notre liste de formulations acceptables. Les deux expressions sont tout à fait naturelles en polonais. Nous n’avons pas modifié la notation pour ne pas la plier à nos impressions, mais nous le notons : sur cette tâche, deux modèles ont obtenu zéro pour une réponse qu’un humain aurait considérée comme bonne.

GLM 5.3 Flash : a gagné un test, perdu l’autre

Nous devons ajouter ici quelque chose qui complique notre conclusion précédente. Dans le test de grammaire polonaise, GLM 5.3 Flash a obtenu le score parfait avec la facture la plus basse et nous l’avons appelé le choix par défaut pour le texte polonais.

Dans ce test, ce même modèle a eu besoin de 353 secondes pour neuf tâches, soit de quatre à sept fois plus longtemps que le reste du peloton, et a renvoyé trois fois une réponse vide. Il a terminé au milieu du tableau.

Les deux résultats sont vrais et il n’y a pas de contradiction : GLM est très bon en polonais et très lent sur les tâches qui nécessitent un raisonnement plus long. Nous avons décrit la raison séparément : dans ce modèle on ne peut pas désactiver le raisonnement, donc sur une consigne difficile il brûle le budget de tokens et parfois ne se laisse pas de place pour la réponse.

C’est exactement le genre de conclusion qu’on ne peut pas tirer d’un seul test, et la raison pour laquelle nous décrivons la méthode, pas seulement le résultat.

Comment nous avons mesuré et ce que ce test ne dit pas

Neuf tâches, onze modèles, une tentative par tâche, limite de 1 600 tokens par réponse dans la première partie et 3 000 dans celle-ci. Coûts lus dans le champ de facturation renvoyé par l’interface, et non dans le tarif, car le prix de la fiche du modèle peut diverger de la facture jusqu’à quatorze fois. L’ensemble du test a coûté 0,34 dollar.

Ce qu’il ne dit pas : nous n’avons pas vérifié l’écriture de longs textes, les connaissances factuelles ni le travail sur un grand contexte. Neuf tâches, c’est trop peu pour un classement absolu et nous ne l’affirmons pas.

Et le plus important, car c’est la morale de tout ce texte : un test automatique n’est aussi bon que le critère que vous y avez inscrit. Le nôtre était erroné sur une tâche sur neuf et cela n’est ressorti qu’à la lecture des réponses. Si vous évaluez des modèles avec un automate et ne lisez pas les résultats, vous pouvez publier un classement qui mesure la conformité avec votre erreur.

Le même test, mais du côté de la facture

Ci-dessus nous comptons les points. Si vous vous intéressez au coût du travail lui-même, nous l’avons mesuré séparément sur une tâche plus longue : combien coûte un article écrit par IA. Cela a donné de quatre centièmes de cent à dix-neuf cents pour le même texte.

// lire la suiteGemini 4 Argon face à Opus 5.5 et GPT-6 Astra : test de 23 tâchesBenchmarksGPT-6 Astra et sa famille : prix, accès et testsBenchmarksMuse Wonder vs Opus 5.5 et GPT-6 Astra : le comparatif sur 23 testsBenchmarks