Claude Fable 5.2 et Mythos 5.2 : test et résultats

👁 112 lectures

À 20 h 20, le lundi 9 novembre 2026, j’ai envoyé ma première requête à Claude Fable 5.2. Le modèle était déjà disponible sur OpenRouter sous l’identifiant anthropic/claude-fable-5.2, au tarif de environ 7,15 EUR (8 USD) par million de tokens en entrée et environ 35,74 EUR (40 USD) par million de tokens en sortie. Il a calculé 17 × 23 en 3 secondes. Pendant les 27 minutes suivantes, j’ai soumis le même ensemble de tâches à ce modèle et à trois concurrents : du code vérifié par des tests unitaires, des énigmes à réponse unique, des textes en polonais, des images et des mesures de vitesse. Résultat inattendu : égalité parfaite, 100 à 100, pour les tâches à réponse déterminée. Les différences se sont jouées ailleurs : dans la facture, le chronomètre et quelques petites erreurs plus révélatrices que des pourcentages.

Mythos 5.2 ne figure pas dans ce test. Il n’est pas disponible sur OpenRouter - j’ai vérifié la liste des modèles au début et à la fin du test - et Anthropic le réserve aux participants du Cyber Verification Program et du Life Sciences Verification Program. D’après l’annonce, Fable 5.2 et Mythos 5.2 reposent sur le même modèle de base, mais diffèrent par leurs garde-fous en cybersécurité et en biologie. Les résultats de Fable décrivent donc bien ce qu’un utilisateur ordinaire peut acheter aujourd’hui. J’ai détaillé le lancement, les tarifs et les différences entre les deux versions dans le guide de Claude Fable 5.2 et dans l’article consacré à Mythos 5.2.

Ce que j’ai testé

Les quatre modèles ont reçu les mêmes 27 tâches, avec le même contenu, via la même API (OpenRouter) et le même niveau de raisonnement : effort « medium ». C’est le niveau qu’Anthropic a défini par défaut pour Fable 5.2 dans les applications Claude. Les concurrents étaient Claude Opus 5.5, le précédent modèle phare d’Anthropic, ainsi que GPT-6.1 Sol et Gemini 4 Argon, les modèles les plus populaires d’OpenAI et de Google dans la même gamme de prix qu’Opus.

• Code, 6 tâches : analyse d’une durée (« 2h15m10s »), plus court chemin dans un labyrinthe avec la possibilité de traverser un mur (grille de 300 × 300 cases au maximum), réparation d’un cache LRU défectueux, refactorisation d’une fonction de calcul de facture sans en modifier le comportement, recherche de dates avec des expressions régulières (y compris « 9 novembre 2026 ») et requête SQL avec plusieurs pièges (remises, commandes sans ligne, statut « PAID » en majuscules). Au total : 76 tests exécutés localement en Python.
• Raisonnement, 8 énigmes à réponse unique : chevaliers et menteurs, garçon né un mardi, aiguilles d’une horloge, restes de divisions, vendredis 13 de 2027 et deux énigmes polonaises à piège. L’une portait sur une expression équivalant à « une demi-douzaine de douzaines divisée par deux » ; l’autre demandait de compter les lettres z dans une phrase polonaise, en excluant deux lettres polonaises distinctes. Ces exemples sont des traductions des énigmes originales testées en polonais, et non de nouveaux tests en français.
• Polonais, 3 textes : un e-mail à l’administration fiscale au sujet d’un remboursement d’impôt sur le revenu en retard, un résumé d’article de 70 mots au maximum et un texte pour le site d’un torréfacteur, sans formules publicitaires toutes faites.
• Vision, 3 images générées par moi en Python : un graphique à barres, une capture de tableau et une « photo » de reçu, inclinée et bruitée, accompagnés de 10 questions.
• Vitesse : 3 prompts (un essai de 500 mots, du code pour une file de priorité et une traduction), chacun envoyé deux fois en streaming, avec mesure du délai avant le premier token.

Comme les quatre modèles ont obtenu le maximum au premier tour, j’ai ajouté une série plus difficile : un calculateur d’expressions utilisant des fractions exactes, avec 33 tests (pièges du type -2^2 = -4 et 2^3^2 = 512) ; l’écriture de sommes en toutes lettres, comme sur une facture polonaise, avec 27 tests (par exemple « mille un zlotys », « vingt-deux zlotys » et « cent un mille zlotys ») ; et cinq problèmes difficiles à deviner : le nombre de jours ouvrés en Pologne en 2027, avec le réveillon de Noël désormais férié, les permutations des lettres du mot KAJAKARZ, les nombres premiers palindromes à cinq chiffres, une variante du problème de Monty Hall où le présentateur ignore où se trouve la voiture, et la date du millième jour après le 9 novembre 2026.

Résultats : égalité sur les tâches à réponse unique

* Gemini a systématiquement entouré le JSON d’un bloc de code Markdown. ** GPT-6.1 Sol était le juge et a également évalué son propre texte ; j’y reviens plus bas. Coûts calculés à partir des tarifs OpenRouter du 9 novembre 2026, en utilisant le relevé de l’API pour chaque requête.

Les quatre modèles ont réussi les 136 tests de code, les 13 énigmes et les 10 questions sur les images. Même les nombres premiers palindromes, qu’il fallait calculer de tête sans exécuter de code - ils sont 93 - et les 253 jours ouvrés de 2027. Chaque modèle a lu sans erreur le reçu dont les montants apparaissaient un demi-interligne plus bas que les noms des produits à cause de l’inclinaison de la photo : total d’environ 20,67 USD, lait à environ 1,94 USD, numéro d’identification fiscale et 7 articles. Fable 5.2 n’a jamais fait moins bien qu’Opus 5.5, mais ne l’a jamais dépassé non plus.

Cela ne signifie pas que Fable 5.2 n’est pas plus performant. L’annonce fait état d’un avantage sur les tâches agentiques longues et en plusieurs étapes, par exemple 49,1 % sur FrontierCode 2.0, au niveau d’effort le plus élevé, contre 45,5 % pour Opus 5.5. Mon test ne mesure pas ces capacités : il porte sur des consignes isolées, comme celles qu’un utilisateur ordinaire saisit dans une fenêtre de discussion ou envoie par API. Sur ce type de tâche, la dernière génération de modèles semble avoir atteint un plafond : le moins cher GPT-6.1 Sol fait jeu égal avec Fable, bien plus coûteux.

Le point fort de Fable 5.2 : la vitesse

Anthropic affirme que Fable 5.2 et Mythos 5.2 génèrent leurs réponses jusqu’à 30 % plus vite que les versions 5.1. C’est l’une des rares promesses de l’annonce que je pouvais vérifier directement. J’ai donc ajouté Fable 5.1 à la mesure de vitesse.

En comparant uniquement les requêtes traitées par la même infrastructure Anthropic, Fable 5.2 a rédigé l’essai à 101-103 tokens par seconde, contre 69 pour Fable 5.1. Pour le code, les chiffres étaient de 135-141 contre 104 tokens par seconde. Le gain sur la durée totale de l’essai atteint 27 %, ce qui correspond à la promesse « jusqu’à 30 % ». Fable 5.2 a aussi terminé son essai 2,7 secondes avant Opus 5.5. C’est le seul modèle Claude à suivre le rythme de Gemini 4 Argon pour un texte long : 26,1 contre 25,6 mots par seconde.

Il faut interpréter avec prudence les tokens par seconde lorsqu’on compare des entreprises différentes, car chacune découpe le texte en tokens à sa manière : GPT-6.1 Sol a utilisé environ 1 200 tokens pour l’essai, contre environ 1 700 pour les modèles Claude. La colonne des mots par seconde et la durée totale sont donc plus utiles. GPT-6.1 Sol a affiché le meilleur délai avant le premier token (1,48 s), mais son temps de réponse a dépassé 8 secondes pour la tâche de code, car le modèle a d’abord pris le temps de raisonner.

Le coût : deux fois plus cher par token, mais pas par tâche

Fable 5.2 coûte deux fois plus qu’Opus 5.5 pour chaque token : 8 et 40 USD (environ 7,15 et 35,74 EUR), contre 4 et 20 USD (environ 3,57 et 17,87 EUR). Pourtant, les 27 tâches de mon test ont coûté environ 0,67 EUR (0,75 USD), contre environ 0,46 EUR (0,52 USD), soit 1,44 fois plus. Les compteurs l’expliquent : Fable 5.2 a utilisé 16 434 tokens de sortie, contre 23 839 pour Opus 5.5, dont 11 316 pour le raisonnement seul (contre 5 069 pour Fable). Pour l’énigme sur les restes de division, Opus a généré 749 tokens contre 306 pour Fable. Dans l’e-mail à l’administration fiscale, Opus a produit 1 662 tokens pour 143 mots, contre 544 pour Fable.

Converti au taux de référence de la Banque centrale européenne du 9 novembre 2026, le coût des 27 tâches était d’environ 0,67 EUR pour Fable 5.2, 0,46 EUR pour Opus 5.5, 0,13 EUR pour Gemini 4 Argon et 0,10 EUR pour GPT-6.1 Sol. Fable revient donc 6,6 fois plus cher que Sol pour un résultat identique sur les tâches à réponse unique. Si vous payez l’API de votre poche, ce rapport compte davantage que n’importe quel benchmark.

Les conversions en euros sont des estimations, et non des tarifs locaux. Taux de référence de la BCE : 1 EUR = 1,1193 USD, au 9 novembre 2026. Source : https://www.ecb.europa.eu/stats/eurofxref/eurofxref-daily.xml

Les erreurs les plus révélatrices

Les scores étant identiques, les faux pas sont plus intéressants. Je les ai tous vérifiés manuellement.

Fable 5.2 s’est trompé de disposition légale. Dans son e-mail à l’administration fiscale, il a cité l’article 77, paragraphe 1, point 5, de la loi fiscale polonaise comme fondement du délai de remboursement de 45 jours. Or, le délai de 45 jours pour les déclarations envoyées par voie électronique relève du point 5a. Le point 5 concerne un remboursement sous trois mois pour une déclaration papier (texte de l’article 77). Il est intéressant de noter qu’Opus 5.5 a écrit dans son raisonnement qu’il hésitait entre citer un article précis ou rester général pour éviter une référence erronée. Il a choisi la formulation générale.

Opus 5.5 s’est trompé de date. Dans le même e-mail, Opus a affirmé que le délai de remboursement avait « expiré le 31 mars 2026 », en comptant 45 jours à partir du 14 février. Pourtant, une déclaration d’impôt sur le revenu déposée avant le 15 février est considérée comme déposée le 15 février, selon l’article 45 de la loi polonaise sur l’impôt sur le revenu. Le délai expirait donc un jour plus tard. C’est un détail, mais dans un courrier à l’administration, ce genre d’erreur peut faire douter du reste.

Fable 5.2 n’a pas respecté le format demandé. Pour l’image du tableau, j’avais demandé une réponse exclusivement en JSON. Fable a d’abord énuméré les 10 produits des quantités par les prix, le total et la liste des produits avec une TVA de 8 %, puis placé le JSON à la fin. La réponse était correcte, mais un programme chargé de l’analyser automatiquement aurait échoué. Pour le résumé limité à 70 mots, Fable en a écrit 71 et Gemini 4 Argon, 80.

Les deux modèles Claude ont oublié le nom de la marque. Dans le texte destiné au torréfacteur « Ziarnko », ni Fable 5.2 ni Opus 5.5 n’ont utilisé le nom de Ziarnko. Tous deux ont aussi ajouté des éléments absents de la consigne : la date de torréfaction sur chaque paquet et, pour Fable, une « ligne d’assistance que nous n’avons d’ailleurs pas ». Le résultat paraît humain, mais promet quelque chose que le propriétaire du torréfacteur n’a peut-être jamais proposé.

Le polonais : un juge en situation de conflit d’intérêts

GPT-6.1 Sol a évalué les textes en polonais dans le cadre d’un test à l’aveugle. Il recevait les quatre textes, désignés par les lettres A à D dans un ordre aléatoire, deux fois pour chaque tâche avec un nouvel ordre. Il devait relever les erreurs de langue et proposer des corrections, puis noter le naturel et le respect de la consigne sur une échelle de 1 à 10.

Le juge a classé GPT-6.1 Sol en tête pour l’e-mail et le texte marketing, et Opus 5.5 pour le résumé. Il ne savait pas qui avait écrit chaque texte, mais les modèles ont tendance à apprécier leur propre style : je prends donc ce classement avec recul. Ma vérification manuelle confirme deux points. Opus 5.5 produit le polonais le plus correct : je n’ai relevé aucune erreur dans ses trois textes. Gemini 4 Argon s’en sort le moins bien : il a écrit « déclaration PIT-37 » au lieu du terme polonais correct pour une déclaration fiscale, calqué l’expression « fait une énorme différence », employé une formule de familiarité déplacée dans un texte destiné à un client et dépassé la limite de mots. Fable 5.2 se situe entre les deux : une virgule à la place d’un point-virgule et le ton le plus humain pour le texte marketing, mais aussi le plus grand nombre de promesses ajoutées. GPT-6.1 Sol est le seul modèle à avoir utilisé le nom Ziarnko sans rien inventer.

Méthode et limites du test

Toutes les requêtes ont été envoyées via OpenRouter le 9 novembre, entre 20 h 20 et 20 h 47. Fable 5.2 a été traité par l’infrastructure d’Anthropic, Opus 5.5 par Claude Platform on AWS, Sol par OpenAI et Argon par Google (une fois via Google AI Studio). Pour certaines mesures, Fable 5.1 est passé par Azure et Google ; je fonde donc la comparaison entre 5.2 et 5.1 sur les requêtes traitées par Anthropic. J’ai exécuté le code localement dans un processus séparé avec une limite de temps. Un script a vérifié les réponses aux énigmes et aux questions sur les images, puis je les ai contrôlées moi-même. Chaque tâche a été exécutée une fois, sauf les mesures de vitesse, répétées deux fois : avec un autre tirage, un modèle pourrait échouer sur une tâche qu’il a réussie ici.

Le test complet, juge compris, a coûté environ 2,61 EUR (2,92 USD). Je partage les données brutes dans le fichier wyniki.json : tous les prompts, les réponses complètes, le code écrit par les modèles, les résultats des tests, les durées, le nombre de tokens et le coût de chaque requête. J’ai rassemblé les faits de l’annonce, les tarifs et les benchmarks du fabricant dans mon article sur le lancement de Fable 5.2 et Mythos 5.2. Vous trouverez aussi une comparaison des tarifs et benchmarks du fabricant dans l’article Fable 5.2 face à Opus 5.5, ainsi qu’une comparaison précédente dans Claude Opus 5.5 face à Fable 5.1.

Après une soirée passée avec quatre modèles, ma conclusion est la suivante : pour des tâches isolées, du type de celles qu’on envoie habituellement dans un chat, Fable 5.2 ne donne pas de meilleures réponses qu’Opus 5.5, ni même que GPT-6.1 Sol. Il va plus vite et utilise moins de tokens qu’Opus, mais c’est aussi le plus cher. L’avantage annoncé concerne les longues tâches agentiques, impossibles à évaluer avec une seule consigne. Je les testerai séparément.

Questions fréquentes

Claude Fable 5.2 est-il meilleur qu’Opus 5.5 ?

Dans mes 27 tâches à réponse unique, les deux modèles ont obtenu le maximum. Fable 5.2 a été plus rapide (essai en 19,1 s contre 21,8 s) et a utilisé moins de tokens, mais il a coûté environ 0,67 EUR (0,75 USD), contre environ 0,46 EUR (0,52 USD). D’après l’annonce d’Anthropic, son avantage apparaît sur les longues tâches agentiques, qui ne faisaient pas partie de ce test.

Fable 5.2 est-il vraiment 30 % plus rapide que Fable 5.1 ?

Dans ma mesure, l’essai de 500 mots a été généré en 19,1 s au lieu de 26,2 s, soit une durée réduite de 27 %. Lors d’une comparaison sur la même infrastructure Anthropic, la vitesse de génération est passée de 69 à 101-103 tokens par seconde pour l’essai et de 104 à 135-141 pour le code.

Peut-on tester Claude Mythos 5.2 ?

Pas de manière ordinaire. Mythos 5.2 n’est pas disponible sur OpenRouter et Anthropic le propose par l’intermédiaire du Cyber Verification Program et du Life Sciences Verification Program. C’est pourquoi il ne figure pas dans ce test.

Combien coûte l’utilisation de Fable 5.2 via l’API ?

environ 7,15 EUR (8 USD) par million de tokens en entrée et environ 35,74 EUR (40 USD) par million de tokens en sortie, soit deux fois plus qu’Opus 5.5. Dans mon test, une tâche coûtait en moyenne environ 2,8 centimes de dollar, contre environ 0,4 centime pour GPT-6.1 Sol.

// lire la suiteClaude Fable 5.2 ou Mythos 5.2 : quelles différences ?Outils d'IAClaude Fable 5.2 et Mythos 5.2 : prix, date, accès, différencesGuidesClaude Fable 5.2 et Mythos 5.2 sont sortis : ce qui changeActualités

Kinetyra