Test de Claude Fable 5.1 : un blocage sur une tâche simple
Nous avons testé Claude Fable 5.1 dès sa sortie sur des tâches en polonais. Le nouveau modèle s'est bloqué sur un exercice de niveau primaire.
Mise à jour (9 novembre 2026) : Claude Fable 5.2 et Mythos 5.2 sont sortis - prix, accès et benchmarks dans mon guide Claude Fable 5.2.
👁 116 lectures
Nous avons testé Claude Fable 5.1 dès sa sortie sur une série de tâches linguistiques en polonais. Le nouveau modèle s’est bloqué sur un exercice simple, un problème récurrent dans cette famille de modèles.
Le lancement d’un modèle suit toujours le même rituel : le producteur présente des graphiques où sa nouveauté surpasse la version précédente, et les mesures indépendantes apparaissent quelques jours plus tard. Entre les deux, il y a un vide où rien n’est certain. Nous avons décidé de le combler à notre manière en testant Claude Fable 5.1 le soir de sa sortie sur un ensemble de tâches en polonais que nous utilisons depuis mi-août.
La méthode est simple et c’est précisément pour cela qu’elle fonctionne. Six tâches, chacune avec un résultat sans ambiguïté : déclinaison de noms propres étrangers, numéraux collectifs, majuscules et minuscules, propositions participiales, virgules et réécriture d’une phrase administrative en langage courant. Même température de 0,2, même limite de réponse, même limite de temps. Nous avons comparé Fable 5.1 avec son prédécesseur Fable 5 et avec Opus 5, le modèle que la même entreprise vend moitié moins cher.
Une tâche que le nouveau modèle n’a pas terminée
L’événement le plus intéressant s’est produit sur la deuxième tâche, celle des numéraux. Fable 5.1 n’a pas répondu. Il ne s’est pas trompé, il n’a pas refusé, il n’a simplement rien renvoyé pendant trois minutes, jusqu’à ce que nous fermions la connexion. Zéro token de sortie, zéro coût, pas de réponse.
Ce n’est pas un incident isolé. Lorsque nous avons lancé le même ensemble en août, Fable 5 s’est comporté exactement de la même manière : il s’est bloqué sur la tâche de déclinaison des noms propres et est resté figé jusqu’à la limite de cinq minutes. En d’autres termes, cette famille de modèles a un problème récurrent de blocage sur des tâches linguistiques courtes, et la nouvelle version ne l’a pas résolu. Dans le même test, Fable 5 et Opus 5 ont répondu aux numéraux sans hésitation, en moins de dix secondes, et les deux réponses étaient correctes.
Il faut savoir que nous parlons d’une tâche qui se fait à l’école primaire en Pologne : cinq enfants, deux garçons, quatre femmes, trois étudiants ont réussi l’examen, sept voitures. Il n’y a aucun piège à part la langue polonaise elle-même.
Là où il a répondu, il a très bien performé
Le reste de la mesure est favorable à la nouvelle version. Fable 5.1 a résolu les cinq autres tâches correctement et a été le plus rapide des trois : en moyenne 6,5 secondes par réponse, contre 7,2 secondes pour Fable 5 et 8,2 secondes pour Opus 5.
La différence qualitative la plus nette est apparue dans la tâche sur les majuscules et minuscules. Les deux modèles Fable ont corrigé la phrase selon la norme polonaise : président de Varsovie en minuscule, hôtel de ville comme nom non officiel en minuscule, monsieur le directeur en minuscule, et Ministère de la Numérisation et Fêtes de Noël en majuscule. Opus 5 a laissé Hôtel de Ville et Monsieur le Directeur en majuscules, commettant exactement l’erreur la plus fréquente dans les documents administratifs polonais.
Un détail qui nous a amusés : dans la tâche sur les virgules, le texte d’entrée était dépourvu de signes diacritiques, car c’est ainsi que nous le fournissons depuis le début. Fable 5.1 a été le seul à restaurer de lui-même les caractères diacritiques polonais dans tout le paragraphe, bien que personne ne le lui ait demandé. Fable 5 et Opus 5 ont poliment laissé le texte tel qu’ils l’avaient reçu. Du zèle, mais dans le bon sens.
Combien cela a coûté
L’ensemble des six tâches nous a coûté 7 cents sur Fable 5.1, près de 9,6 cents sur Fable 5 et un peu moins de 6 cents sur Opus 5. Fable 5.1 est revenu moins cher que son prédécesseur malgré un tarif identique par token, car il a simplement moins parlé : en corrigeant les participes, il s’est limité à 88 tokens là où Fable 5 en avait besoin de 257 et Opus 5 de 358.
Il y a cependant une exception qui gâche ce tableau. Dans la tâche sur les majuscules, Fable 5.1 a consommé 675 tokens de sortie pour renvoyer une réponse caractère pour caractère identique à celle que Fable 5 a donnée en 359 tokens. Pour exactement le même résultat, nous avons payé presque deux fois plus. Pour une seule phrase, ce sont des centimes, mais pour des milliers de requêtes quotidiennes, cela devient une ligne budgétaire.
Ce que cela implique pour le choix d’un modèle
Fable 5.1 coûte 10 dollars par million de tokens d’entrée et 50 par million de sortie. Opus 5 de la même écurie coûte 5 et 25, soit exactement la moitié. Dans notre test en polonais, le modèle le plus cher a gagné sur une tâche, a perdu sur une autre par absence de réponse et a été plus rapide d’une seconde et demie par requête.
Ce n’est pas un résultat qui justifie une différence de prix du double pour l’écriture et l’édition en polonais. Si vous faites cela quotidiennement, l’Opus 5 moins cher fera le travail tout aussi bien, et sur des textes plus longs laissera la moitié de la facture dans votre poche. Fable 5.1 se défend ailleurs, dans le code et les longues tâches de recherche, que cet ensemble ne touche volontairement pas.
Une réserve que nous nous imposons : il s’agit d’une mesure du jour de sortie, sur six tâches et une seule exécution de chacune. Ce n’est pas un benchmark avec des centaines de répétitions et cela ne prétend pas l’être. Cela montre comment les modèles se sont comportés sur notre bureau le premier soir, et cela montre une chose qu’aucun matériel officiel ne montrera : que la nouvelle version peut se bloquer sur une tâche de niveau collège.
Nous répéterons le même ensemble dans quelques jours, lorsque le trafic de lancement sera retombé, et nous vérifierons si le blocage sur les numéraux disparaît. S’il persiste, cela signifiera que le problème réside dans le modèle et non dans la charge des serveurs.
Google · Vos sourcesPromptif plus haut dans Google - en un clicAjouter aux sources préférées →Questions fréquentes
Fable 5.1 gère-t-il mieux le polonais que l’Opus 5 moins cher ?
Dans le test sur six tâches, Fable 5.1 a gagné sur une tâche et a perdu sur une autre par absence de réponse, tout en étant plus rapide d’une seconde et demie par requête. Nous constatons que le résultat ne justifie pas une différence de prix du double pour l’écriture et l’édition en polonais.
Pourquoi Fable 5.1 était-il moins cher à l’usage que son prédécesseur, alors que les tarifs par token sont identiques ?
Fable 5.1 a généré des réponses plus courtes - par exemple, en corrigeant les participes, il s’est limité à 88 tokens, tandis que Fable 5 en avait besoin de 257 et Opus 5 de 358. L’exception était la tâche sur les majuscules, où Fable 5.1 a consommé 675 tokens de sortie pour une réponse identique à celle que Fable 5 a donnée en 359 tokens.
En quoi consistait le problème de blocage des modèles Fable ?
Fable 5.1 n’a renvoyé aucune réponse à la tâche sur les numéraux - il ne s’est pas trompé ni n’a refusé, il n’a simplement généré aucun token de sortie pendant trois minutes. Un problème identique s’était produit auparavant avec Fable 5, qui s’était bloqué sur la tâche de déclinaison des noms propres et était resté figé pendant cinq minutes.
More on this from PROMPTIF
benchmarks·Benchmarks GPT-6 Astra : trois tests où il perdNous avons analysé tous les benchmarks de GPT-6 Astra. Si sa domination est réelle dans la plupart des tests, trois résultats révèlent ses limites.