Benchmarks Muse Wonder : les 14 tests de Meta expliqués

👁 123 lectures

Meta a dévoilé Muse Wonder à travers un tableau de 14 tests dont peu de personnes reconnaîtront plus de deux références. Voici une analyse accessible de chacun d’eux : ce qu’il mesure réellement, les scores obtenus par Muse Wonder (selon Meta) et les nuances à garder en tête avant d’en déduire une prétendue supériorité globale. En clair : 3 tests sur 14 proviennent directement des laboratoires internes de Meta, plusieurs mesures ne reposent pas sur des conditions équitables, et pour le code écrit à partir de zéro comme pour le contrôle d’ordinateur, Meta reste derrière Claude Opus 5.5. Pour une vue d’ensemble du modèle, consultez notre guide sur Muse Wonder.

Les 14 tests réunis dans un seul tableau

Source : tableau officiel et fiche de modèle Meta du 12 octobre 2026. La mention de l’organisme évaluateur reprend les descriptions méthodologiques de la fiche de modèle.

Les évaluations d’assistance : PSI et MemoryBench

Le Personal Superintelligence Index représente l’argument central de la communication de Meta, tout en étant le moins indépendant. Meta l’a assemblé en combinant sept benchmarks : Agents’ Last Exam, AutomationBench-AA, FocusBench, JobBench, GDP.pdf, VBT et DRACO. Deux de ces composants (FocusBench et VBT) sont strictement internes. Le choix de cette sélection relevant entièrement de Meta, cet indice prouve surtout que Wonder Full excelle dans le sous-ensemble de scénarios que l’entreprise a choisi de mettre en avant. À la manière d’un décathlon, dominer un classement général n’implique pas d’être en tête sur chaque épreuve.

MemoryBench contrôle l’aptitude du modèle à retenir des faits essentiels au fil d’échanges étendus (entre 64 000 et 100 000 tokens), y compris lorsque des informations contradictoires ou rectificatives surviennent en cours de route. Un atout capital pour un agent chargé de mémoriser vos préférences, mais l’évaluation reste interne et arbitrée par un juge IA. Détail notable : la version standard de Wonder y dépasse Full de 0,1 point. J’ai examiné un procédé similaire sur un ensemble de 80 comptes rendus de réunions de direction où une décision antérieure était annulée plus loin ; les cinq modèles testés ont tous réussi l’épreuve, comme détaillé dans mon test sur 23 scénarios.

Applications métier : droit, finance, santé et gestion

• Harvey LAB-AA - l’avance la plus marquée pour Meta : un score de 13,1 contre 4,2 pour Claude Opus 5.5. Le total reste bas car une réponse n’est validée que si le document respecte l’intégralité des critères sans la moindre hallucination. La version 1.1 ayant intégré une détection stricte des faux faits, ces résultats ne se comparent pas avec l’édition 1.0.
• Vals Finance Agent V2 - analyse de bilans et de données boursières. Wonder Full bat Fable 5.1 d’un cheveu avec 0,2 point d’écart, ce qui constitue une égalité technique.
• HealthBench Pro - traitement de 525 interrogations médicales poussées, sans accès à des outils externes. Meta y concède l’avantage : 62,3 contre 65,6 pour Opus. Les chiffres d’Anthropic repris par Meta sont directement extraits des fiches système de Claude, sans recalcul indépendant de sa part.
• GDP.pdf - exploitation d’informations contenues dans des fichiers PDF, évaluée par le laboratoire Surge. GPT-6 Astra prend la tête avec un résultat de 34,2.
• JobBench - ensemble de 65 exercices pratiques couvrant 35 professions de bureau. On constate une égalité parfaite entre Wonder Full et Opus (75,3 contre 75,4).
• AutomationBench-AA - exécution de flux d’entreprise sur logiciels d’émulation, validée uniquement si l’état final du logiciel est scrupuleusement conforme. Full décroche 45,4 points, son concurrent le plus proche arrivant à 41,6.

Contrôle de l’interface système : OSWorld V2.1

OSWorld confronte le modèle à 108 scénarios sur un environnement de bureau Ubuntu réel : l’agent analyse des captures d’écran, clique, tape du texte et fait défiler des pages. Meta publie deux scores complémentaires qu’il est indispensable de distinguer. Sur l’évaluation partielle (validant chaque étape accomplie), Wonder Full atteint 78,4. En revanche, sur l’évaluation binaire (la tâche doit être entièrement menée à bien ou compte pour zéro), son score chute à 39,4. En clair, le modèle n’achève complètement qu’environ une tâche complexe sur trois. Sur cette épreuve, Meta est distancé par Opus 5.5 (81,8 en partiel) et Fable 5.1 (80,7 en partiel, 43,1 en succès complet).

Programmation logicielle : quatre tests, quatre optiques

Meta s’impose sur les tâches longues appliquées à des bases de code existantes, mais fléchit dès qu’il s’agit d’initialiser un logiciel complet ou d’opérer en ligne de commande. Deux remarques issues de la fiche technique : pour SWE-Marathon, les données de GPT-6 Astra et de Fable 5.1 ont été obtenues avec leurs agents dédiés (Codex et Claude Code), alors que Wonder Full fonctionnait avec un palier de réflexion xhigh ; Meta reconnaît elle-même qu’il ne s’agit pas d’un cadre strictement comparable. Pour ProgramBench, une tentative n’est comptabilisée que si elle franchit au moins 95 % des tests cachés.

L’unique repère indépendant : l’indice Artificial Analysis

Artificial Analysis déploie directement 10 benchmarks (dont GDPval-AA, Terminal-Bench 4.0, Humanity’s Last Exam et SciCode) pour les synthétiser dans son indice 4.3. Au relevé du 12 octobre 2026 : Claude Opus 5.5 se place à 58, Wonder Full affiche 56 (au coude-à-coude avec Claude Sonnet 5.5, que Meta a écarté de ses graphiques), tandis que la version de base de Wonder se contente de 52, soit le niveau de GPT-6.1 Sol. C’est l’indicateur le plus digne de foi. Cet indice n’exprime pas un taux de réussite, mais un barème standardisé sur l’échelle AA.

Les paramètres à examiner avant de comparer des modèles

• L’auteur de la mesure. Un test réalisé par le concepteur constitue une affirmation commerciale ; un test tiers fait office de constat vérifié.
• Le niveau de calcul alloué. Meta affiche des chiffres obtenus au réglage de réflexion maximal, alors que les interfaces et les API utilisent des paliers inférieurs par défaut.
• La déclinaison précise. Les sommets de performance appartiennent à Wonder Full, mais l’API publique ne propose que la variante Wonder classique.
• L’unité de mesure. Un taux partiel, un score de complétion intégrale et un indice composite ne sont jamais interchangeables.
• Votre cas d’usage réel. Sur 23 tâches de travail concrètes, l’ensemble des cinq modèles testés a réussi entre 99 et 100 % des demandes ; les contrastes réels se sont joués sur la latence et les coûts opérationnels.

Foire aux questions

Le Personal Superintelligence Index évalue-t-il une superintelligence ?

Non. Il s’agit d’un score combiné conçu en interne par Meta à partir de sept scénarios de productivité et de travail bureautique. L’intitulé relève du marketing.

Sur combien d’épreuves Muse Wonder arrive-t-il premier ?

Muse Wonder Full domine 7 des 14 lignes publiées par Meta. La variante Muse Wonder de base, déployée sur l’API, ne surpasse Opus 5.5 que sur 5 d’entre elles.

Quels sont les benchmarks véritablement indépendants ?

Harvey LAB-AA, AutomationBench-AA, Terminal-Bench 4.0-AA ainsi que l’indice AA global sont mesurés par Artificial Analysis ; Vals Finance par Vals AI, GDP.pdf par Surge, DeepSWE par Datacurve et SWE-Marathon par Abundant AI. À l’inverse, PSI, MemoryBench et les modules FocusBench et VBT sont des créations de Meta.

Quels sont les points faibles de Muse Wonder ?

D’après les données fournies par Meta, le modèle cède la première place sur ProgramBench (59,0 contre 70,5 pour Opus), HealthBench Pro, Terminal-Bench 4.0, OSWorld ainsi que GDP.pdf.

// lire la suiteGPT-6 Cyber : les benchmarks de la system card expliquésBenchmarksMuse Wonder de Meta : benchmarks, prix de l’API et test completBenchmarksMuse Wonder vs Opus 5.5 et GPT-6 Astra : le comparatif sur 23 testsBenchmarks

Kinetyra