Decision Index v1.0 : le benchmark d’Artificial Analysis
Artificial Analysis publie son Decision Index v1.0 évaluant 11 modèles de décision face aux LLM traditionnels en coût et latence.
👁 119 lectures
Le 13 octobre 2026, Artificial Analysis a publié la première version de son Decision Index, un banc d’essai dédié aux modèles de décision. Contrairement aux modèles de langage génératifs qui rédigent du texte, ces modèles spécialisés répondent à des questions structurées sous forme de choix multiples, de requêtes binaires ou de scores, en un seul appel, tout en renvoyant une probabilité pour chaque option. Au total, 11 modèles de décision ont été analysés aux côtés de plusieurs modèles de langage testés via des sorties structurées en JSON.
Les résultats du classement au 13 octobre 2026
Selon les données publiées par Artificial Analysis, Jev 1.13 de TypeSafe mène l’indice avec un score global de 57,5, suivi de près par GLiDE de Fastino Labs avec 53,9 et Microsoft-Decision-1 avec 53,8. Viennent ensuite Decider v1.1 27B développé par Perplexity (53,1), Mercury Decide d’Inception (52,7), Celeris-1 Decision (52,3) et d1 de Liquid AI (50,3). En bas de tableau, Cloudflare place Clef à 48,6, Clef-Flash à 45,8 et Clef-Omni à 44,3, tandis que GPT-6 Luna Decisions d’OpenAI affiche 48,5 points.
| Modèle | Indice AA | Coût / 1M tâches | Latence médiane |
|---|---|---|---|
| Jev 1.13 | 57,5 | $41,5 | 127 ms |
| GLiDE | 53,9 | $119,0 | 217 ms |
| Microsoft-Decision-1 | 53,8 | $30,7 | 207 ms |
| Decider v1.1 27B | 53,1 | $16,5 | 170 ms |
| Celeris-1 Decision | 52,3 | $31,6 | 63 ms |
Méthodologie et comparaison avec les LLM
L’indice repose sur quatre tests pondérés à 25 % chacun. AA-Omniscience-Decision mesure la précision et le taux de non-hallucination sur 500 questions à cinq choix comportant une option Je ne sais pas. HLE-MultiChoice évalue le raisonnement pur à travers 513 questions issues de Humanity’s Last Exam. Le test When2Call de NVIDIA note la capacité à déclencher un outil ou demander des précisions. Enfin, WildGuardTest d’Ai2 mesure la détection de requêtes ou contenus dangereux via le score F1.
Les modèles de langage conventionnels conservent un avantage sur la précision brute, mais au détriment de la vitesse et du budget. Claude Haiku 5.5 en mode low obtient ainsi un score de 60,6, soit 3 points de plus que Jev 1.13, mais s’avère 11 fois plus lent avec 1434 ms et 4,4 fois plus coûteux à $184 pour un million de tâches. GPT-6 Luna affiche 55,2 pour $131 et 1500 ms, tandis que Claude Opus 5.5 culmine à 79,0 mais atteint un coût de $51 295 pour 3571 ms de latence.
Le banc d’essai met en évidence une frontière de Pareto coût-qualité composée de Decider v1.1 27B, Microsoft-Decision-1 et Jev 1.13. Si Jev 1.13 domine le raisonnement avec 20,9 points sur HLE-MultiChoice contre 15,4 au mieux pour ses rivaux, les modèles de décision restent globalement limités sur les questions de connaissances pures face aux architectures génératives.
À lire aussi : Modèles de décision IA - classement Decision Index, prix et tests
Sources
More on this from PROMPTIF
état de l'ia·Alerte du FMI et déploiements concrets de l’IAEntre l'avertissement du FMI sur la valorisation de l'IA et son intégration dans les infrastructures critiques, analyse des tensions du marché.