IBM Research mesure l’incohérence cachée des agents IA et propose un correctif
IBM Research publie un outil de diagnostic, le Consistency Analyzer, qui révèle qu'un agent GPT-4.1 réussit 77,4 % des tâches en moyenne mais seulement 53,0 % de façon systématique sur cinq répétitions.
👁 116 lectures
IBM Research a publié le 15 septembre 2026 sur Hugging Face un article technique décrivant le Consistency Analyzer, un outil intégré à son système ALTK-Evolve qui quantifie et réduit l’incohérence comportementale des agents IA.
- Un écart de 24,4 points sépare le taux de succès moyen (77,4 %) du taux de réussite systématique Pass⁵ (53,0 %) pour un agent ReAct GPT-4.1 sur AppWorld.
- Le Consistency Analyzer resample les points de décision d'une trajectoire existante sans relancer la tâche entière, en demandant k=5 complétions par point critique.
- Les "consistency guidelines" générées par ALTK-Evolve réduisent l'écart de 24,4 points à 12,0 points, avec +16,0 points de Pass⁵ sur les mêmes tâches et +13,0 points sur des tâches similaires.
Le problème central est une divergence frappante entre deux métriques. Un agent ReAct utilisant GPT-4.1, évalué sur le benchmark AppWorld (jeu de test test_normal), affiche un taux de succès moyen - le classique Mean@k - de 77,4 % sur cinq répétitions. Mais la métrique Pass⁵, qui exige la réussite sur chacune des cinq tentatives pour une même tâche, tombe à 53,0 %. L’écart est donc de 24,4 points. Sur les tâches difficiles, cet écart monte à 30 points.
Les auteurs distinguent soigneusement Pass⁵ du Pass@k habituel des leaderboards : ce dernier, optimiste, demande si au moins une tentative a réussi ; Pass^k, au contraire, exige que toutes réussissent - la question réelle en production.
Pour diagnostiquer l’origine de cette variabilité, le Consistency Analyzer resamples les points de décision d’une trajectoire déjà enregistrée. À chaque étape critique, il sollicite k=5 complétions (valeur par défaut) en un seul appel, sans relancer la tâche de bout en bout. Aucune vérité terrain n’est nécessaire.
Ce diagnostic alimente ensuite la génération automatique de consistency guidelines, un nouveau type de règles dans ALTK-Evolve, injectées au moment de l’inférence. Résultat selon le rapport : l’écart de cohérence est réduit de 24,4 à 12,0 points, avec un gain de +16,0 points de Pass⁵ sur les mêmes tâches et de +13,0 points sur des tâches similaires, sans dégradation de la précision moyenne. La méthodologie complète est disponible dans le rapport technique sur arXiv référencé par l’équipe.
Pour les praticiens : un agent qui tient ses performances en démo ne garantit rien en production répétée. Avant de déployer un workflow critique - vérification de contrat, réconciliation financière - mesurer le Pass^k plutôt que le seul Mean@k révèle le vrai niveau de fiabilité. L’approche ALTK-Evolve montre qu’on peut améliorer cette cohérence à partir de traces existantes, sans données supplémentaires ni réentraînement.
Google · Vos sourcesPromptif plus haut dans Google - en un clicAjouter aux sources préférées →
More on this from PROMPTIF
actualités·Open vs. closed AI: 4 months d’écart de performance, 5 fois moins cher