› IBM Research a publié le 15 septembre 2026 sur Hugging Face un article technique décrivant le Consistency Analyzer, un outil intégré à son système ALTK-Evolve qui quantifie et réduit l'incohérence comportementale des agents IA.Le problème central est une divergence frappante entre deux métriques.
› Un agent ReAct utilisant GPT-4.1, évalué sur le benchmark AppWorld (jeu de test test_normal), affiche un taux de succès moyen - le classique Mean@k - de 77,4 % sur cinq répétitions.
› Mais la métrique Pass⁵, qui exige la réussite sur chacune des cinq tentatives pour une même tâche, tombe à 53,0 %.
› L'écart est donc de 24,4 points.