GPT-4.1 : la cohérence des agents IA mise à l’épreuve
IBM Research révèle un écart de 24 points entre le taux de réussite moyen d'un agent IA et sa capacité à reproduire le même résultat cinq fois de suite.
👁 118 lectures
L’équipe d’IBM Research a publié sur Hugging Face une analyse du problème de reproductibilité des agents IA qui met en lumière un écart fondamental entre ce que montrent les benchmarks et ce dont les utilisateurs en production ont réellement besoin.
Un agent ReAct basé sur GPT-4.1, testé sur l’ensemble AppWorld test_normal, obtient une réponse correcte en moyenne dans 77,4 % des cas. C’est le chiffre que vous voyez dans les classements. Mais si vous répétez la même tâche cinq fois et exigez que l’agent réussisse les cinq tentatives, le taux chute à 53,0 %. L’écart atteint 24,4 points de pourcentage. Sur les tâches les plus difficiles, il grimpe à 30 points.
La différence entre ces deux métriques n’est pas une curiosité technique. Dans un contexte de production - vérification d’engagements contractuels, rapprochement de transactions financières - un workflow qui réussit une fois puis échoue la suivante avec une requête identique constitue un problème, pas une statistique.
Deux métriques pour deux questions différentes
Les chercheurs soulignent une différence terminologique importante. Mean@k répond à la question : quelle est la performance moyenne de l’agent ? Pass^k (à ne pas confondre avec le populaire Pass@k) répond à la question que se pose l’utilisateur réel : l’agent exécutera-t-il correctement la même tâche à chaque fois ? Pass@k est optimiste - une seule réussite sur k tentatives suffit. Pass^k est pessimiste - chaque tentative doit réussir. La plupart des benchmarks ne rapportent que le premier chiffre.
Google · Vos sourcesPromptif plus haut dans Google - en un clicAjouter aux sources préférées →Diagnostic et traitement
IBM Research a développé Consistency Analyzer - un outil qui analyse la trajectoire enregistrée d’un agent et recherche les points de décision où le modèle était à un token près de choisir un chemin différent. Point important : l’outil fonctionne sur une seule trajectoire enregistrée et ne nécessite ni ground truth ni réexécution complète de la tâche. À chaque point de décision, il récupère k=5 complétions avec un seul appel supplémentaire au modèle.
Sur la base de ce diagnostic, le système ALTK-Evolve génère ce qu’on appelle des consistency guidelines - des directives de cohérence injectées à l’agent au moment de l’inférence. Résultat : l’écart Pass^5 passe de 24,4 à 12,0 points de pourcentage. Sur les tâches du même type, le score Pass^5 augmente de 16,0 pp, sur les tâches similaires - de 13,0 pp. La précision moyenne ne diminue pas.
La méthodologie complète et les résultats sont disponibles dans le rapport technique sur arXiv.
Un rappel intéressant que l’amélioration de la précision moyenne de quelques points peut être moins précieuse que de faire en sorte qu’un agent cesse de tirer au sort sa réponse face à la même question.
More on this from PROMPTIF
benchmarks·Test de 7 modèles d’IA : Claude Opus 5, GPT-6 Astra, Gemini 3.17 modèles d'IA testés sur 4 tâches identiques : édition de texte, extraction de tableau PDF, génération de code Python et fenêtre de contexte.