› L'équipe d'IBM Research a publié sur Hugging Face une analyse du problème de reproductibilité des agents IA qui met en lumière un écart fondamental entre ce que montrent les benchmarks et ce dont les utilisateurs en production ont réellement besoin.Un agent ReAct basé sur GPT-4.1, testé sur l'ensemble AppWorld test_normal, obtient une réponse correcte en moyenne dans 77,4 % des cas.
› C'est le chiffre que vous voyez dans les classements.
› Mais si vous répétez la même tâche cinq fois et exigez que l'agent réussisse les cinq tentatives, le taux chute à 53,0 %.
› L'écart atteint 24,4 points de pourcentage.