Echelle de confiance IA : 0-20 plus efficace que 0-100

👁 123 lectures

Lorsque nous demandons à un modèle de langage à quel point il est certain de sa réponse, le schéma typique consiste à obtenir un chiffre entre 0 et 100. Cela semble raisonnable. Le problème, c’est que personne ne s’était jusqu’ici demandé si cette échelle était réellement appropriée. Yuyang Dai et Yuxia Wang, dans un article publié en mars 2026 (et révisé jusqu’en septembre 2026), affirment qu’il s’agit d’un oubli majeur.

Le problème des chiffres ronds

Les auteurs ont examiné six modèles de langage sur trois ensembles de données et ont découvert quelque chose d’inquiétant : plus de 78% des réponses se concentraient sur seulement trois valeurs rondes. En d’autres termes, les modèles n’utilisent pas toute l’échelle disponible - ils gravitent plutôt vers des chiffres ronds et pratiques, comme 50, 80 ou 90. Cela signifie que la plupart des graduations de certitude ne sont en pratique jamais utilisées.

Les auteurs appellent ce phénomène « discrétisation » et le considèrent comme un problème sérieux pour quiconque tente d’évaluer l’incertitude des modèles dans des configurations dites black-box, c’est-à-dire sans accès aux probabilités internes du modèle.

Trois dimensions d’expérimentation

Pour étudier ce qui cause ce problème et s’il peut être corrigé, les chercheurs ont systématiquement manipulé les échelles de certitude selon trois dimensions. La première est la granularité - c’est-à-dire le niveau de détail de l’échelle. La deuxième est la répartition des limites - où l’échelle commence et se termine. La troisième est la régularité de l’intervalle - si l’échelle est typique ou irrégulière.

Pour évaluer la qualité de la métacognition (c’est-à-dire la capacité du modèle à savoir ce qu’il sait), les auteurs ont utilisé une mesure appelée meta-d’. Le document n’explique pas plus en détail ce qu’est exactement cette mesure au-delà de son nom et de son application.

Ce qui fonctionne et ce qui ne fonctionne pas

Les résultats sont concrets. L’échelle 0-20 améliore systématiquement l’efficacité métacognitive par rapport au format standard 0-100. C’est la principale conclusion pratique de cette recherche.

D’un autre côté, la « compression des limites » - c’est-à-dire rétrécir l’échelle en plaçant ses extrémités plus près du centre - dégrade les résultats. Les auteurs notent également que la préférence pour les chiffres ronds ne disparaît pas même lorsque l’échelle est irrégulière. Les modèles recherchent quand même des valeurs rondes, même si l’échelle ne les met pas techniquement en évidence.

Conclusion méthodologique

Les auteurs formulent un postulat principal : la conception de l’échelle de certitude influence directement la qualité de l’incertitude verbalisée et devrait être traitée comme une variable expérimentale à part entière dans l’évaluation des modèles de langage. En d’autres termes - si vous étudiez la capacité d’un modèle à évaluer sa propre certitude, vous devez indiquer quelle échelle vous avez utilisée, car cela a de l’importance.

L’article compte 20 pages. Les auteurs ne précisent pas dans le résumé quels modèles spécifiques ont été étudiés, quels étaient les ensembles de données ni les chiffres détaillés concernant l’amélioration résultant de l’échelle 0-20 - ces informations ne figurent pas dans le texte fourni.

Implications pratiques

Selon nous, cette recherche a une portée pratique, bien que limitée. Si vous construisez un système dans lequel le modèle évalue lui-même sa certitude et transmet cette évaluation - à l’utilisateur ou à un autre composant - alors le choix de l’échelle n’est pas une question d’esthétique. Le résultat indiquant que plus des trois quarts des réponses se concentrent sur trois chiffres avec une échelle 0-100 suggère que cette échelle gaspille simplement son potentiel et donne une illusion de précision qui n’existe pas. La recommandation d’essayer une échelle 0-20 est simple à mettre en œuvre et - si les résultats de l’étude se confirment - mérite d’être testée. Dommage que le résumé ne donne pas accès aux détails, car sans savoir quels modèles et données ont été testés, il est difficile d’évaluer dans quelle mesure ces conclusions peuvent être généralisées.

Source : arXiv cs.AI: Rescaling Confidence: What Scale Design Reveals About LLM Metacognition (document du 12 septembre 2026). Cette analyse a été réalisée sur la base du texte intégral du document, et non de rapports d’autres médias.

// lire la suiteConfiance d’un modèle IA : comprendre le score 0,9 avec basal miniBenchmarksGoogle Earth : 24h d’IA générative, des années de confiance perduesMagazineGemini Omni 1.2 vs 1.1 : comparatif avec les mêmes promptsBenchmarks

Kinetyra