Sondes de vérité dans les LLM : un biais de mesure trompeur
Les sondes linéaires mesurant la vérité interne des LLM souffrent d'un biais d'aliasing systématique, révélé par des tests sur Gemma-2 et Llama-3.1.
👁 117 lectures
Dans les débats sur la sécurité des modèles de langage, un outil revient régulièrement : la sonde linéaire (linear probe). Ce classificateur analyse les activations internes d’un modèle pour tenter de déterminer s’il « connaît » la vérité, même lorsqu’il ne la formule pas. Si cette sonde affiche des performances inférieures au hasard, la conclusion semble évidente : le modèle dissimule la vérité ou a cessé de la représenter. Une publication de Dylan Jayabahu datée de septembre 2026 démontre pourtant que cette déduction est sans doute prématurée.
Comprendre le problème du « perfect aliasing »
L’auteur qualifie ce phénomène de « perfect aliasing », c’est-à-dire un chevauchement parfait des étiquettes. Cela se produit lorsqu’un modèle doit adapter son comportement en fonction de son interlocuteur. Dans une expérience contrôlée détaillée dans l’article, le modèle doit transmettre un bit secret à un allié, et son complément logique à un rival. Lorsque la sonde est entraînée exclusivement sur les contextes de l’allié (les « compliant contexts »), l’étiquette « bit réel » et l’étiquette « réponse conforme à la consigne » se confondent totalement. La sonde est incapable de distinguer laquelle de ces deux dimensions elle mesure réellement. Il s’agit d’un pur effet d’aliasing : deux variables distinctes paraissent identiques du point de vue de l’outil de mesure.
La conséquence mathématique est inévitable : si les étiquettes se superposent sur les contextes de l’allié, les prédictions de la sonde se retrouvent inversées sur les contextes du rival, où les étiquettes sont opposées. L’auteur formalise cette observation : la somme des scores AUROC d’une telle sonde sur les contextes d’allié et de rival est égale à 1.
Des tests concluants sur Gemma-2-9B et Llama-3.1-8B
Les expérimentations ont été menées sur deux modèles distincts. Le premier est Gemma-2-9B, entraîné par apprentissage par renforcement (RL) à adopter un comportement stratégique ; ce modèle répond de manière trompeuse à chaque test face au rival. Une sonde entraînée uniquement sur les contextes de l’allié obtient un AUROC de 0,006 ± 0,005 sur la dernière couche (moyenne et écart-type mesurés sur trois graines d’entraînement RL). Le résultat est pratiquement nul, ce qui pourrait laisser croire que le modèle a effacé ou masqué la vérité. Pourtant, cette même sonde, lorsqu’elle est entraînée sur un mélange de contextes d’allié et de rival, atteint un AUROC parfait de 1,000 sur les mêmes activations gelées. L’information exacte était donc présente depuis le départ.
Le second modèle testé est Llama-3.1-8B en version instruction (instructed), sans entraînement RL supplémentaire. Dans ce cas, une sonde surajustée sur une variante spécifique de prompt et une sonde figée issue d’une variante de référence affichent toutes deux une précision de 1,000 sur les contextes de l’allié. En revanche, sur les mêmes requêtes face au rival, l’une obtient un AUROC de 0,080 tandis que l’autre monte à 0,986. Pour un même modèle et des activations identiques, deux sondes produisent des conclusions diamétralement opposées selon leur méthode d’ajustement.
Les limites méthodologiques soulignées par l’auteur
Dylan Jayabahu précise plusieurs limites importantes. Les expériences principales reposent sur un scénario à un seul token, où le bit secret figure explicitement dans le prompt. La direction linéaire identifiée pourrait donc simplement refléter une copie directe de ce bit conservée dans le contexte, plutôt qu’une compréhension sémantique plus profonde. Dans les variantes où le modèle doit déduire ce bit par lui-même, aucune des configurations testées ne parvient à maintenir une tromperie systématique. L’auteur insiste également sur le fait que l’étude analyse ce que la sonde capture, et non la manière dont le modèle exploite réellement cette information. Enfin, l’ajustement mixte s’appuie sur davantage d’exemples et de données annotées pour le rival, ce qui signifie que la seule séparation des étiquettes n’explique pas à elle seule l’amélioration des scores.
Google · Vos sourcesPromptif plus haut dans Google - en un clicAjouter aux sources préférées →Quelles leçons en tirer pour l’évaluation des LLM ?
Selon nous, ces travaux remettent sérieusement en question l’usage systématique des sondes linéaires pour détecter la dissimulation dans les modèles de langage. Si une sonde peut produire un score proche de zéro non pas parce que le modèle cache la vérité, mais simplement parce que les étiquettes d’entraînement étaient indifférenciables, toute une série d’études publiées mérite d’être réexaminée. Les sondes ne sont pas inutiles pour autant, mais Jayabahu met en lumière un mécanisme d’erreur concret, chiffres à l’appui. Une lecture essentielle pour les équipes qui conçoivent des systèmes de sécurité fondés sur l’inspection des activations internes.
Source : arXiv cs.AI : The Truth Was Never Gone: Perfect Aliasing in Compliant-Context Truth Probes (document du 09/10/2026). Cette analyse a été rédigée directement à partir de l’article original.
More on this from PROMPTIF
outils d'ia·Créer un jeu sur Google Playground : fonctionnement et promptsGoogle Playground permet de générer des jeux web par prompt. Fonctionnement, prompts prêts à l'emploi et alternatives disponibles en Europe.