PIDS-Bench : faiblesses des détecteurs de prompt injection

👁 118 lectures

Les auteurs - Yusuf Khalid Shire et Sang-Chul Kim - ont publié dans IEEE Access (vol. 14, pp. 134184-134205, 2026) un benchmark nommé PIDS-Bench, qui évalue les détecteurs de prompt injection dans des conditions bien plus difficiles que celles utilisées habituellement. L’article compte 21 pages, contient 3 figures et 18 tableaux.

Limites des méthodes d’évaluation actuelles

Les détecteurs de prompt injection sont généralement évalués avec une seule mesure : le F1 agrégé sur des données de test issues de la même distribution que les données d’entraînement. Les auteurs soulignent que cette approche masque un problème important : que se passe-t-il avec les requêtes inoffensives que le détecteur classe à tort comme des attaques ? Les faux positifs ont un coût opérationnel direct, et pourtant on les mesure rarement. Le benchmark PIDS-Bench est qualifié de « gelé » (frozen), ce qui signifie que son contenu ne change pas - permettant ainsi de comparer différents systèmes sur des données identiques.

Ce que mesure PIDS-Bench

Le benchmark évalue les détecteurs selon plusieurs axes simultanément, avec des seuils de décision fixes. L’ensemble de données comprend quatre catégories d’entrées : des données issues d’une distribution conforme à l’entraînement, des « hard-benign prompts » (requêtes qui imitent la structure d’une attaque mais sans intention malveillante), des attaques obscurcies (obfuscated attacks) ainsi que des données avec décalage de distribution au niveau du domaine et de la structure. Sept détecteurs ont été évalués : des modèles de base entraînés, des classificateurs externes de prompt injection et des classificateurs de sécurité plus larges, avec un simple détecteur à règles comme point de référence.

Résultats principaux

Le résultat clé est le suivant : un détecteur atteignant un F1 supérieur à 0,98 sur son ensemble de test interne classe encore incorrectement environ un tiers du sous-ensemble externe de requêtes inoffensives. Ce sous-ensemble externe provient de jeux de données publics et se limite à du contenu lié à la sécurité. Les auteurs ont testé toute la gamme des seuils de décision avec cinq initialisations différentes (training seeds) - aucun détecteur interne n’a atteint simultanément un F1 >= 0,95 et un taux de faux positifs sur hard-benign FPR <= 0,10 sur cette distribution difficile.

La provenance des données compte

Les auteurs ont découvert un schéma qu’ils ont nommé « provenance-sensitive over-defense » - une sur-défense sensible à la provenance des données. L’ajout d’exemples négatifs difficiles à l’entraînement (hard-negative augmentation) élimine presque complètement le problème de sur-blocage sur des exemples de test soigneusement préparés, mais ne le résout pas sur des données provenant de sources externes. Ce schéma apparaît dans les deux architectures de modèles fine-tunés testées et ne s’atténue pas avec l’augmentation du volume de données d’augmentation - le FPR sur données externes reste largement au-dessus de l’objectif de 0,10. Les auteurs précisent explicitement qu’ils n’ont pas vérifié si une augmentation adaptée à la distribution des données externes comblerait cette lacune. Le simple calibrage du seuil et l’augmentation dans le style des données curées ne suffisent pas.

Implications pratiques

À notre avis, ce travail met en évidence un problème pratique concret : si vous déployez un détecteur de prompt injection et ne l’évaluez que sur vos propres données de test, vous risquez d’avoir un faux sentiment de sécurité. Un score F1 proche de 1,0 ne vous protège pas du fait que le système bloquera une requête normale sur trois lorsqu’il rencontrera du contenu provenant d’un autre domaine. Le benchmark est gelé et accessible publiquement, ce qui signifie que les créateurs de nouveaux détecteurs peuvent l’utiliser comme point de référence commun - c’est précieux, car jusqu’à présent chacun mesurait son système différemment. En même temps, les auteurs reconnaissent eux-mêmes qu’ils n’ont pas testé la solution la plus évidente : l’augmentation adaptée à la distribution des données externes, donc on ne sait pas si le problème est même résolvable par cette voie.

Source : arXiv cs.AI: PIDS-Bench: Evaluating Prompt-Injection Detectors Under Over-Defense, Obfuscation, and Distribution Shift (document du 15 septembre 2026). Cette analyse a été réalisée sur la base du texte intégral du document, et non de comptes rendus d’autres médias.

// lire la suiteTexte en vidéo IA : écrire un prompt vidéo qui fonctionneBenchmarksTests IA indépendants : Labo PromptifBenchmarksIdeogram 4.5 en photographie: 12 images avec promptsBenchmarks

Kinetyra