Le filigrane de texte IA SynthID-Text peut affaiblir les garde-fous de sécurité des modèles
Une chercheuse en sécurité de Lasso Security a démontré que le système de filigrane SynthID-Text de Google modifie le comportement des LLM face aux invites adversariales, allant jusqu'à contourner leurs garde-fous de sécurité.
👁 118 lectures
Une chercheuse en sécurité chez Lasso Security, Andrea Siposova, a publié des travaux montrant que SynthID-Text, le système de filigrane de Google adopté récemment par Anthropic pour ses futurs modèles Claude, peut affaiblir les garde-fous de sécurité des LLM en conditions adversariales.
- SynthID-Text modifie non seulement la sélection des mots, mais aussi le respect des règles de sécurité des modèles
- Les tests portaient sur six modèles open-weight via le SynthIDTextWatermarkLogitsProcessor de Hugging Face
- L'effet est particulièrement prononcé lors d'attaques par injection de prompt combinées aux requêtes nuisibles
SynthID-Text fonctionne par « tournament sampling »: des paires de tokens candidats s’affrontent via un score caché dérivé d’une clé secrète, le gagnant étant sélectionné pour compléter la phrase. Ce mécanisme, conçu pour être imperceptible au lecteur, altère néanmoins la distribution de probabilité des sorties. Siposova a testé la configuration « non-distortionary » du système sur six modèles open-weight via le SynthIDTextWatermarkLogitsProcessor de Hugging Face, en soumettant des invites nuisibles avec et sans filigrane actif.
Résultat : le filigrane modifie les refus sur des requêtes directement nuisibles, mais l’effet est encore plus marqué lorsque ces requêtes sont combinées à des techniques d’injection de prompt.
« En comparaison aux mêmes modèles sans filigrane, cela va définitivement changer leur comportement, surtout dans des conditions adversariales ou lorsqu’on les fait appeler des outils en mode agent. »
Ces résultats appellent les développeurs à tester systématiquement le comportement de leurs modèles et agents une fois le filigrane déployé.
Google · Vos sourcesPromptif plus haut dans Google - en un clicAjouter aux sources préférées →
More on this from PROMPTIF
