› Une chercheuse en sécurité chez Lasso Security, Andrea Siposova, a publié des travaux montrant que SynthID-Text, le système de filigrane de Google adopté récemment par Anthropic pour ses futurs modèles Claude, peut affaiblir les garde-fous de sécurité des LLM en conditions adversariales.SynthID-Text fonctionne par « tournament sampling »: des paires de tokens candidats s'affrontent via un score caché dérivé d'une clé secrète, le gagnant étant sélectionné pour compléter la phrase.
› Ce mécanisme, conçu pour être imperceptible au lecteur, altère néanmoins la distribution de probabilité des sorties.
› Siposova a testé la configuration « non-distortionary » du système sur six modèles open-weight via le SynthIDTextWatermarkLogitsProcessor de Hugging Face, en soumettant des invites nuisibles avec et sans filigrane actif.Résultat : le filigrane modifie les refus sur des requêtes directement nuisibles, mais l'effet est encore plus marqué lorsque ces requêtes sont combinées à des techniques d'injection de prompt.
› « En comparaison aux mêmes modèles sans filigrane, cela va définitivement changer leur comportement, surtout dans des conditions adversariales ou lorsqu'on les fait appeler des outils en mode agent. »- Andrea Siposova, Lasso Security Ces résultats appellent les développeurs à tester systématiquement le comportement de leurs modèles et agents une fois le filigrane déployé.