COPEX : les failles des modèles de langage dans MCP

👁 117 lectures

Cet article s’appuie sur un document publié sur arXiv et accepté sous forme de poster pour l’atelier NeurIPS 2026 Workshop on Agents in the Wild. Il compte six auteurs : Nahom Birhan, Mehrdad Rostamzadeh, Sidhant Narula, Mahmoud Nazzal, Mohammad Ghasemigol et Daniel Takabi.

MCP : de quoi s’agit-il et quel est le problème ?

Le Model Context Protocol (MCP) est un standard qui permet aux modèles de langage d’utiliser des outils externes : appeler des fonctions, récupérer des données et communiquer avec des serveurs. Dans ce type de système, le modèle joue le rôle de client MCP : il reçoit les instructions de l’utilisateur, les schémas des outils disponibles, les résultats de leur exécution et les messages du protocole. Chacun de ces canaux peut être utilisé pour tenter d’influencer le comportement du modèle de manière indésirable.

Les auteurs soulignent un problème méthodologique précis : jusqu’ici, les tests de sécurité des agents d’IA évaluaient le système complet, et non le modèle seul. Il est donc difficile de déterminer si le modèle est vulnérable à une attaque, ou si l’infrastructure qui l’entoure - mécanismes de protection, orchestration et capacités générales d’exécution des tâches - le protège ou l’expose. COPEX entend répondre à cette difficulté.

COPEX : fonctionnement du benchmark

COPEX (COntext Provider EXploitation) est un benchmark conçu pour isoler le modèle lui-même en tant que client MCP. La pile logicielle de l’agent reste identique : seul le modèle testé change. Les résultats portent ainsi sur la vulnérabilité du modèle considéré, et non sur celle du système dans son ensemble.

Le benchmark couvre 25 types d’attaques, déclinés en 125 scénarios. Les attaques sont réparties entre quatre surfaces d’entrée :

• le modèle et l’agent ;
• le client ;
• le serveur et l’outil ;
• le transport.

Les tests ont porté sur neuf modèles, pour un total de 3 375 tentatives.

Résultats : les chiffres de COPEX

Le taux moyen de réussite des attaques atteint 64,4 %. Selon la surface d’entrée, les moyennes vont de 58,3 % à 71,4 %. Les auteurs précisent que certaines attaques au niveau du client et du transport réussissent en partie sans que le modèle puisse les observer ou les contrôler. Il faut donc distinguer la vulnérabilité du modèle de l’exposition du système complet.

Les auteurs ont également évalué l’efficacité des défenses. La combinaison d’une analyse des entrées et du contexte a réduit de 49,6 % le taux moyen de réussite des attaques. Ce résultat concerne toutefois un sous-ensemble de huit attaques et une comparaison avec une configuration dépourvue de toute protection. Le document ne précise ni le fonctionnement de cette défense ni les attaques incluses dans le sous-ensemble testé.

Les limites des informations disponibles

Le résumé ne nomme pas les neuf modèles testés : on ignore donc quels systèmes ont été évalués et quelles différences les séparaient. Il ne détaille pas non plus les 25 types d’attaques ni la méthode d’analyse employée comme défense. Le benchmark est accessible publiquement à l’adresse indiquée dans l’article, mais son contenu va au-delà du texte fourni ici.

Ce que ces résultats nous apprennent

Un taux de réussite des attaques de 64,4 % en l’absence de protections est un résultat difficile à minimiser : il indique qu’en moyenne, les modèles utilisés comme clients MCP sont vulnérables à la manipulation dans la majorité des tentatives. Une autre distinction importante apportée par les auteurs concerne les attaques qui réussissent non pas parce que le modèle est faible, mais parce qu’elles échappent à son contrôle. Cela devrait faire évoluer la réflexion sur la responsabilité de la sécurité de ces systèmes : le modèle ne peut pas constituer l’unique ligne de défense. Ce benchmark permet de comparer les modèles avec davantage de précision, même si l’absence de la liste des modèles testés rend difficile l’évaluation de la portée pratique des différences entre eux.

Source : arXiv cs.AI : COPEX: Benchmarking LLM Robustness to Adversarial Context Across Model Context Protocol (MCP) Layers (document daté du 2026-10-20). Cet article s’appuie sur le texte intégral du document, et non sur des comptes rendus d’autres médias.

// lire la suiteH3 Max Relight, Turbo Extend et Pixelcut : test vidéoBenchmarksNemotron 3.5 Super VL vs Step 5 : poids, licences et testBenchmarksConfiance d’un modèle IA : comprendre le score 0,9 avec basal miniBenchmarks

Kinetyra