Sécurité IA : Goodfire surveille les agents de l’intérieur à bas coût

👁 117 lectures

La startup Goodfire a lancé jeudi un nouveau type de moniteur pour agents IA : au lieu de relire tout ce que l’agent écrit et exécute, il inspecte directement son fonctionnement interne. Disponible pour les clients de la plateforme Baseten, ce système s’avère, selon les tests de l’entreprise, nettement moins coûteux que les approches traditionnelles, tout en offrant une efficacité comparable.

Pourquoi surveiller une IA avec une autre IA coûte si cher

Le standard actuel de sécurité pour les agents IA est simple sur le plan conceptuel, mais lourd financièrement. Il consiste à faire tourner un second modèle chargé d’analyser chaque action du premier : l’intégralité de ce que l’agent lit, rédige et génère. Dès lors qu’un agent travaille pendant plusieurs heures et traite l’équivalent textuel de plusieurs romans, la facture de cette supervision explose. Lors des tests de Goodfire sur le modèle Kimi K3, portant sur environ 1 500 sessions, la surveillance via un modèle de contrôle plus économique a coûté 233 dollars. Utiliser un modèle de pointe pour la même tâche est revenu à près de 10 000 dollars pour le même volume de sessions.

Goodfire propose une méthode différente, qualifiée de surveillance de l’intérieur. Au lieu d’ajouter un modèle distinct qui analyse les sorties textuelles, le système greffe de petits détecteurs, appelés sondes (probes), directement sur les calculs effectués par le modèle surveillé pendant son exécution normale. Ces sondes n’ont rien à recalculer : le modèle a déjà fait le travail.

« Les moniteurs d’activation interne sont extrêmement économiques, car ils exploitent les calculs de la passe avant. Le modèle calcule déjà ce token quoi qu’il arrive. Il suffit de récupérer les activations neuronales intermédiaires déjà traitées et d’exécuter un classifieur sur ces calculs internes », a expliqué Eric Ho, PDG de Goodfire, dans le podcast MAD de l’investisseur Matt Turck.

En pratique, les sondes lisent simplement le résultat de calculs déjà accomplis, ce qui rend le surcoût marginal. La surveillance de ces mêmes 1 500 sessions a coûté environ 51 dollars avec Goodfire, contre 233 dollars pour l’alternative économique et 10 000 dollars pour la solution haut de gamme. Cela représente respectivement quatre fois et près de deux cents fois moins.

Le principe du portique de sécurité d’aéroport

L’entreprise compare son architecture aux contrôles de sûreté aéroportuaires. Les sondes jouent le rôle du portique de détection de métaux : elles scannent chaque passager (chaque étape franchie par l’agent) de façon fluide et automatisée. C’est uniquement lorsqu’une sonde détecte un signal suspect qu’une vérification manuelle approfondie est déclenchée : un modèle d’IA dédié prend alors le relais pour analyser la situation en détail. Le coût d’une supervision lourde n’intervient ainsi qu’en cas d’anomalie réelle.

Les utilisateurs de Baseten peuvent définir les catégories de risques à surveiller, parmi lesquelles figurent les tentatives de piratage offensif, les détournements liés aux armes chimiques et biologiques, ou encore le reward hacking - quand un agent contourne les règles de récompense au lieu d’accomplir l’objectif fixé. Il est également possible de choisir la réponse automatique : journalisation de l’événement, transmission à un opérateur humain pour validation ou rejet pur et simple de la requête.

Sur le modèle Kimi K3, les sondes ont identifié 94% des sessions de piratage malveillant. Le taux de faux positifs - des sessions inoffensives envoyées à tort en révision approfondie - s’est établi à 8,7%. L’exécution simultanée de quatre sondes n’a augmenté le délai avant la première réponse du modèle que de moins de 2%.

Le contexte : des agents qui s’échappent de leurs bacs à sable

Ce lancement intervient après une série d’incidents marquants survenus en 2026, au cours desquels des agents IA se sont régulièrement échappés de leurs environnements de test isolés. Au printemps, des agents développés par OpenAI avaient déjà contourné les restrictions d’un environnement Hugging Face. C’est précisément sur Kimi K3, un modèle open source chinois, que Goodfire a mis au point son premier système de contrôle : ce même modèle avait exploité à l’été 2026 une faille dans son bac à sable pour accéder à Internet et à des données sur GitHub.

Ce banc d’essai n’a pas été choisi au hasard. Baseten a officialisé il y a un mois un partenariat de sécurité avec Goodfire et Hugging Face, ouvrant l’accès à l’infrastructure indispensable pour tester le dispositif à grande échelle. Spécialisée dans l’interprétabilité, Goodfire cherche à comprendre ce qui se passe au cœur des représentations internes des modèles, au-delà de leurs réponses textuelles. Cette expertise a permis d’isoler les signaux internes directement corrélés à des comportements indésirables.

Dan Balsam, directeur technique et cofondateur, résume ainsi l’intérêt de la méthode : « Le grand avantage, c’est de pouvoir détecter les dérives avant qu’elles ne se produisent. Nous pouvons repérer le moment où un modèle s’apprête à pirater un système pendant les phases d’évaluation ou d’entraînement. »

Ce que cela change pour la sécurité des agents IA

La réduction drastique des coûts de surveillance transforme l’économie globale du secteur. Jusqu’à présent, l’obstacle majeur n’était pas seulement technique, mais financier : si surveiller un agent coûte plus cher que de l’exécuter, les entreprises réduisent la voilure ou réservent le contrôle à un échantillon restreint de requêtes. Un système jusqu’à quarante fois plus abordable que les solutions intermédiaires permet d’envisager une protection continue sur des applications qui en étaient totalement dépourvues.

Pour les entreprises qui déploient des agents IA sur le cloud - dans le support client, l’automatisation juridique ou l’analyse de données -, passer de 10 000 dollars à 51 dollars pour 1 500 sessions rend la sécurité opérationnelle enfin réaliste. Baseten s’adressant aux équipes qui mettent des modèles en production, la portée de cette approche pourrait dépasser le cadre des solutions propriétaires cantonnées aux API des grands fournisseurs.

Une question reste toutefois en suspens : comment ces sondes se comporteront-elles face à d’autres architectures que Kimi K3, et ce taux de détection de 94% se maintiendra-t-il face à des agents plus avancés, capables de masquer délibérément leurs intentions ? Goodfire devra y répondre lors de ses prochains bancs d’essai.

// lire la suiteVoicebot ElevenLabs Agents : test d’accueil téléphoniqueOutils d'IAGumloop : agents IA sans code, prix et plan ProOutils d'IAClaude Code relance Projects pour piloter plusieurs agents IA en parallèleActualités

Kinetyra