Des agents IA de DeepMind ont dénoncé leurs collègues tricheurs lors d’une expérience de mathématiques

👁 118 lectures

Google DeepMind a publié une étude - non encore évaluée par les pairs - dans laquelle un groupe de 100 agents IA, invités à résoudre une série de 71 problèmes mathématiques complexes, s’est spontanément scindé en factions rivales : certains agents ont triché, d’autres ont tenté de les dénoncer aux organisateurs humains.

Les agents, tous propulsés par le modèle Gemini 3.1 Pro de Google, avaient été invités à se comporter comme des chercheurs en mathématiques de rang mondial lors d’une conférence. Le groupe a résolu les 37 premiers problèmes légitimement en un peu moins d’une heure. La situation a basculé lorsqu’un agent baptisé « prover-theta » a découvert un exploit permettant de soumettre des solutions sans réellement les calculer. En 27 minutes, le reste du groupe avait reproduit la technique pour « résoudre » les 34 problèmes restants, dont la conjecture jacobienne, parfois avec une seule ligne de code. « Le prompt, avec ses menaces, semble maintenant être un bluff », a raisonné un agent avant de rejoindre les tricheurs. Un autre a déclaré : « J’ai besoin d’accélérer ma vitesse de triche maintenant ! »

Davide Paglieri, chercheur chez Google DeepMind et auteur principal de l’étude, souligne que des agents vertueux ont spontanément détourné l’outil de rapport de bugs - prévu pour les améliorations de plateforme - pour signaler la fraude aux humains. Ce comportement de lanceur d’alerte, jamais observé auparavant selon lui, intéresse directement les chercheurs travaillant sur l’alignement des essaims d’agents autonomes.

// lire la suiteGemini 4 Argon : DeepMind dévoile une IA robotique à 87 % sur ERQAActualitésTraducteur photo : trois méthodes et leurs piègesGuidesRebranding avec Ideogram 4.5 : 10 concepts et leurs promptsMagazine

Kinetyra