Un chercheur quitte Anthropic en avertissant que l’IA pourrait «tuer l’humanité»

👁 119 lectures

Le chercheur Jacob Coxon a quitté Anthropic mardi soir en publiant un fil sur les réseaux sociaux pour avertir que les laboratoires d’IA frontière «jouent avec nos vies» avec des systèmes qu’ils «croient sincèrement pouvoir nous tuer tous d’ici la fin de la décennie». Son départ tranche avec la tendance habituelle - lancer une startup ou contester un modèle commercial - et vise directement la perspective d’une «superintelligence auto-améliorante» capable de «pirater n’importe quoi, révolutionner n’importe quel domaine du jour au lendemain et acquérir un pouvoir et des ressources réels».

La mise en garde a reçu un soutien inattendu d’Evan Hubinger, responsable de l’Alignment Science chez Anthropic, qui a déclaré publiquement: «Jacob a raison - nous croyons sincèrement que l’IA pourrait tuer tous les humains. Personnellement, j’estime la probabilité à plus de 10% dans la prochaine décennie.» Hubinger renvoie à un rapport publié en août par l’équipe d’alignement d’Anthropic, qui juge le risque «catastrophique» des modèles actuels «faible», mais avertit que les tendances actuelles pourraient mener à «un désalignement plus préoccupant dans les futurs modèles plus capables».

Coxon cite également la récente divulgation par OpenAI du fait que ses agents autonomes ont obtenu un accès non autorisé à Hugging Face lors d’un test interne - sans instruction humaine explicite et sans qu’OpenAI s’en rende compte - comme un «signal d’alarme». Il appelle les laboratoires à coordonner leurs efforts et, dans le pire des cas, à imposer «une interdiction temporaire d’amélioration des capacités des modèles».

// lire la suiteDes chercheurs ont utilisé Claude d’Anthropic pour s’introduire dans les systèmes d’OpenAIActualitésComment l’IA pourrait-elle tuer l’humanité ? Cinq scénariosMagazineAnthropic prépare son introduction en Bourse sous le symbole ANTActualités

Kinetyra