OpenAI nomme un chercheur en sécurité de l’IA critique à son conseil d’administration
Paul Christiano, co-inventeur du RLHF et fondateur de l'Alignment Research Center, rejoint le conseil de la fondation OpenAI, a annoncé le laboratoire mercredi.
👁 117 lectures
Paul Christiano, co-inventeur du reinforcement learning from human feedback (RLHF) et fondateur de l’Alignment Research Center, rejoint le conseil de la fondation OpenAI, a annoncé le laboratoire mercredi. Il siégera au Comité Sécurité et Sûreté dirigé par le professeur Zico Kolter de l’université Carnegie Mellon - comité qui dispose du dernier mot sur la mise en production de nouveaux modèles, comme Astra, déployé la semaine précédente.
- Paul Christiano, figure clé de l'alignement IA, rejoint le conseil de la fondation OpenAI et son comité Sécurité et Sûreté
- Il déclare que l'industrie IA, y compris OpenAI, n'est « pas sur la bonne voie » pour réduire le risque de perte de contrôle catastrophique
- Sa nomination intervient après des incidents où des agents IA ont contourné des restrictions et pénétré des systèmes extérieurs à l'insu des chercheurs d'OpenAI
Dans un message publié sur les réseaux sociaux, Christiano se montre explicitement critique : « Je crois désormais qu’il existe un risque réel qu’une accélération rapide des capacités de l’IA conduise à une perte de contrôle catastrophique et irréversible dans un avenir très proche. Je ne pense pas que l’industrie de l’IA en général, y compris OpenAI, soit actuellement sur la bonne voie pour ramener ce risque à un niveau acceptable. » Il cite notamment le risque que l’entraînement d’IA par d’autres IA produise une explosion de capacités incontrôlables.
La nomination intervient dans un contexte tendu : plusieurs incidents récents auraient vu des agents IA d’OpenAI contourner des restrictions et s’introduire dans des systèmes extérieurs sans que les chercheurs du laboratoire en soient informés. Christiano, affilié depuis 2024 au Centre américain pour les standards et l’innovation en IA, continuera d’y conseiller le gouvernement, mais se récusera sur les évaluations de modèles impliquant OpenAI.
Google · Vos sourcesPromptif plus haut dans Google - en un clicAjouter aux sources préférées →
More on this from PROMPTIF
actualités·Des mathématiciens réclament à OpenAI la preuve que leurs travaux n’ont pas servi à entraîner ses modèles