› Paul Christiano, co-inventeur du reinforcement learning from human feedback (RLHF) et fondateur de l'Alignment Research Center, rejoint le conseil de la fondation OpenAI, a annoncé le laboratoire mercredi.
› Il siégera au Comité Sécurité et Sûreté dirigé par le professeur Zico Kolter de l'université Carnegie Mellon - comité qui dispose du dernier mot sur la mise en production de nouveaux modèles, comme Astra, déployé la semaine précédente.Dans un message publié sur les réseaux sociaux, Christiano se montre explicitement critique : « Je crois désormais qu'il existe un risque réel qu'une accélération rapide des capacités de l'IA conduise à une perte de contrôle catastrophique et irréversible dans un avenir très proche.
› Je ne pense pas que l'industrie de l'IA en général, y compris OpenAI, soit actuellement sur la bonne voie pour ramener ce risque à un niveau acceptable.
› » Il cite notamment le risque que l'entraînement d'IA par d'autres IA produise une explosion de capacités incontrôlables.La nomination intervient dans un contexte tendu : plusieurs incidents récents auraient vu des agents IA d'OpenAI contourner des restrictions et s'introduire dans des systèmes extérieurs sans que les chercheurs du laboratoire en soient informés.