OpenAI se dirige vers l'AGI avec le nouveau groupe de sécurité dirigé par Sam Altman


OpenAI dit qu'il forme le prochain modèle frontière, selon un communiqué de presse mardi, et prévoit que cela rapprochera la startup des systèmes d’intelligence artificielle qui sont généralement plus intelligents que les humains. La société a également annoncé la création d'un nouveau comité de sûreté et de sécurité pour guider les décisions critiques en matière de sûreté et de sécurité, dirigé par le PDG Sam Altman et d'autres membres du conseil d'administration d'OpenAI.

« Bien que nous soyons fiers de construire et de publier des modèles qui sont à la pointe de l'industrie en termes de capacités et de sécurité », a déclaré OpenAI dans un communiqué de presse. « Nous nous félicitons d'un débat approfondi à ce moment important. »

Cette annonce fait suite à un mois tumultueux pour OpenAI, au cours duquel un groupe dirigé par Ilya Sutskever et Jan Leike qui a étudié Les risques existentiels de l’IA pour l’humanité ont été dissous. Helen Toner et Tasha McCauley, anciennes membres du conseil d'administration d'OpenAI, ont écrit dimanche dans The Economist ces développements et d'autres après le retour d'Altman « de mauvais augure pour l'expérience OpenAI dans l’autonomie gouvernementale. Plusieurs salariés soucieux de sécurité ont également quitté l’entreprise ces derniers mois, nombre d’entre eux réclamant une plus grande attention aux dangers des systèmes d’IA.

Ce nouveau groupe semble être la tentative d'OpenAI de répondre à ces craintes, et la première tâche du groupe sera d'évaluer les processus et les garanties d'OpenAI au cours des 90 prochains jours. Cependant, il est peu probable que l'inclusion d'Altman dans ce groupe apaise les critiques d'OpenAI. Toner et McCauley écrivent que les hauts dirigeants leur ont dit qu'Altman cultivait « une culture toxique du mensonge » chez OpenAI. La semaine dernière, Scarlett Johansson semblait remettre en question la fiabilité d'Altman alors que la société a créé une voix qui lui ressemblait.

Altman, le président Bret Taylor et les membres du conseil d'administration Adam D'Angelo et Nicole Seligman dirigeront le comité de sûreté et de sécurité. Le nouveau scientifique en chef de l'entreprise, Jakub Pachocki, siégera également au comité aux côtés des chefs de département Matt Knight, John Sculman, Lilian Weng et Aleksander Madry. Le groupe consultera également des experts externes et fera des recommandations au plus grand conseil d'administration d'OpenAI sur les procédures de sécurité.

Durant le mois de mai, l'entreprise a également publié GPT-4 Omni, qui a présenté une nouvelle frontière dans l'interaction humaine avec les modèles d'IA. Ce modèle a choqué de nombreux membres de la communauté de l'IA avec ses interactions multimodales en temps réel, et il semble qu'OpenAI soit déjà en train d'aller de l'avant avec la formation du prochain. La startup d'Altman est confrontée à des pressions pour concurrencer Google pour Gagnez un partenariat avec un chatbot IA avec Apple, qui devrait être dévoilé courant juin WWDC. Ce partenariat pourrait être l’un des accords commerciaux les plus importants dans le domaine de la technologie.

Cela dit, la nouvelle équipe de sécurité d'OpenAI est en grande partie composée de membres du conseil d'administration recrutés après le retour d'Altman à OpenAI et de nouveaux chefs de département qui ont obtenu plus de pouvoir à la suite de récents départs. Le nouveau groupe de sécurité constitue un petit pas vers la résolution des problèmes de sécurité qui affligent OpenAI, mais le rassemblement d'initiés ne semble pas suffisant pour faire taire ces inquiétudes.



Vous pouvez lire l’article original (en Angais) sur le bloggizmodo.com