L'équipe Superalignment d'OpenAI, chargée de contrôler le danger existentiel d'un système d'IA surhumain, aurait été dissoute, selon Filaire vendredi. La nouvelle arrive quelques jours seulement après que les fondateurs de l'équipe, Ilya Sutskever et Jan Leike, quitter simultanément l'entreprise.
Wired rapporte que l'équipe Superalignment d'OpenAI, lancée pour la première fois en juillet 2023 pour empêcher les futurs systèmes d'IA surhumains de devenir voyous, n'existe plus. Le rapport indique que les travaux du groupe seront absorbés par les autres efforts de recherche d'OpenAI. La recherche sur les risques associés à des modèles d'IA plus puissants sera désormais dirigée par le cofondateur d'OpenAI, John Schulman, selon Wired. Sutskever et Leike faisaient partie des meilleurs scientifiques d'OpenAI axés sur les risques liés à l'IA.
Leike a posté un long fil sur X Vendredi expliquant vaguement pourquoi il a quitté OpenAI. Il dit qu'il se bat depuis un certain temps avec les dirigeants d'OpenAI sur les valeurs fondamentales, mais qu'il a atteint un point de rupture cette semaine. Leike a noté que l’équipe de Superaligment « naviguait contre le vent », luttant pour obtenir suffisamment de calculs pour des recherches cruciales. Il pense qu’OpenAI doit se concentrer davantage sur la sécurité, la sûreté et l’alignement.
« Actuellement, nous n'avons pas de solution pour piloter ou contrôler une IA potentiellement superintelligente, et l'empêcher de devenir malveillante », a déclaré l'équipe Superalignment dans un article de blog OpenAI lorsqu'elle a lancé en juillet. « Mais les humains ne seront pas capables de superviser de manière fiable les systèmes d’IA de manière beaucoup plus intelligente que nous, et nos techniques d’alignement actuelles ne pourront donc pas s’adapter à la superintelligence. Nous avons besoin de nouvelles avancées scientifiques et techniques.
On ne sait pas encore si la même attention sera portée à ces avancées techniques. Il existe sans aucun doute d’autres équipes chez OpenAI qui se concentrent sur la sécurité. L'équipe de Schulman, qui assumerait apparemment les responsabilités de Superalignment, est actuellement chargée d'affiner les modèles d'IA après la formation. Cependant, Superalignment s’est concentré spécifiquement sur les conséquences les plus graves d’une IA malveillante. Comme Gizmodo l'a noté hier, plusieurs des plus ardents défenseurs de la sécurité de l'IA d'OpenAI ont a démissionné ou a été licencié au cours des derniers mois.
Plus tôt cette année, le groupe a publié un document de recherche remarquable sur contrôler de grands modèles d'IA avec des modèles d'IA plus petits– considéré comme une première étape vers le contrôle des systèmes d’IA superintelligents. On ne sait pas qui franchira les prochaines étapes de ces projets chez OpenAI.
OpenAI n'a pas immédiatement répondu à la demande de commentaires de Gizmodo.
La startup d'IA de Sam Altman a démarré cette semaine par dévoilement de GPT-4 Omni, le dernier modèle frontière de la société qui présentait des réponses à latence ultra-faible qui semblaient plus humaines que jamais. De nombreux membres du personnel d'OpenAI ont remarqué à quel point son dernier modèle d'IA était plus proche que jamais de quelque chose de science-fiction, en particulier du film. Son.
Vous pouvez lire l’article original (en Angais) sur le bloggizmodo.com