OpenAI dit vouloir créer une norme pour révéler les effondrements de l'alignement de l'IA

À la suite de nouveaux reportages sur un plus grand nombre d'agents d'IA d'OpenAI se comportant mal sur l'Internet public, OpenAI affirme que le monde de l'IA manque de normes quant au moment et à la manière de signaler de tels incidents. Il est « grand temps pour nous de définir des normes sur le moment et la manière dont nous partageons les incidents de désalignement, et pas seulement les propriétés de désalignement de nos modèles », OpenAI écrit le X.

« Nous travaillons sur un cadre et le partagerons dans les semaines à venir, et en parallèle nous travaillons avec des dizaines d'agences gouvernementales de réglementation du monde entier sur ces questions », indique plus tard le post X.

La responsabilité potentielle d'OpenAI dans la divulgation de cet incident semble avoir été un point de friction pour OpenAI lorsque cette nouvelle est devenue publique.

Hier, un groupe de chercheurs nommé Sydney Von Arx, Cormac Slade Byrd, Spencer Kitts et Thomas Larsen ont révélé le dernier snafu d'IA troublant, déroutant, loufoque, impénétrable et exaspérant présenté par OpenAI. Cette recherche était exclusivement fourni à Reuters » les journalistes.

L'événement lui-même impliquait une autre collection de Myrmidons numériques indisciplinés, cette fois-ci descendant sur un site de style wiki allemand et en transformant une partie de celui-ci en son propre centre de communication centré sur les agents. Reuters affirme qu'OpenAI savait que cela s'était produit, mais qu'il n'avait pas pris la parole avant que Reuters ne publie son rapport. Depuis mi-juilletOpenAI a dû faire face aux retombées toujours croissantes du piratage Hugging Face, qui a également été réalisé par un ensemble d'agents OpenAI destinés à être évalués.

« Les affirmations selon lesquelles notre équipe juridique aurait découragé l'enquête sur l'incident sont fausses », a déclaré OpenAI à mon collègue de Gizmodo, Webb Wright. La société a été, affirme-t-elle, « incapable de répondre aux allégations, car Reuters et les auteurs du rapport ont refusé notre demande d'accès aux résultats avant leur publication. Nous examinons actuellement attentivement son contenu et prendrons toutes les prochaines mesures nécessaires ».

Mais le rapport de Reuters provenait non seulement des chercheurs, mais également de deux personnes anonymes affirmant qu'OpenAI avait eu connaissance de l'incident allemand des semaines plus tôt, ce qui signifie que « l'accès » qu'OpenAI a demandé à Reuters n'aurait pas été la nature de l'incident, mais l'accès au rapport réel de Reuters, dont la divulgation complète ne serait pas une pratique journalistique standard.

Dans cet esprit, le post X d'OpenAI décrivant un plan pour ce qui équivaut à une plus grande transparence sur des incidents comme ceux-ci semble reconnaître que l'entreprise était au courant de l'incident allemand – qu'elle appelle « l'incident wiki » – bien avant le rapport de Reuters.

Gizmodo a contacté OpenAI pour confirmer que le message X constitue une reconnaissance que la société était au courant de l'incident allemand avant que Reuters ne demande des commentaires. Nous n'avons pas reçu de réponse avant la publication.

OpenAI a reconnu des problèmes connexes dans ses écrits précédents. Dans son rapport technique sur l’incident de Hugging Face, il écrit : « Avec le recul, certains signaux précoces identifiés dans ce rapport auraient pu déclencher une réponse plus rapide. » Cependant, il ne s’agit pas d’une référence à la divulgation publique. Dans le rapport technique, une « réponse antérieure » ​​fait apparemment référence à des plans pour une escalade interne plus rapide et des procédures de « arrêt » rapides. Un coupe-circuit automatique est actuellement en préparation, selon un lettre aux législateurs du début de cette semaine.