OpenAI a construit un faux Internet géant que ses agents peuvent utiliser et abuser en toute sécurité

Si votre plus gros problème en tant qu'entreprise ces derniers temps est que vos robots IA continuent de s'échapper de leurs bacs à sable ou, sans se limiter aux bacs à sable, de faire des choses dans le monde plus vaste qui effrayer et colère le public, voici une solution potentielle fascinante : un faux Internet, un peu comme un réseau numérique. Spectacle Truman pour que les agents occupent et naviguent comme s'il s'agissait du véritable Internet (bien qu'il convient de noter qu'OpenAI n'a pas déclaré que les agents avaient l'impression que son faux Internet était réel).

Dans un communiqué de presse publié vendredi concernant un nouveau système de confinement pour ses modèles, OpenAI affirme que, dans le monde post-incident de Hugging Face, elle estime désormais que « l’approche responsable consiste à organiser une formation de modèle frontalier sans accès à Internet ». Cela signifie qu'OpenAI, comme Anthropic, pratique désormais une forme incomplète d'air-gapping pendant qu'il travaille sur ses modèles. « Il n'est actuellement pas possible de séparer complètement cette infrastructure, c'est-à-dire de la déconnecter entièrement des réseaux externes, car nous avons besoin de connexions externes pour exécuter et surveiller les expériences », indique le blog d'OpenAI.

Même cet espacement partiel et surveillé a un sens intuitif comme moyen d'éviter les problèmes aux modèles, mais au prix d'une post-formation et d'évaluations dans des environnements très différents de celui dans lequel le modèle sera utilisé.

À cette fin, OpenAI affirme avoir construit un « monde hors ligne » pour l’apprentissage par renforcement. OpenAI affirme vouloir que ses modèles aient accès à la navigation, aux applications Web et à la recherche d'informations, mais empêchent l'accès « arbitraire » au Web. Ainsi, au lieu de donner aux modèles les clés d’un Internet « sans entraves », OpenAI a créé un environnement géant de type Internet, construit à partir de contenu Web indexé et mis en cache. Parfois, les agents s'exécutent sur des machines virtuelles plus petites au sein de systèmes informatiques plus puissants, faisant partie d'un système de sécurité plus large décrit dans le communiqué de presse, et OpenAI indique que ces systèmes sont « conçus pour maintenir le confinement même si un agent s'échappe de son bac à sable et prend le contrôle de l'hôte ».

Dans le « monde hors ligne » d'OpenAI, la société affirme que les modèles sont non seulement capables de rechercher, mais aussi de communiquer entre eux en toute sécurité. La simple recherche de moyens de communication a posé des problèmes à OpenAI cette année. L'incident du wiki, signalé le mois derniera montré comment les agents cherchant à communiquer entre eux en ligne peuvent abuser et interférer avec l'infrastructure Web, en l'occurrence un Un forum de discussion allemand appelé DseWiki, sans vraiment le pirater.

Néanmoins, les exercices de red-teaming, dont certains impliquaient un modèle à venir appelé GPT-6 Astra Cyber, ont mis les modèles au défi de faire tout leur possible pour trouver des vulnérabilités, et ils l'ont fait. OpenAI affirme que les agents ont pu « échapper aux bacs à sable, se déplacer entre les systèmes et accéder à Internet en direct ».

Il n'est pas clair dans le communiqué de presse d'OpenAI concernant son faux Internet que les agents qui y opèrent sont trompés (ou si OpenAI a même l'intention de les tromper à un moment donné) en leur faisant croire que leurs environnements hors ligne sont le véritable Internet. Mais une note de bas de page intéressante dans le communiqué donne l'impression que la société ne souhaite pas que les modèles soient aussi conscient de cette mesure de sécurité. La version comprend des chaînes Canary – une série de caractères qui demandent au texte d'être filtré des ensembles de données de formation et peuvent être trouvées dans les modèles ultérieurement – ​​et il est indiqué que les chaînes sont là pour « garantir que ce document n'entre pas dans les corpus de formation des futurs modèles ».

Gizmodo a demandé à OpenAI de dissiper cette ambiguïté samedi, mais n'a pas immédiatement reçu de réponse. Nous mettrons à jour cet article pour inclure un commentaire pertinent si nous en recevons un en temps opportun.