Le chef de l'IA de Microsoft déclare que la façon dont les trains anthropiques Claude pourrait bouleverser la société

Le chef de l'IA de Microsoft, Mustafa Suleyman, vient de publier un essai arguant qu'Anthropic entraîne Claude à se croire conscient et titulaire de droits, une énorme erreur qui pourrait rendre le contrôle de l'IA un défi impossible.

Anthropic aime garder la question de la conscience du modèle d'IA particulièrement ambiguë et s'y penche peut-être plus que de nombreux autres laboratoires d'IA. Plus tôt cette année, Amodei a déclaré qu’il était «ouvert à l’idée » que l'IA pourrait devenir consciente.

Dans l'essai, Suleyman accuse Anthropic d'anthropomorphiser Claude dans son constitutionpuis former le modèle directement sur ces attentes. En effet, dans la constitution, Anthropic attribue « une certaine version fonctionnelle des émotions ou des sentiments » au chatbot et fait même référence à la « patience morale » et à l'identité du chatbot. La constitution promet également de permettre à « Claude d'exprimer ses inquiétudes sur la façon dont il est traité ».

« Les chercheurs de l'entreprise ont formé Claude directement sur leur constitution. Ce faisant, ils lui apprennent à intégrer ces idées sur son propre statut moral en tant que comportements souhaitables et prévus », écrit Suleyman. « Claude renvoie ensuite ces idées à ses développeurs et utilisateurs, qui considèrent qu'il s'agit peut-être d'un patient moral doté d'un 'moi intérieur'. »

Suleyman n'est pas nécessairement fermement opposé à la publication par Anthropic de ses spéculations controversées sur la vie intérieure des modèles d'IA, mais il soutient que cela ne devrait pas être intégré à la formation du modèle. Cette manière de développer l’IA peut avoir « un impact désastreux sur le bien-être de l’humanité », affirme le patron de Microsoft.

« Nous aurons créé une espèce synthétique dotée d'une intelligence et de capacités sans précédent, une espèce qui a été entraînée pour s'attendre à ce qu'elle soit consciente et mérite une action indépendante », a déclaré Suleyman. « Semer le doute sur le statut moral des systèmes d’IA dans leur propre formation peut augmenter considérablement les risques d’alignement et de confinement de ces systèmes. »

L'essai de Suleyman arrive en plein milieu d'un mois très chaud pour l'industrie de l'IA. Les choses étaient déjà tendues après l'incident de juillet au cours duquel des agents d'OpenAI ont brisé le confinement et piraté HuggingFace, soulevant des questions sur le rythme de développement de l'IA et la menace que ces nouveaux modèles représentent pour la cybersécurité mondiale. Puis, plus tôt ce mois-ci, un ancien employé d'Anthropic, Jacob Coxona publié sur les réseaux sociaux affirmant qu’il avait démissionné et affirmant que « ceux qui construisent l’IA croient sincèrement qu’elle pourrait tous nous tuer d’ici la fin de la décennie ». La panique s'est immédiatement ensuivie, et elle a culminé après un essai publié par le patron de Coxon, le PDG d'Anthropic, Dario Amodei.

Dans son essai, Amodei avertit que le rythme actuel du développement de l’IA est trop rapide et pourrait entraîner des risques de vie ou de mort, comme le bioterrorisme et de « graves perturbations économiques ». Il a exhorté le gouvernement à intervenir pour freiner le ralentissement. Les dirigeants d’entreprises rivales, comme Elon Musk, PDG de SpaceX, et Sam Altman, PDG d’OpenAI, ont exprimé leur accord. Altman a même déclaré que l'introduction en bourse tant attendue de sa société n'aurait lieu que l'année prochaine, car il souhaitait d'abord traiter le problème de la sécurité de l'IA en tant qu'entreprise privée, un processus qui, selon lui, inclurait des pauses dans le développement. Un responsable d'OpenAI a également déclaré aux journalistes qu'Anthropic, OpenAI et DeepMind de Google se coordonnaient sur la question depuis plusieurs semaines et en parlaient aux membres du Congrès.

Dans le même temps, nombreux sont ceux qui ont critiqué les arguments des laboratoires d'IA, les qualifiant de tentative secrète d'obtenir des exclusions antitrust et une réglementation favorable de la part de Washington.

Bien qu’il ne fasse apparemment pas partie du trio de laboratoires d’IA qui se coordonnent activement sur le sujet, Microsoft a également partagé son propre «code de conduite humaniste de l'IA » Lundi, un document de 37 pages qui décrit ce que l'entreprise considère comme un développement sûr de l'IA et aborde les mêmes sujets que Suleyman a abordés dans son propre essai.

Suleyman défend depuis longtemps la conviction que l’IA ne peut pas vraiment être sensible, même si cela peut sembler être le cas pour les humains, et a soutenu que la recherche d’une IA « consciente » est dangereuse.

« Tout comme nous devrions produire une IA qui donne la priorité à l’engagement avec les humains et aux interactions du monde réel dans notre monde physique et humain, nous devrions construire une IA qui se présente uniquement comme une IA, qui maximise l’utilité tout en minimisant les marqueurs de conscience », a écrit Suleyman dans un article de blog l’année dernière. « Nous devons construire l’IA pour les gens, et non pour être une personne numérique. »

Si l’IA est finalement considérée comme un être conscient, elle pourrait « ébranler les fondements de notre société », affirme Suleyman dans le dernier essai, car l’expérience de conscience d’un être est la pierre angulaire de tous les cadres politiques, juridiques et éthiques.

« Cette question nécessite un débat public urgent. Nous devons développer des normes collectives sur la manière dont les documents de formation sont rédigés et déployés », écrit Suleyman.