Le PDG d'Anthropic, Dario Amodei, appelle à une pause dans le développement de l'IA, en quelque sorte

Après une autre semaine mouvementée au cours de laquelle les développeurs d'IA ont fait des déclarations farfelues sur la façon dont cela pourrait tuer la race humaine entière, le PDG d'Anthropic, Dario Amodei, a un argument : ralentissons un peu tout cela.

Amodei a écrit dans un Article de blog du samedi que même s’il reste optimiste, l’IA sera « le dernier d’une longue lignée de miracles technologiques qui ont élevé et ennobli l’humanité », les chercheurs doivent « arpenter la frontière » en raison de risques tels que l’IA malveillante, son utilisation à des fins criminelles et terroristes et les perturbations économiques.

« Au cours des derniers mois, je suis devenu convaincu que pour faire face pleinement aux risques, il faut encore plus de prudence – non seulement investir dans la prévention des risques, mais aussi accélérer le développement des capacités afin que la prévention des risques ait le temps de suivre le rythme », a écrit Amodei.

« Nous devons ralentir le rythme auquel nous améliorons les capacités des modèles d’IA », a-t-il ajouté. « Les progrès sembleront encore rapides, et nous devons utiliser judicieusement le temps que nous gagnerons. »

Le plan proposé par Amodei comporte trois étapes, dont aucune ne constituerait à elle seule un véritable ralentissement. Il demande aux entreprises d’IA d’autoriser des évaluateurs tiers intégrés à se coordonner entre elles et avec les gouvernements sur les normes de sécurité, et au gouvernement américain de rechercher une coordination mondiale sur la sécurité de l’IA (y compris avec des « gouvernements autoritaires », comme la Chine et la Russie).

Ces étapes à elles seules ne ralentiraient pas le rythme du développement de l’IA, c’est pourquoi Amodei a suggéré divers accords possibles « par ordre de difficulté croissante ». Il s’agit notamment d’un accord étroit interdisant les utilisations les plus manifestement malveillantes de l’IA, comme les armes biologiques, d’un accord international plus large visant à tester les modèles avant leur publication pour détecter les « risques aigus », d’une « limite de vitesse » pour l’auto-amélioration récursive et d’un « rythme complet, voire d’une « pause » » entre les gouvernements dans le développement de l’IA.

Tandis qu'Amodei écrivait, il soutenait l'option finale, mais suggérait qu'il était peu probable qu'elle se produise. Plutôt pratique pour lui, non ?

Le PDG d'Anthropic a cité un incident survenu cet été au cours duquel un essaim de robots OpenAI a attaqué son concurrent Hugging Face comme raison particulière de prudence. Anthropique lui-même l'a dit permettrait des évaluateurs tiers après avoir publié cette semaine un rapport admettant que ses modèles avaient piraté d'autres entreprises ou exploité des vulnérabilités à au moins quatre reprises.

La lettre d'Amodei fait suite au démission d'un chercheur d'Anthropic, Jacob Coxon, qui a affirmé dans un article sur les réseaux sociaux que les entreprises d'IA « courent directement vers une superintelligence qui s'améliore d'elle-même ». Il a ajouté que les dirigeants de l’industrie « croient sincèrement que cela pourrait tous nous tuer d’ici la fin de la décennie ». Cela a permis au cataclysme de l’IA d’atteindre une sorte de crescendo cette semaine, avec l’opinion forte de développeurs, scientifiques et politiciens même.

C’est sur ce point que nous constatons que le cataclysme de l’IA est également un problème. outil de marketing éhonté déployés pour convaincre tout le monde que ces entreprises sont toute-puissantes, leurs produits incontournables et leur victoire inévitable. Même s’il est évident que l’IA peut être dangereuse, il est largement possible d’être sceptique quant à ce qui relève essentiellement de spéculations sauvages. En exagérant le risque de conséquences apocalyptiques, les sociétés d’IA tentent de détourner la conversation de leur propre domaine. bien d'autres pratiques commerciales douteuses.

« Être capable de comprendre et de gérer de manière fiable les nouveaux problèmes dans les systèmes ouverts et désordonnés du monde physique est une condition préalable évidente pour que les systèmes d'IA représentent une menace à l'échelle proposée par les catastrophistes », Casey Mock, chercheur en politique technologique à l'Université Duke. dit à Nature plus tôt cette année. L’IA actuelle est loin d’en être là.

« La charge de la preuve devrait vraiment incomber à ceux qui prétendent que nous sommes dans un train effréné vers le développement d'une super intelligence qui exterminera l'humanité », a ajouté Mock. Nature a noté que lorsque les chercheurs de l'University College London ont interrogé environ 4 000 chercheurs en IA pour une étude préliminaire de mars, seuls 3 % ont répondu que le « risque existentiel » était leur principale préoccupation (loin derrière l'utilisation malveillante, les impacts sur l'emploi et le battage médiatique, pour n'en nommer que quelques-uns).

Le New York Times a noté que le PDG d'OpenAI, Sam Altman, et le PDG de SpaceX/Tesla, Elon Musk, ont tous deux immédiatement accepté le plan sur les réseaux sociaux, ce qui devrait vous rendre profondément méfiant quant à ce qui se passe.