Le nouveau rêve de l’IA éloignerait Yann LeCun de Meta

L’un des plus importants scientifiques de l’IA dans les grandes technologies souhaite abandonner l’approche actuelle de création d’une IA au niveau humain. Ce dont nous avons besoin, a indiqué Yann LeCun, ce ne sont pas de grands modèles linguistiques, mais des « modèles mondiaux ».

LeCun, scientifique en chef de la « recherche fondamentale sur l'IA » chez Meta, devrait bientôt démissionner de Meta selon multiple rapports provenant de points de vente crédibles. LeCun est un homme d'État âgé de 65 ans dans le monde de la science de l'IA, et il a disposé de ressources apparemment illimitées en tant que grand cerveau de l'IA dans l'une des plus grandes entreprises technologiques du monde.

Pourquoi quitte-t-il une entreprise qui dépense énormément, débauchant les experts en IA les plus qualifiés d'autres entreprises et, selon un rapport de juillet article de blog par le PDG Mark Zuckerburg, qui a fait des progrès si étonnants en interne que le développement de la « superintelligence est désormais en vue » ?

En fait, il fait allusion à la réponse depuis longtemps. En ce qui concerne l’intelligence humaine, LeCun est devenu célèbre ces derniers temps pour avoir déclaré que les LLM tels que nous les comprenons actuellement sont des ratés et ne valent plus la peine d’être poursuivis, peu importe à quel point les grandes technologies les développent. Il a dit en avril de l'année dernière qu '«un LLM est fondamentalement une sortie, une distraction, une impasse». (Le grand critique de l'IA, Gary Marcus, a déchiré dans LeCun pour avoir défendu « de manière belliqueuse » les LLM contre les propres critiques de Marcus, puis fait volte-face.)

Un journal de Wall Street analyse de la carrière de LeCun publié vendredi évoque d'autres possibilités sur les raisons de son départ à la lumière de cette conviction. L'été dernier, Alexandr Wang, 28 ans, co-créateur de la sensation ChatGPT, basée sur le LLM, est devenu le responsable de l'IA chez Meta, faisant ainsi du patron de LeCun un fanatique du LLM. Et Meta a recruté cette année un autre scientifique en chef relativement jeune pour travailler au-dessus de LeCun, Shengjia Zhao. Annonce par Meta du nouveau rôle de Zhao rabatteurs une « percée » d’envergure qu’il a apparemment réalisée. LeCun dit qu'il a perdu confiance dans la mise à l'échelle.

Si vous vous demandez comment LeCun peut être un scientifique en chef si Zhao est également un scientifique en chef, c'est parce que le fonctionnement de l'IA de Meta semble avoir un impact. un organigramme excentrique, divisé en plusieurs groupes distincts. Des centaines de personnes ont été licenciées le mois dernier, apparemment dans le but de redresser la situation.

Le Financial Times rapport sur LeCun plus tôt cette semaine suggère que LeCun va désormais fonder une startup axée sur les « modèles mondiaux ».

Encore une fois, LeCun n’a pas hésité à expliquer pourquoi il pense que les modèles mondiaux ont les réponses dont l’IA a besoin. Il a donné un discours détaillé à ce sujet au AI Action Summit à Paris en février, mais il a été en quelque sorte éclipsé par le représentant américain, le vice-président JD Vanceprononçant un discours belliqueux sur la manière dont tout le monde ferait mieux de se mettre à l'écart de l'Amérique en matière d'IA.

Pourquoi Yann LeCun est-il fasciné par les mannequins du monde ?

Comme l'explique son discours : LeCun, qui a travaillé sur les lunettes intelligentes Meta AI, mais pas à un degré significatif sur le Llama LLM de Meta– croit énormément aux appareils portables.

C'est incroyable de voir à quel point les lunettes Ray-Ban Meta peuvent aider les malvoyants. https://t.co/w3ZxCFtTlE

– Yann LeCun (@ylecun) 30 septembre 2024

Nous devrons interagir avec les futurs wearables comme s'il s'agissait de personnes, pense-t-il, et les LLM ne comprennent tout simplement pas le monde comme les gens. Avec les LLM, dit-il, « nous ne pouvons même pas reproduire l'intelligence d'un chat ou d'un rat, encore moins l'intelligence d'un chien. Ils peuvent réaliser des exploits incroyables. Ils comprennent le monde physique. N'importe quel chat domestique peut planifier des actions très complexes. Et ils ont des modèles causals du monde. »

LeCun propose une expérience de pensée pour illustrer ce qui, selon lui, pourrait susciter, si vous voulez, un modèle mondial, et c'est quelque chose qu'il pense que tout humain peut facilement faire, ce qu'un LLM ne peut tout simplement pas :

« Si je vous dis 'imaginez un cube flottant dans les airs devant vous. Ok, faites maintenant pivoter ce cube de 90 degrés autour d'un axe vertical. À quoi ressemble-t-il ?' Il est très facile pour vous d'avoir en quelque sorte ce modèle mental d'un cube en rotation.

Avec très peu d'effort, un LLM peut écrire un sale limerick sur un cube en vol stationnaire et en rotation, bien sûr, mais il ne peut pas vraiment vous aider à interagir avec un cube. LeCun affirme que cela est dû à une différence entre les données textuelles et les données dérivées du traitement de nombreuses parties du monde qui ne sont pas du texte. Alors que les LLM sont formés sur une quantité de texte qu'il faudrait 450 000 ans pour lire, dit LeCun, un enfant de quatre ans resté éveillé pendant 16 000 heures a traité, avec ses yeux ou en touchant, 1,4 x 10 ^ 14 octets de données sensorielles sur le monde, ce qui, selon lui, est plus qu'un LLM.

Ce ne sont d'ailleurs que les estimations que LeCun donne dans son discours, et il convient de noter que il a donné à d'autres. L’abstraction vers laquelle les chiffres pointent, cependant, est que les LLM sont limités d’une manière que LeCun pense que les modèles mondiaux ne le seraient pas.

Quel modèle LeCun veut-il construire, et comment va-t-il le construire ?

LeCun a déjà a commencé à travailler sur des modèles mondiaux chez Meta-y compris la réalisation d'une vidéo d'introduction qui vous implore d'imaginer un cube en rotation.

Le modèle des rêves de LeCun tel que décrit dans son discours au AI Action Summit contient une « estimation actuelle de l’état du monde », sous la forme d’une sorte de représentation abstraite de, eh bien, toutou du moins tout ce qui est pertinent dans le contexte actuel, et plutôt qu'une prédiction séquentielle et symbolique, il « prédit l'état du monde qui se produira après que vous aurez pris cette séquence d'actions ».

Les modèles mondiaux permettront aux futurs informaticiens de construire, dit-il, « des systèmes capables de planifier des actions – éventuellement hiérarchiques – de manière à atteindre un objectif, et des systèmes capables de raisonner ». LeCun insiste également sur le fait que de tels systèmes seront dotés de dispositifs de sécurité plus robustes, car la manière dont nous les contrôlons y sera intégrée, plutôt que d'être de mystérieuses boîtes noires qui crachent du texte et qui doivent être affinées par des réglages précis.

Dans ce que LeCun considère comme une IA classique – comme le logiciel utilisé dans un moteur de recherche – tous les problèmes sont réductibles à l’optimisation. Son modèle mondial, suggère-t-il, examinera l’état actuel du monde et recherchera la compatibilité avec un état différent en trouvant des solutions efficaces. « Vous voulez une fonction énergétique qui mesure l'incompatibilité, et étant donné un x, trouvez ay qui a une faible énergie pour ce x », explique LeCun dans son discours.

Encore une fois, ce ne sont que des rapports crédibles issus de fuites d'informations sur les projets de LeCun, et il n'a même pas confirmé qu'il fondait quelque chose de nouveau. Si tout ce que nous pouvons concocter à partir des déclarations publiques de LeCun semble provisoire et un peu flou dans la phase actuelle, c'est bien le cas. LeCun semble avoir un projet lunaire en tête, et il fait pression pour une autre explosion de capacités étranges, semblable à ChatGPT. Cela pourrait prendre des années, voire une éternité, sans parler des milliards de dollars des investisseurs, pour que quelque chose de vraiment remarquable se matérialise.

Gizmodo a contacté Meta pour commenter la façon dont le travail de LeCun s'intègre dans la mission d'IA de l'entreprise, et sera mis à jour si nous recevons une réponse.