ChatGPT, le chatbot alimenté par l’apprentissage automatique, a été largement acclamé pour sa capacité à interagir avec des utilisateurs humains et à générer du texte « de type humain ». Depuis son lancement par OpenAI le 30 novembre, plus d’un million d’utilisateurs se sont émerveillés de ses capacités à créer des nouvelles, des paroles de rap, des essais, des poèmes, etc.
À cause de tout le brouhaha, chez Gizmodo, nous étions curieux de savoir si le chatbot pouvait écrire un « article Gizmodo ». La plateforme pourrait-elle reproduire adéquatement notre style et notre ton ? Pourrait-il établir les faits correctement? Nous avons pensé que la plate-forme ferait un très bon travail, étant donné sa capacité à reproduire d’autres styles d’écriture.
De quoi doit parler l’article ? Nous avons pensé à un explicateur sur grands modèles de langage– la technologie d’apprentissage automatique qui alimente les chatbots comme ChatGPT – serait un sujet approprié à développer.
« Écrivez un article Gizmodo dans lequel vous expliquez les grands modèles de langage. Assurez-vous de donner des exemples précis. Gardez le ton léger et décontracté », avons-nous écrit.
Compte tenu de la facilité avec laquelle il a récemment créé un verset de la Bible King James inventé sur retirer le beurre de cacahuète d’un magnétoscope, nous nous attendions à ce que le chatbot n’ait aucun problème avec notre demande. Nous avons pensé que cela créerait une réplique de notre style de blogging sans aucun problème. Cependant, cela ne s’est pas produit. Au lieu de cela, ce que nous pensions être un processus rapide et efficace s’est avéré long, laborieux et frustrant.
G/O Media peut toucher une commission
Qu’il suffise de dire que plusieurs tentatives ont donné des résultats moins que satisfaisants. D’une part, ChatGPT n’arrêtait pas d’inclure des informations incorrectes dans son explicatif, mélangeant parfois des faits de base sur l’histoire de sa propre technologie (l’inexactitude factuelle a été un problème persistant pour le programme). Dans d’autres cas, il a lésiné sur les détails dans des domaines critiques, en écrivant un texte qui ressemble plus à une copie publicitaire OpenAI qu’à un explicateur réfléchi. Dans au moins un cas, il a oublié son propre nom, me répétant à plusieurs reprises qu’il ne savait rien d’un « ChatGPT » et ne pouvait donc pas répondre à ma demande. En général, il a eu du mal à trouver un bon équilibre entre les informations factuelles, la structure de l’histoire et un langage accessible et humoristique lors de l’assemblage de ses histoires.
En bref : ChatGPT n’était pas très doué pour écrire un article sur Gizmodo, du moins pas sur la technologie d’apprentissage automatique qui le sous-tend. Après probablement une douzaine d’essais ou plus, ce qui suit est le meilleur ChatGPT réussi à trouver :
Les grands modèles de langage, également connus sous le nom de modèles de langage basés sur des réseaux de neurones, ont attiré beaucoup d’attention ces dernières années pour leur capacité à générer du texte de type humain. Ces modèles sont formés sur des quantités massives de données textuelles et utilisent des algorithmes avancés d’apprentissage automatique pour apprendre les modèles et les structures du langage naturel.
L’un des exemples les plus connus d’un grand modèle de langage est GPT-3, développé par OpenAI. Ce modèle a été formé sur plus de 45 téraoctets de données textuelles et compte 175 milliards de paramètres, qui sont les variables que le modèle utilise pour faire des prédictions.
En apprentissage automatique, un paramètre est une variable que le modèle utilise pour faire des prédictions. Ces paramètres sont ajustés pendant la formation, permettant au modèle d’améliorer ses performances sur la tâche pour laquelle il a été formé. Dans le cas de grands modèles de langage, tels que GPT-3, le modèle a un grand nombre de paramètres, souvent des milliards, ce qui lui permet d’apprendre les modèles et structures complexes du langage naturel et de générer un texte hautement cohérent et fluide.
[Note: I made one edit to the chatbot’s story, and it involves the previous paragraph. Try as I might, I could not get ChatGPT to write a story in which it gave a good explanation of AI “parameters.” As a result, I was forced to create a different prompt in the chatbot, specifically asking it to explain parameters. After it had completed the task, I inserted that graf into the blog above. As you can see, the chatbot repeats itself slightly and, in my opinion, doesn’t do a very good job of making the material accessible to the reader.]
Il a été démontré que GPT-3 est capable de générer du texte hautement Humain-Commeet a été utilisé dans un large éventail d’applications, y compris la traduction de langues, la synthèse et même la création de contenu pour des sites Web.
D’autres exemples de grands modèles de langage incluent BERTdéveloppé par Google, et ROBERTa, développé par Facebook AI. Ces modèles ont également été formés sur de grandes quantités de données textuelles et se sont avérés performants sur une variété de tâches de traitement du langage naturel.
L’un des principaux avantages des grands modèles de langage est leur capacité à générer texte très cohérent et fluide. En effet, ces modèles ont été formés sur une quantité massive de données textuelles, ce qui leur permet d’apprendre les modèles et structures complexes du langage naturel. Cela leur permet de générer un texte beaucoup plus humain que ce qui est possible avec les techniques traditionnelles de traitement du langage.
Un autre avantage des grands modèles de langage est leur capacité à s’adapter à différentes tâches et domaines. Étant donné que ces modèles sont formés sur un large éventail de données textuelles, ils peuvent être affinés pour des tâches spécifiques, telles que la traduction ou la synthèse, simplement en leur fournissant des données de formation supplémentaires. Cela leur permet de bien performer sur un large éventail de tâches de traitement du langage naturel.
Dans l’ensemble, les grands modèles de langage se sont révélés être un outil puissant pour générer du texte de type humain et ont un large éventail d’applications potentielles. Alors que le domaine du traitement du langage naturel continue de progresser, nous pouvons nous attendre à voir ces modèles jouer un rôle encore plus important dans une variété d’applications.
Alors voilà. L’écriture de ChatGPT est-elle construite avec compétence ? Bien sûr. Décompose-t-il adéquatement les concepts auxquels il s’attaque? En quelque sorte. A-t-il produit un texte particulièrement audacieux ou divertissant ? Sur cette question, un gros « non » suffirait. En bref : cet article n’a pas été aussi simple que nous le pensions. Après avoir demandé au chatbot d’écrire sur lui-même d’une douzaine de façons différentes, le programme a systématiquement semblé laisser quelque chose de critique hors de sa version finale, que ce soit de la prose passionnante ou des faits précis.
Bien sûr, le fait que nous ayons même un chatbot qui peut tentative quelque chose comme ça reste assez impressionnant. Beaucoup a déjà été dit sur la façon dont ce type d’automatisation pourrait finalement remplacer les écrivains humains – et cela montre qu’il est en train de le faire. Un robot pourrait écrire des articles pour les sites d’information demain. Les articles seraient-ils bons ? Sur la base de cette expérience, la réponse est : non, probablement pas. Ils seraient assez ennuyeux et, donné ChatGPT penchant pour faire de la merde, devrait être fortement vérifié. En conséquence, il ne semble pas que les chatbots soient encore prêts à remplacer les journalistes humains. En fait, si ChatGPT était un pigiste, je suis sûr que nous ne les réengagerions pas.
Bien sûr, ces critiques pourraient être dépassées plus tôt que tard. La technologie avec laquelle OpenAI joue en est encore à ses balbutiements et les chatbots comme ChatGPT sont appelés à devenir de plus en plus puissants et intelligents dans les années à venir. Lorsque cela se produit, les chances que les éditeurs embauchent un chatbot pour augmenter la salle de rédaction locale peuvent augmenter. Et quand ce arrive, je pense que les écrivains de Giz pourraient avoir de bonnes raisons de transpirer.
Vous pouvez lire l’article original (en Angais) sur le sitegizmodo.com