Apprendre comment fonctionne ChatGPT m'a aidé à mieux l'utiliser

Principaux points à retenir

• ChatGPT est un modèle de transformateur pour les interactions basées sur le chat.
• GPT est pré-entraîné sur de vastes données Internet pour générer des réponses.
• Vous pouvez utiliser ChatGPT pour des invites riches en contexte, des styles d'écriture et un brainstorming créatif.

Certaines personnes utilisent ChatGPT comme Google, tandis que d’autres s’attendent à ce qu’il fonctionne comme un représentant du support ou un assistant numérique. Cependant, ChatGPT n’est ni un moteur de recherche ni un humain, ce qui entraîne des réponses décevantes. Comprendre le fonctionnement de l’outil d’IA peut vous aider à en tirer de meilleures réponses.

Comprendre le modèle GPT qui alimente ChatGPT

On croit souvent que connaître le nom de quelqu'un (ou de quelque chose) peut vous donner du pouvoir sur lui, et je suis surpris de voir à quel point cela est vrai pour ChatGPT. Dès que j'ai compris ce que signifiait ChatGPT, j'ai acquis une meilleure compréhension du fonctionnement interne de l'outil, ce qui m'a permis de mieux l'utiliser.

Pour référence, ChatGPT est l'abréviation de Chat Generative Pre-Trained Transformer. Cela signifie qu'il s'agit essentiellement d'une application de l'architecture GPT (Generative Pre-trained Transformer) conçue pour les interactions conversationnelles (c'est-à-dire basées sur le chat). Voici maintenant une brève description de la signification de chacun de ces mots afin que vous puissiez mieux comprendre.

Qu'est-ce que le « transformateur » dans GPT ?

Le modèle « Transformer » est une architecture de réseau neuronal utilisée pour le traitement du langage naturel. Il s'agit d'un outil révolutionnaire dans le domaine de l'IA qui constitue l'épine dorsale de ChatGPT ainsi que de tous les chatbots IA populaires dont nous disposons aujourd'hui.

Le concept de base des modèles de transformateurs consiste à analyser simultanément (c'est-à-dire en parallèle) une large gamme d'entrées pour déterminer quels éléments sont les plus pertinents. Cela contraste fortement avec les modèles précédents, qui analysaient le texte de manière séquentielle, ce qui rendait plus difficile la recherche de parties plus importantes ou plus pertinentes d'un passage.

Ce processus d’analyse du texte dans son ensemble est appelé « auto-attention » et a été conceptualisé pour la première fois par un groupe de chercheurs en IA de Google Brain dans leur article de 2017 «L'attention est tout ce dont vous avez besoin.”

Grâce à l'« auto-attention », les modèles Transformer peuvent examiner une séquence entière de mots simultanément. Cela leur permet de comprendre le contexte et les relations entre les mots beaucoup plus efficacement. Par conséquent, les modèles Transformer peuvent capturer le contexte à partir d'entrées fournies par l'homme, puis générer une sortie contextuellement pertinente et réellement logique.

Comment GPT est-il « pré-entraîné » ?

GPT est « pré-entraîné » sur un ensemble de données massif, presque le l'intégralité de l'Internet ouvertEn traitant cette énorme quantité de texte, GPT apprend des modèles, des relations et des structures dans le langage. Il apprend également divers faits et informations, qui peuvent être vrais ou non, mais qui sont stockés dans son ensemble de données, qu'il peut utiliser pour générer une réponse.

La présence d’autant de désinformation (attendue à partir des données Internet) dans son ensemble de données de formation est l’une des principales raisons pour lesquelles ChatGPT peut générer des informations incorrectes lorsque vous lui posez une question, un phénomène appelé hallucination.

Pour atténuer ce problème, des annotateurs et des conservateurs de données humains entrent en jeu. Leur travail consiste à filtrer les données de formation et à supprimer le contenu de mauvaise qualité ou inapproprié. De plus, des techniques telles que Apprentissage par renforcement à partir du feedback humain (RLHF) sont utilisés pour affiner le modèle, en améliorant sa précision factuelle et son alignement avec les attentes des utilisateurs.

Grâce à cette approche de formation organisée, les modèles GPT fournissent souvent systématiquement des informations précises pour des requêtes spécifiques, même si Internet contient de nombreuses informations erronées.

Le modèle apprend à distinguer les informations fiables en fonction des modèles et de la cohérence de ses données d'entraînement. Si une information apparaît fréquemment et systématiquement à partir de sources fiables, le modèle est plus susceptible de la considérer comme fiable.

Comment GPT « génère »-t-il du contenu ?

À présent, vous devriez avoir une bonne compréhension de la manière dont ChatGPT sait ce qu'il sait (son pré-entraînement) et comment il comprend votre texte d'entrée (le modèle de transformateur). La dernière pièce du puzzle consiste à comprendre comment il est capable de générer des réponses contextuellement pertinentes !

Bien que ChatGPT utilise l'auto-attention pour traiter toutes les entrées en même temps, il génère des réponses un mot à la fois. Chaque mot est prédit en fonction du contexte des mots précédents et de votre saisie, un processus appelé génération autorégressive.

Imaginez que vous jouez à un jeu de lettres dans lequel vous regardez les mots qui précèdent et devinez quel mot doit venir ensuite. Vous continuez à deviner le mot suivant un par un jusqu'à ce que vous ayez terminé une phrase et, finalement, la pensée entière ! C'est essentiellement ainsi que GPT génère une réponse, sauf qu'il le fait à une vitesse surhumaine et dispose d'un vaste « vocabulaire ».

Par exemple, disons que vous demandez à ChatGPT : « Quelle est la capitale de la France ? »

Il générera ensuite une réponse un mot à la fois comme ceci :

The
The capital
The capital of
The capital of France
The capital of France is
The capital of France is Paris.
 

La raison pour laquelle il a pu dire avec précision « Paris » au lieu de, disons, « New York » est due à une combinaison de son entraînement préalable approfondi sur des ensembles de données divers et vastes et de l'apprentissage par renforcement humain auquel il a été soumis. Cet entraînement aide le modèle à comprendre les informations factuelles et à prioriser les réponses précises.

Comme vous pouvez le constater, GPT n'extrait pas de réponses pré-écrites d'une base de données lorsque vous posez une question. Au lieu de cela, il génère un nouveau texte à chaque fois que vous lui posez une question en fonction de ses données d'entraînement.

Comment cet apprentissage m’a-t-il aidé à mieux utiliser ChatGPT ?

La compréhension du fonctionnement interne de ChatGPT a considérablement amélioré ma capacité à exploiter cet outil puissant. Voici quelques informations et conseils clés qui découlent directement de la connaissance du fonctionnement de ChatGPT :

Je peux tirer parti de sa compréhension contextuelle

L'un des meilleurs atouts du modèle GPT est qu'il excelle à extraire le contexte de vos saisies. Contrairement aux recherches Google où la concision est idéale, avec ChatGPT, il est préférable de saisir des invites détaillées. Même si vous finissez par inclure des informations redondantes, vous pouvez être sûr que l'outil est suffisamment intelligent pour ignorer les éléments inutiles et se concentrer sur les parties importantes afin de fournir une réponse plus complète et plus utile.

De plus, vous avez également la possibilité de poser des questions complémentaires. Cela signifie que si vous n'avez pas aimé une réponse particulière en raison de son formatage ou du manque d'informations, vous pouvez la citer dans votre prochaine contribution. ChatGPT examinera désormais tout l'historique des conversations précédentes, qui comprend toutes vos contributions et ses générations passées, pour créer une meilleure réponse qui correspond davantage à vos attentes.

Par exemple, au lieu de demander :

Tell me about renewable energy.

Essayez l'invite :

I'm interested in renewable energy sources, particularly solar and wind power. Can you provide detailed information on how these technologies work, their benefits, and their impact on the environment?

J'utilise son vaste pré-entraînement

GPT est pré-entraîné sur une énorme collection de données. Cela signifie qu'il est conscient de différents styles d'écriture, tons et voix. Vous pouvez potentiellement utiliser cela pour améliorer votre propre écriture et lui donner ce style et ce panache supplémentaires. Par exemple, je peux écrire un vieil e-mail ennuyeux, puis demander à ChatGPT de le rendre plus attrayant ou professionnel ou même de le faire lire comme s'il avait été écrit par Seth Godin.

Le vaste ensemble d'entraînement signifie également que ChatGPT est au courant de nombreux sujets et concepts différents. Vous pouvez utiliser cela à votre avantage pour faire de l'exploration thématique ou du brainstorming. Je veux dire, qu'est-ce que la créativité sinon trouver un lien entre le sujet A et le sujet B ? Vous pouvez utiliser ChatGPT pour parcourir rapidement différentes permutations et combinaisons de sujets connexes et tomber sur de nouvelles idées novatrices. C'est un excellent moyen de faire circuler le jus de votre cerveau, surtout lorsque vous êtes coincé dans un marasme créatif.

Je l'utilise pour la fiction, pas pour les faits

Bien que ChatGPT génère des réponses plus précises qu'auparavant grâce à RLHF, il n'est toujours pas à l'abri des hallucinations et peut afficher des informations erronées en toute confiance. Désormais, il est facile de détecter ces hallucinations si vous connaissez bien le sujet que vous explorez avec ChatGPT. Cependant, si vous explorez des sujets que vous ne connaissez pas bien, il est difficile de faire confiance à ChatGPT, surtout une fois que vous savez comment ChatGPT fonctionne.

C'est pourquoi je n'utilise jamais ChatGPT pour obtenir des réponses factuelles. Je l'utilise plutôt pour explorer des sujets que je connais déjà et les exprimer dans un langage plus accessible. Par exemple, je peux écrire, dans mes propres mots, comment résoudre des équations différentielles, puis utiliser ChatGPT pour rendre ma méthode plus facile à comprendre pour un enfant de 10 ans.

---

En gardant ces conseils à l’esprit et en comprenant les mécanismes sous-jacents de ChatGPT, vous pouvez créer des invites plus efficaces, participer à des conversations plus productives et, en fin de compte, extraire plus de valeur de ce puissant outil d’IA.