Bing Chat, ChatGPT et d’autres outils d’IA générative similaires se sont principalement concentrés sur la compréhension du contenu textuel et la fourniture de réponses. Cependant, il est également extrêmement utile de comprendre les images, et c’est ce que Microsoft déploie actuellement sur son IA Bing Chat.
Dans un récent article de blog, Microsoft a annoncé une nouvelle fonctionnalité pour Bing Chat, appelée Visual Search. Avec la recherche visuelle, vous pouvez télécharger une image ou sélectionner une image existante sur le Web, et Bing essaiera de la comprendre et d’utiliser ce contexte dans les réponses. La vidéo de démonstration de Microsoft (intégrée ci-dessous) montre quelqu’un téléchargeant une maquette dessinée à la main d’un formulaire Web et demandant à Bing de générer du code HTML et CSS pour le rendre fonctionnel.
Microsoft a expliqué dans l’article de blog : « Que vous voyagiez dans une nouvelle ville en vacances et que vous vous posiez des questions sur l’architecture d’un bâtiment particulier ou que vous soyez à la maison en essayant de trouver des idées de déjeuner basées sur le contenu de votre réfrigérateur, téléchargez l’image dans Bing Chat et utilisez-la pour exploiter les connaissances du Web afin d’obtenir des réponses. »
Les logiciels capables de détecter le contenu des images ne sont pas nouveaux. Google Lens est capable d’identifier des personnes, des animaux, des plantes, des points de repère et d’autres objets sur des photos depuis 2017, et son prédécesseur plus limité Google Goggles remonte à 2010. Microsoft utilise les fonctionnalités de détection d’image de GPT-4, qui est le même modèle de langage utilisé par la version premium de ChatGPT. Cependant, les entrées d’image ne sont pas encore disponibles dans ChatGPT, c’est donc la première fois que nous voyons cette fonctionnalité largement disponible.
J’ai essayé Visual Search avec quelques photos, et les résultats ont été impressionnants. Demander à Bing de décrire des images vous donne des réponses beaucoup plus détaillées que celles que vous obtiendriez de Google Lens. Par exemple, en téléchargeant une photo de mon chien, j’ai répondu : « Voici la photo d’un chien noir et feu assis sur un tapis marron moelleux. Le chien porte un collier rouge avec une médaille argentée. Le chien regarde l’appareil photo avec les oreilles dressées. L’arrière-plan est constitué d’un canapé blanc avec des oreillers bleus et blancs. La photo est prise en plongée. » Il a également interprété correctement que l’image a été téléchargée de côté.
Vous pouvez essayer la fonctionnalité en ouverture du chat Bing dans Microsoft Edge (Microsoft le bloque toujours dans d’autres navigateurs) et en cliquant sur l’icône de contour de la caméra dans le champ de texte.
Source: Microsoft
Vous pouvez lire l’article original (en Angais) sur le blogwww.howtogeek.com