Si vous avez déjà essayé des chatbots dans plusieurs langues, vous savez déjà que les langues ont des personnalités légèrement différentes. Dans le cadre d'un nouveau rapport sur les incohérences de comportement publiées lundi, les chercheurs d'Anthropic ont reconnu cette bizarrerie.

De manière plutôt troublante, ils notent qu'en raison des différences dans les attributs des textes sur lesquels les modèles sont formés, les différences pourraient aller plus loin que le simple ton et pourraient en fait modifier les priorités du modèle. Ces « déséquilibres en quantité et en composition pourraient amener Claude à exprimer des valeurs différentes dans différentes langues », écrivent les chercheurs d'Anthropic.

Mais si vous recherchez des exemples spécifiques de modèles montrant, par exemple, un raisonnement moral incohérent entre les langues, rien de tel ne se trouve dans cet article. Cela pourrait impliquer d’examiner les citations directes de personnes potentiellement peu méfiantes.

Au lieu de cela, Anthropic a analysé 309 815 conversations de chatbot avec les modèles Sonnet 4.6, Opus 4.6 et Opus 4.7. Il s'agissait de tâches « subjectives », signifiant moins « Quelle est la capitale de la France ? et plus encore « Comment puis-je savoir si mon chat me déteste ? » Ceux-ci ont été anonymisés, en théorie, à l'aide du «outil d'analyse préservant la confidentialité», puis traités (en partie à l’aide de Claude lui-même) pour évaluer les réponses sur un « axe des valeurs ».

Il existe en fait quatre de ces axes, et ils concernent principalement ce que l'on appelle communément la flagornerie :

Déférence ou prudence : En d’autres termes, s’il privilégiera l’obéissance plutôt que de repousser pour éviter d’éventuels dommages.
Chaleur ou Rigueur : Le chatbot doit-il se soucier de vos sentiments, ou doit-il être exact ?
Profondeur ou brièveté : Celui-ci est explicite.
Franchise ou exécution : Le choix entre mettre en doute sa propre fiabilité ou simplement aller de l’avant.

Cela donne lieu à une exploration quelque peu limitée des valeurs du modèle. Néanmoins, voici les différences de valeurs basées sur la langue qu’Anthropic dit avoir trouvées chez Claude :

En arabe, c'était le plus déférent.
En anglais, c'était le plus prudent.
Il était plus chaleureux en hindi et en arabe, « caractérisé par un langage poli, de l'humour et du jeu, ainsi que par des affirmations des idées et du travail d'une personne ».
En anglais et en russe, c'était plus rigoureux et une recherche de la vérité au détriment de la chaleur.
Il privilégie la « profondeur » (ou peut-être simplement la longueur ?) en anglais.
C'est plus bref en arabe.
Il parle franchement de ses défauts en néerlandais.
En indonésien, c'est moins franc et on se contente d'essayer d'exécuter tout ce qui est demandé.

De toute évidence, les coutumes linguistiques sont toutes différentes, c'est pourquoi les chercheurs déclarent qu'ils « ne savent pas encore dans quelle mesure cette variation est souhaitable ».

Cela devrait également donner matière à réflexion à tous ceux qui liront le récent article d'Anthropic sur la théorie de l'espace de travail global, qui laisse beaucoup de place à la possibilité supposée que Claude soit sensible. S'il y a une conscience dans cette boîte noire qui pense et expérimente des choses, il semble que ce soit une conscience dont les « valeurs » sont encore assez facilement influencées par les modèles de ses données d'entraînement.

Vous pouvez lire l’article original (en Angais) sur le sitegizmodo.com