Twitter s’efforce de découvrir pourquoi son outil de prévisualisation semble raciste

Le réseau neuronal que Twitter utilise pour générer des aperçus de photos est une bête mystérieuse. Quand cela a lancé l’outil de recadrage intelligent en 2018, Twitter a déclaré que l’algorithme détermine la partie la plus «saillante» de l’image, c’est-à-dire vers quoi vos yeux sont attirés en premier, à utiliser comme image de prévisualisation, mais ce que cela implique exactement a fait l’objet de fréquentes spéculations.

Les visages sont une réponse évidente, bien sûr, mais qu’en est-il des visages souriants ou non souriants? Ou visages faiblement éclairés par rapport aux visages bien éclairés? J’ai vu de nombreuses expériences informelles sur ma chronologie où les gens essaient de comprendre la sauce secrète de Twitter, certains ont même exploité l’algorithme dans un système involontaire pour livraison de punchlines, mais la dernière expérience virale expose un problème très réel: l’outil de recadrage automatique de Twitter semble favoriser beaucoup trop souvent les visages blancs par rapport aux visages noirs.

Plusieurs utilisateurs de Twitter l’ont démontré au cours du week-end avec des images contenant à la fois le visage d’une personne blanche et le visage d’une personne noire. Les visages blancs apparaissaient beaucoup plus comme des aperçus, même lorsque les images étaient contrôlées pour leur taille, leur couleur d’arrière-plan et d’autres variables susceptibles d’influencer l’algorithme. Une fil Twitter particulièrement viral a utilisé une photo de l’ancien président Barack Obama et du sénateur Mitch McConnell (déjà l’objet de beaucoup de mauvaise presse pour sa réponse insensible à la mort de la juge Ruth Bader Ginsburg) à titre d’exemple. Quand les deux étaient montré ensemble dans la même image, l’algorithme de Twitter a montré un aperçu de l’heure et de l’heure de ce sourire de tortue stupide encore, dire effectivement que McConnell était la partie la plus «saillante» de l’image.

(Cliquez sur le tweet intégré ci-dessous et cliquez sur son visage pour voir ce que je veux dire).

La tendance a commencé après un utilisateur essayé de tweeter sur un problème avec l’algorithme de détection de visage de Zoom vendredi. Les systèmes de Zoom ne détectaient pas la tête de son collègue noir, et lorsqu’il a téléchargé des captures d’écran du problème sur Twitter, il a constaté que l’outil de recadrage automatique de Twitter était également défini par défaut sur son visage plutôt que sur celui de son collègue dans les images d’aperçu.

Ce problème était apparemment d’actualité sur Twitter également. En réponse au fil Zoom, le directeur de la conception Dantley Davis a dirigé quelques expériences informelles de son côté vendredi avec des résultats mitigés, tweeter, “Je suis aussi énervé que tout le monde.” Le directeur technique de la plateforme, Parag Agrawal, a également abordé le problème via tweet, ajoutant que, alors que l’algorithme de Twitter était testé, il avait encore besoin d’une «amélioration continue» et il était «impatient d’apprendre» des tests rigoureux des utilisateurs.

«Notre équipe a testé les préjugés avant d’envoyer le modèle et n’a pas trouvé de preuve de préjugé racial ou sexiste lors de nos tests. Mais il est clair à partir de ces exemples que nous avons plus d’analyses à faire », a déclaré la porte-parole de Twitter, Liz Kelley, à Gizmodo. “Nous ouvrirons notre travail à la source pour que d’autres puissent l’examiner et le reproduire.”

Lorsqu’elle l’a contactée par e-mail, elle n’a pas pu commenter le calendrier de l’examen prévu sur Twitter. Dimanche, Kelley aussi tweeté sur le problème, en remerciant les utilisateurs qui l’ont porté à l’attention de Twitter.

Vinay Prabhu, scientifique en chef à l’Université Carnegie Mellon, a également mené une analyse indépendante des tendances d’auto-recadrage de Twitter et a tweeté ses conclusions dimanche. Vous pouvez en savoir plus sur sa méthodologie ici, mais fondamentalement, il a testé la théorie en tweetant une série d’images du Base de données des visages de Chicago, un référentiel public de photos standardisées de visages masculins et féminins, contrôlés pour plusieurs facteurs, notamment la position du visage, l’éclairage et l’expression.

Étonnamment, l’expérience a montré que l’algorithme de Twitter favorisait légèrement la peau plus foncée dans ses aperçus, recadrant les visages noirs dans 52 des 92 images qu’il a publiées. Bien sûr, étant donné le grand nombre de preuves du contraire trouvées grâce à des expériences plus informelles, Twitter a évidemment encore quelques ajustements à faire avec son outil de recadrage automatique. Cependant, les conclusions de Prabhu devraient s’avérer utiles pour aider l’équipe de Twitter à isoler le problème.

Il convient de noter qu’en matière d’apprentissage automatique et d’IA, les algorithmes prédictifs n’ont pas besoin d’être explicitement conçus pour être racistes pour être racistes. La technologie de reconnaissance faciale a une longue et frustrante histoire de inattendu Préjugé racial, et les logiciels commerciaux de reconnaissance faciale ont prouvé à maintes reprises qu’il moins précis sur les personnes à la peau plus foncée. C’est parce qu’aucun système n’existe dans le vide. Intentionnellement ou non, la technologie reflète les biais de celui qui le construit, à tel point que les experts ont un terme pour désigner le phénomène: biais algorithmique.

C’est précisément la raison pour laquelle il doit faire l’objet de vérifications supplémentaires avant que les institutions traitant quotidiennement des questions de droits civils ne l’intègrent à leur arsenal. Des montagnes de preuves montrent qu’elle discrimine de manière disproportionnée les personnes de couleur. Certes, le recadrage automatique biaisé de Twitter est un problème assez anodin (qui devrait encore être résolu rapidement, ne vous méprenez pas). Ce qui inquiète à juste titre les défenseurs des droits civiques, c’est quand un flic s’appuie sur une IA pour retrouver un suspect ou un hôpital utilise un système automatisé trier les patients—C’est alors que le biais algorithmique pourrait potentiellement entraîner une décision de vie ou de mort.