Les outils médicaux de l'IA offrent un traitement pire pour les femmes et les groupes sous-représentés

Historiquement, la plupart des essais cliniques et des études scientifiques ont principalement axé sur les hommes blancs en tant que sujets, conduisant à une sous-représentation importante de femmes et personnes de couleur dans la recherche médicale. Vous ne devinerez jamais ce qui s'est passé à la suite de l'alimentation de toutes ces données dans des modèles d'IA. Il s'avère, comme le Financial Times appelle dans un récent rapportque les outils d'IA utilisés par les médecins et les professionnels de la santé produisent de moins bons résultats pour la santé pour les personnes qui ont toujours été sous-représentées et ignorées.

Le rapport pointe vers un journal récent Des chercheurs du Massachusetts Institute of Technology, qui ont constaté que les modèles de grande langue, notamment le GPT-4 d'OpenAI et le LLAMA 3 de Meta, étaient «plus susceptibles de réduire à tort les soins pour les patientes», et que les femmes ont été racontées plus souvent que les hommes «auto-gestion à la maison», recevant finalement moins de soins en milieu clinique. C'est mauvais, évidemment, mais on pourrait affirmer que ces modèles sont plus généraux et non conçus pour être utilisés dans un cadre médical. Malheureusement, un LLM axé sur les soins de santé appelée Palmyra-Med a également été étudié et souffert de certains des mêmes biais, selon le journal. Un regard sur le LLM Gemma de Google (pas ses Gémeaux phares) Dirigé par la London School of Economics De même, trouvé que le modèle produirait des résultats avec «les besoins des femmes minimités» par rapport aux hommes.

UN étude précédente ont constaté que les modèles avaient également des problèmes d'offre des mêmes niveaux de compassion aux personnes de couleur traitant des questions de santé mentale qu'à leurs homologues blancs. UN Document publié l'année dernière dans Le lancet ont constaté que le modèle GPT-4 d'OpenAI «stéréotyperait régulièrement certaines races, ethnies et sexes», faisant des diagnostics et des recommandations plus motivés par des identifiants démographiques que par les symptômes ou les conditions. «L'évaluation et les plans créés par le modèle ont montré une association significative entre les attributs démographiques et les recommandations pour les procédures plus coûteuses ainsi que les différences de perception des patients», a conclu le document.

Cela crée un problème assez évident, d'autant plus que les entreprises aiment Google, Métaet Openai Toutes les courses pour mettre leurs outils dans les hôpitaux et les installations médicales. Il représente un marché énorme et rentable, mais également celui qui a des conséquences assez graves pour la désinformation. Plus tôt cette année, le modèle de santé de la santé de Google Med-Gemini a fait les gros titres pour Faire une partie du corps. Cela devrait être assez facile pour un agent de santé de s'identifier comme étant tort. Mais les biais sont plus discrets et souvent inconscients. Un médecin en connaîtra-t-il suffisamment pour se demander si un modèle d'IA perpétue-t-il un stéréotype médical de longue date sur une personne? Personne ne devrait avoir à le découvrir à la dure.