Les enquêteurs du Pentagone affirment que la dépendance excessive à l'égard de la technologie d'IA de Palantir a contribué à la frappe américaine qui a tué 123 enfants iraniens

En février dernier, deux missiles Tomahawk ont ​​frappé l’école primaire Shajarah Tayyebeh, dans la ville de Minab, dans le sud de l’Iran, le jour de l’ouverture de la guerre en Iran. Les explosions ont tué plus de 150 personnes, dont au moins 123 enfants.

Des rapports antérieurs faisaient déjà état de données de ciblage obsolètes et soulevaient la question de savoir si l’intelligence artificielle avait un rôle à jouer dans cette confusion. Et maintenant, un Enquête Bloomberg publié vendredi complète l'histoire, citant des responsables impliqués dans une étude interne inédite du Pentagone. Ces responsables ont déclaré que certains membres du Pentagone savaient en quelques heures que les États-Unis avaient frappé l’école, et ils ont décrit une cascade d’échecs évitables, notamment une dépendance excessive à l’égard d’un outil d’IA construit par Palantir.

Selon les responsables qui ont parlé à Bloomberg, certains membres du commandement central américain se sont trop appuyés sur l'intelligence artificielle du Maven Smart System, une plateforme d'intégration de données et de ciblage basée sur l'IA développée par Palantir pour accélérer l'analyse du renseignement et la prise de décision. Le ministère de la Défense aurait fait de cet outil logiciel la pierre angulaire des opérations militaires au cours de l’année écoulée. Plusieurs anciens officiers supérieurs travaillent désormais pour Palantir, dont certains avec des autorisations de haut niveau au siège de Centcom à Tampa.

Les responsables ont déclaré que certains utilisateurs s'attendaient à ce que Maven signale des enregistrements obsolètes ou des contradictions dans les renseignements rassemblés pour des cibles potentielles, bien que l'on ne sache pas pourquoi ils pensaient que le système ferait cela. Le site Minab, qui a été catalogué comme installation du Corps des Gardiens de la révolution islamique en raison de données obsolètes, a été intégré à Maven avec d’autres candidats et est devenu une cible recommandée dès le premier jour. Le travail de liste d'objectifs qui prenait autrefois des heures a été condensé en quelques minutes.

Un porte-parole de Palantir a déclaré à Bloomberg que la société « n'est pas responsable des données sous-jacentes ni de l'identification des lacunes en matière de renseignement » et qu'il n'y a aucune preuve que son logiciel était en faute. Deux personnes familières avec les contrats de Palantir avec le Pentagone ont déclaré que le gouvernement restait le principal responsable de la qualité des informations introduites dans Maven. Après la frappe, Palantir a ajouté des fonctionnalités qui « réexaminent les renseignements sous-jacents pour identifier les facteurs qui pourraient disqualifier une cible et signaler les incohérences et les inexactitudes que l’examen humain aurait pu manquer », a déclaré une personne familière avec le travail. Cette nouvelle fonctionnalité aurait déjà détecté quelques anomalies.

Plus de 120 démocrates de la Chambre ont écrit au secrétaire à la Défense Pete Hegseth en mars pour lui demander quel rôle Maven et d'autres outils d'IA avaient joué dans l'identification du site. Le Pentagone n'a pas répondu publiquement, citant l'enquête en cours. Les responsables ont déclaré à Bloomberg que le rapport complet était pratiquement terminé depuis des mois. Un porte-parole du Pentagone a déclaré que l'incident faisait toujours l'objet d'une enquête et a refusé tout autre commentaire.

La dépendance excessive à l’égard de Maven n’était que l’un des trois échecs de la chaîne de destruction décrits à Bloomberg. Les autres éléments étaient de mauvais renseignements et des images satellite obsolètes.

Les bases de données américaines répertoriaient le complexe de Minab comme site militaire depuis des années, mais les images satellites commerciales montraient quelque chose de différent. La construction des murs et des entrées séparées qui séparaient l'école de la base adjacente semble avoir été terminée en 2017. Une image de 2018 montre des murs peints de couleurs vives, un terrain de football, des rangées de rassemblement et des marquages ​​pour une aire de jeux.

Bloomberg a rapporté en juin qu'un analyste a repéré des changements dès 2019 et a enregistré des remarques dans un système qui n'était pas connecté à la base de données principale du renseignement militaire utilisée pour le ciblage. Ces notes ne sont jamais parvenues aux personnes qui ont élaboré le plan de grève. Les renseignements humains provenant du sud de l’Iran étaient rares, mais l’école possédait son propre site Web et apparaissait sur Google Maps.

Le site est resté étiqueté comme une installation du CGRI alors que l’administration Trump a exigé une attaque d’ouverture massive. Plus de 1 000 cibles iraniennes ont été touchées au cours des premières 24 heures et, selon les sources de Bloomberg, ce rythme a réduit le temps disponible pour des confirmations supplémentaires.

Les effectifs des équipes civiles d’atténuation des dommages au sein du ministère américain de la Défense ont également diminué d’environ 90 % au cours des dernières années, tombant à moins de 20 personnes au total. Le groupe de Centcom est passé de 10 personnes à une seule. Aucun membre de ces équipes n’a examiné le site de Minab avant que les missiles ne soient en l’air.

Une enquête distincte de la Mission internationale indépendante d'établissement des faits des Nations Unies sur l'Iran cette semaine, nous sommes parvenus à la conclusion qu'il existait des motifs raisonnables de croire que les États-Unis avaient commis un crime de guerre en lançant une attaque aveugle. Il a conclu que les États-Unis « n’avaient pas rempli leur obligation de faire tout ce qui était possible pour vérifier » que l’école était un objectif militaire et que cet échec « allait au-delà d’une simple négligence ». Le rapport indique que les États-Unis « ont dirigé les frappes contre le bâtiment de l’école tout en étant conscients du risque substantiel de frappe d’un bien civil et en agissant de manière imprudente quant à la possibilité que cela se produise ».

Malgré ces informations, Washington n’a pas publiquement assumé sa responsabilité. En mars, Le président Trump est allé jusqu'à dire aux journalistes« Non, à mon avis, d'après ce que j'ai vu, cela a été fait par l'Iran. Nous pensons que cela a été fait par l'Iran, parce qu'ils sont très imprécis, comme vous le savez, avec leurs munitions. » Dans une interview plus récente de Fox NewsTrump a déclaré : « Je pense que personne ne pourra jamais dire ce qui s'est passé là-bas. » Un haut responsable de l’administration a déclaré à Bloomberg : « Les États-Unis ne ciblent pas les civils », et le ministère de la Défense a refusé de commenter le rapport de l’ONU.

Les erreurs liées à une dépendance excessive à l’égard de l’IA deviennent un thème récurrent à mesure que la technologie est de plus en plus intégrée au travail militaire et policier. Dans un autre épisode rapporté cette semaine, un analyste des opérations spéciales a utilisé un chatbot qui a halluciné qu’un navire battant pavillon chinois au Moyen-Orient transportait des composants d’armes nucléaires à destination de l’Iran. L'armée américaine s'est préparée à monter à bord du navire et s'est retirée à la dernière minute.

L’utilisation combinée par les forces de l’ordre de la reconnaissance faciale et de la technologie de l’IA a également produit ses propres conséquences terribles. En Floride, une reconnaissance faciale automatisée a conduit à l'arrestation d'un homme qui n'était jamais allé dans l'État et qui se trouvait à 400 miles de là pour son travail, ce qui lui a valu des mois de prison et la perte de son emploi et de son domicile. Dans un autre cas, un homme a été arrêté sur la base d'une correspondance alors qu'il se trouvait à plus de 300 milles au moment du crime présumé. Les accusations dans les deux cas ont finalement été abandonnées, mais ces cas font partie d’une liste beaucoup plus longue de fausses arrestations à l’échelle nationale basées sur les scores des logiciels.

Alors que les gens de tous les domaines s'appuient parfois de manière excessive sur l'IA lorsqu'ils apprennent les aspects pratiques de ce qu'elle peut et ne peut pas faire, les enjeux sont bien plus élevés dans les applications militaires et policières, où une mauvaise utilisation humaine ou l'acceptation de résultats automatisés sans vérifier les faits sous-jacents peuvent avoir des conséquences catastrophiques, voire mortelles. En gardant cela à l’esprit, c’est peut-être la manière dont les humains utilisent cette technologie, plutôt que sa puissance théorique incontrôlée, qui constitue le problème le plus urgent à l’heure actuelle.