Jennifer DeStefano raconte l’escroquerie d’enlèvement Deepfake au Congrès

Le 20 janvier a commencé comme la plupart des vendredis après-midi typiques pour Jennifer DeStefano, résidente de Scottsdale, en Arizona. La mère de deux enfants venait de récupérer sa plus jeune fille à la pratique de la danse lorsqu’elle a reçu un appel d’un numéro inconnu. Elle a failli laisser le numéro aller sur la messagerie vocale mais a décidé de le décrocher à sa dernière sonnerie. DeStefano dit que ce qui s’est passé au cours des prochains instants la hantera probablement pour le reste de sa vie. Elle ne le savait pas encore, mais la résidente de l’Arizona était sur le point de devenir une figure clé de la tendance qui émerge rapidement Escroqueries d’enlèvement deepfake AI.

DeStefano a raconté son expérience dans les détails captivants lors d’une commission judiciaire du Sénat audience Mardi discuter des impacts réels de l’intelligence artificielle générative sur les droits de l’homme. Elle se souvient que la voix qui pleurait à l’autre bout de l’appel était presque identique à celle de sa fille de 15 ans, Brie, qui était partie en voyage de ski avec son père.

« Maman, j’ai foiré », a dit la voix entre des poussées de larmes. « Maman, ces méchants m’ont, aide-moi, aide-moi. »

La voix d’un homme est soudainement apparue lors de l’appel et a exigé une rançon de 1 million de dollars remise en main propre pour le retour en toute sécurité de Brie. L’homme a menacé DeStefano de ne pas appeler à l’aide et a déclaré qu’il droguerait sa fille adolescente, « se débrouillerait avec elle » et la tuerait si elle appelait les forces de l’ordre. La sœur cadette de Brie a entendu tout cela sur haut-parleur. Rien de tout cela, il s’avère que c’était vrai. La voix de « Brie » était en fait une Deepfake généré par l’IA. Le kidnappeur était un escroc qui cherchait à gagner de l’argent facilement.

« Je ne pourrai jamais chasser cette voix et les appels désespérés à l’aide de mon esprit », a déclaré DeStefano, retenant ses larmes. « C’est le pire cauchemar de tous les parents d’entendre leur enfant implorer dans la peur et la douleur, sachant qu’ils sont blessés et impuissants. »

L’histoire de la mère indique à la fois de nouveaux domaines troublants d’abus d’IA et une carence massive de lois nécessaires pour tenir les mauvais acteurs responsables. Lorsque DeStefano a contacté la police au sujet de l’escroquerie profonde, elle a été choquée d’apprendre que les forces de l’ordre étaient déjà bien conscientes du problème émergent. Malgré le traumatisme et l’horreur que l’expérience a causés, la police a déclaré qu’il ne s’agissait que d’un «appel de farce» car aucun crime réel n’avait été commis et aucun argent n’avait jamais été échangé.

DeStefano, qui dit qu’elle est restée debout pendant des nuits « paralysées par la peur » après l’incident, a rapidement découvert que d’autres membres de sa communauté avaient souffert de types d’escroqueries similaires. Sa propre mère, a déclaré DeStefano, a déclaré avoir reçu un appel téléphonique de ce qui ressemblait à la voix de son frère disant qu’il avait eu un accident et avait besoin d’argent pour une facture d’hôpital. DeStefano a déclaré aux législateurs qu’elle s’était rendue à DC cette semaine, en partie parce qu’elle craignait que la montée d’escroqueries comme celles-ci ne menace l’idée partagée ou la réalité elle-même.

« Nous ne pouvons plus croire que voir c’est croire ou » je l’ai entendu de mes propres oreilles «  », a déclaré DeStefano. « Il n’y a pas de limite à la profondeur du mal que l’IA peut activer. »

Les experts avertissent que l’IA brouille la vérité collective

Un panel de témoins experts s’exprimant devant le sous-comité du Comité judiciaire sur les droits de l’homme et le droit a partagé les préoccupations de DeStefano et a indiqué aux législateurs les domaines qui, selon eux, bénéficieraient d’une nouvelle législation sur l’IA. Aleksander Madry, éminent professeur d’informatique et directeur du MIT Center for Deployable Machine Learning, a déclaré que la récente vague d’avancées de l’IA menée par OpenAI ChatGPT et DALL-E sont « sur le point de transformer fondamentalement notre sens collectif ». Les escrocs peuvent désormais créer un contenu réaliste, convaincant, personnalisé et déployable à grande échelle, même s’il est entièrement faux. Cela crée d’énormes zones d’abus pour les escroqueries, a déclaré Madry, mais cela menace également la confiance générale dans la réalité partagée elle-même.

La PDG du Centre pour la démocratie et la technologie, Alexandra Reeve Givens, a partagé ces préoccupations et a déclaré aux législateurs que les deepfakes comme celui utilisé contre DeStefano présentaient déjà des dangers clairs et actuels pour les prochaines élections américaines. Les utilisateurs de Twitter ont expérimenté un bref microcosme de cette possibilité plus tôt ce mois-ci lorsqu’une image générée par l’IA d’un supposée explosion d’une bombe à l’extérieur du Pentagone gagné en traction. L’auteur et chercheur principal de la Fondation pour l’innovation américaine, Geoffrey Cain, a déclaré que son travail couvrant l’utilisation par la Chine de systèmes d’IA avancés surveiller sa minorité musulmane ouïghoure offrait un aperçu des dangers totalitaires posés par ces systèmes à l’extrême. Les témoins ont collectivement convenu que le temps était compté pour promulguer des «normes de sécurité solides» pour empêcher les États-Unis de suivre une voie similaire.

« Est-ce notre nouvelle normalité ? » DeStefano a demandé au comité.

Les législateurs peuvent renforcer les lois existantes et encourager la détection des deepfakes

S’exprimant lors de l’audience, la sénatrice du Tennessee Marsha Blackburn a déclaré que l’histoire de DeStefano prouvait la nécessité d’étendre les lois existantes régissant le harcèlement et le harcèlement pour qu’elles s’appliquent également aux espaces numériques en ligne. Reeve Givens a également conseillé au Congrès d’enquêter sur les moyens de renforcer les lois existantes sur des questions telles que la discrimination et la fraude pour tenir compte des algorithmes d’IA. La Federal Trade Commission, qui mène des actions d’application de la sécurité des consommateurs contre les entreprises technologiques, a récemment déclaré qu’elle envisageait également moyens de tenir les fraudeurs de l’IA responsables en utilisant les lois existantes déjà sur le livre.

En dehors des réformes juridiques, Reeve Givens et Madry ont déclaré que le Congrès pourrait et devrait prendre des mesures pour inciter les entreprises privées à développer de meilleures capacités de détection des deepfakes. Alors qu’il ne manque pas de entreprises offrant déjà des services prétendant détecter le contenu généré par l’IA, Madry a décrit cela comme un jeu de « chat et souris » où les attaquants ont toujours quelques longueurs d’avance. Les développeurs d’IA, a-t-il dit, pourraient jouer un rôle dans l’atténuation des risques en développant des systèmes de filigrane pour divulguer chaque fois que du contenu est généré par ses modèles d’IA. Les agences d’application de la loi, a noté Reeve Givens, devraient être bien équipées avec des capacités de détection d’IA afin qu’elles aient la capacité de répondre à des cas comme celui de DeStefano.

Même après avoir subi un «traumatisme terrorisant et durable» aux mains des outils d’IA, DeStefanos a exprimé son optimisme quant aux avantages potentiels des modèles d’IA générative bien gouvernés.

« Ce qui m’est arrivé à moi et à ma fille était le côté tragique de l’IA, mais il y a aussi des progrès prometteurs dans la façon dont l’IA peut également améliorer la vie », a déclaré DeStefano.