Les yeux l’ont : les scientifiques peuvent repérer les deepfakes avec un nouvel outil d’IA

Shu Hu/Yuezan Li/Siwei Lyu, Université de Buffalo

Grâce à un nouvel outil d’IA créé par des informaticiens de l’ Université de Buffalo, nous pouvons désormais repérer les deepfakes de style portrait avec une précision de 94 %. Comment l’outil fait-il cela? En analysant les motifs de réflexion de la lumière observés sur chacune des cornées de la personne photographiée, qui doivent être identiques, et non différentes.

Les cornées ont une surface semblable à un miroir qui devrait avoir une forme de réflexion similaire causée par l’éclairage de la pièce ou de la zone dans laquelle elles se trouvent. Sur de vraies photos, les yeux auront toujours un motif de réflexion presque identique. Cependant, les images deepfake – qui sont créées par des réseaux antagonistes génératifs (GAN) – ne parviennent généralement pas à synthétiser avec précision la ressemblance et génèrent à la place des réflexions uniques et incohérentes sur chaque cornée, parfois même avec des emplacements incompatibles.

L’outil d’intelligence artificielle cartographie ensuite le visage, scanne les yeux et analyse le reflet dans chaque œil. Il génère ensuite un score de métrique de similarité qui détermine la probabilité que l’image soit un deepfake réel. Plus le score est bas, plus la possibilité qu’une image soit un deepfake est élevée. L’outil s’est avéré efficace lors de la numérisation de deepfakes sur This Person Does Not Exist, un site Web rempli d’images de fausses personnes utilisant l’architecture StyleGAN2.

Cependant, les scientifiques qui ont créé l’outil ont noté qu’il présentait certaines limites, dont la principale est qu’il repose sur la présence d’une source de lumière réfléchie visible dans les deux yeux. Si quelqu’un fait un clin d’œil ou clignote, cela ne fonctionnera probablement pas ; il ne le sera pas non plus si le sujet est partiellement tourné et ne regarde pas directement l’appareil photo, car il n’a réussi que sur les images de portrait. De plus, toute personne suffisamment compétente dans Photoshop peut être en mesure de supprimer ces incohérences, ce qui rendrait probablement l’outil d’IA inutile.

Malgré ces limites, l’outil marque tout de même une grande avancée pour ce type de technologie. Il ne détruira pas de sitôt les deepfakes sophistiqués, mais il peut en repérer des plus simples et jeter les bases d’une technologie de détection plus puissante à l’avenir pour accompagner nos capacités actuelles de détection des deepfakes audio et vidéo .

via le prochain Web