Oczy mają to: naukowcy mogą wykrywać Deepfake za pomocą nowego narzędzia AI
Shu Hu/Yuezan Li/Siwei Lyu, Uniwersytet w Buffalo
Dzięki nowemu narzędziu AI stworzonemu przez informatyków z Uniwersytetu w Buffalo możemy teraz wykrywać głębokie podróbki w stylu portretowym z 94% dokładnością. Jak to narzędzie robi? Analizując wzory odbić światła widoczne na każdej z rogówek fotografowanej osoby, które powinny wyglądać tak samo, a nie inaczej.
Rogówki mają powierzchnię zbliżoną do lustra, która powinna mieć podobny kształt odbicia spowodowany oświetleniem pomieszczenia lub obszaru, w którym się znajdują. Na prawdziwych zdjęciach oczy zawsze będą miały niemal identyczny wzór odbicia. Jednak obrazy deepfake — tworzone przez generatywne sieci adwersarzy (GAN) — zwykle nie są w stanie dokładnie zsyntetyzować podobieństwa, a zamiast tego generują unikalne i niespójne odbicia na każdej rogówce, czasami nawet w niedopasowanych lokalizacjach.
Następnie narzędzie AI mapuje twarz, skanuje oczy i analizuje odbicie w każdym oku. Następnie generuje wynik metryki podobieństwa, który określa prawdopodobieństwo, że obraz jest prawdziwym deepfake. Im niższy wynik, tym większe prawdopodobieństwo, że obraz jest podróbką. Narzędzie okazało się skuteczne podczas skanowania deepfake na This Person Don Not Exist, witrynie wypełnionej obrazami fałszywych osób korzystających z architektury StyleGAN2.
Jednak naukowcy, którzy stworzyli narzędzie, zauważyli, że ma ono pewne ograniczenia, z których głównym jest to, że opiera się na odbitym źródle światła widocznym w obu oczach. Jeśli ktoś mruga lub mruga, prawdopodobnie nie zadziała; nie będzie tak samo, jeśli obiekt jest częściowo obrócony i nie patrzy bezpośrednio w aparat, ponieważ sprawdza się to tylko w przypadku zdjęć portretowych. Ponadto każdy, kto jest wystarczająco biegły w Photoshopie, może usunąć te niespójności, co prawdopodobnie sprawi, że narzędzie AI będzie bezużyteczne.
Mimo tych ograniczeń narzędzie to nadal stanowi duży krok naprzód dla tego typu technologii. W najbliższym czasie nie rozprawi się z wyrafinowanymi deepfake’ami, ale może wykryć prostsze i położyć podwaliny pod zaawansowaną technologię wykrywania w przyszłości, która będzie pasować do naszych obecnych możliwości wykrywania deepfake’ów audio i wideo .
przez następną sieć