Os olhos têm isso: cientistas podem detectar deepfakes com uma nova ferramenta de IA
Shu Hu/Yuezan Li/Siwei Lyu, Universidade de Buffalo
Graças a uma nova ferramenta de IA criada por cientistas da computação da Universidade de Buffalo, agora podemos identificar deepfakes em estilo retrato com 94% de precisão. Como a ferramenta faz isso? Ao analisar os padrões de reflexão da luz vistos em cada uma das córneas da pessoa fotografada, que devem parecer iguais, não diferentes.
As córneas têm uma superfície semelhante a um espelho que deve ter uma forma de reflexão semelhante sobre elas causada pela iluminação da sala ou área em que estão. Em fotos reais, os olhos sempre terão um padrão de reflexão quase idêntico. No entanto, as imagens deepfake – que são criadas por redes generativas de adversários (GANs) – geralmente não conseguem sintetizar com precisão a semelhança e, em vez disso, geram reflexões únicas e inconsistentes em cada córnea, às vezes até com locais incompatíveis.
A ferramenta de IA, então, mapeia o rosto, escaneia os olhos e analisa o reflexo em cada olho. Em seguida, ele gera uma pontuação métrica de similaridade que determina a probabilidade de a imagem ser um deepfake real. Quanto menor a pontuação, maior a possibilidade de uma imagem ser deepfake. A ferramenta se mostrou eficaz ao escanear deepfakes no This Person Does Not Exist, um site repleto de imagens de pessoas falsas usando a arquitetura StyleGAN2.
No entanto, os cientistas que criaram a ferramenta notaram que ela tem algumas limitações, a principal delas é que depende da existência de uma fonte de luz refletida visível em ambos os olhos. Se alguém estiver piscando ou piscando, provavelmente não funcionará; nem será se o assunto estiver parcialmente virado e não estiver olhando diretamente para a câmera, pois só é bem-sucedido em imagens de retrato. Além disso, qualquer pessoa proficiente o suficiente no Photoshop pode editar essas inconsistências, o que provavelmente tornaria a ferramenta de IA inútil.
Apesar dessas limitações, a ferramenta ainda representa um grande avanço para esse tipo de tecnologia. Ele não detectará deepfakes sofisticados tão cedo, mas poderá identificar os mais simples e estabelecer as bases para uma tecnologia de detecção mais poderosa no futuro, para acompanhar nossos recursos atuais para detectar deepfakes de áudio e vídeo .
via The Next Web