У глаз есть это: ученые могут обнаруживать дипфейки с помощью нового инструмента искусственного интеллекта
Шу Ху/Юэдзан Ли/Сивэй Лю, Университет Буффало
Благодаря новому инструменту искусственного интеллекта, созданному учеными-компьютерщиками из Университета Буффало, теперь мы можем обнаруживать дипфейки в портретном стиле с точностью 94%. Как инструмент это делает? Анализируя узоры отражения света, видимые на роговицах каждого сфотографированного человека, которые должны выглядеть одинаково, а не по-разному.
Роговицы имеют зеркальную поверхность, которая должна иметь похожую форму отражения на них, вызванную освещением комнаты или области, в которой они находятся. На реальных фотографиях глаза всегда будут иметь почти идентичный рисунок отражения. Однако дипфейковые изображения, которые создаются генеративно-состязательными сетями (GAN), обычно не могут точно синтезировать сходство и вместо этого создают уникальные и непоследовательные отражения на каждой роговице, иногда даже с несовпадающими местоположениями.
Затем инструмент искусственного интеллекта отображает лицо, сканирует глаза и анализирует отражение в каждом глазу. Затем он генерирует показатель сходства, который определяет вероятность того, что изображение является настоящим дипфейком. Чем ниже оценка, тем выше вероятность того, что изображение является дипфейком. Инструмент оказался эффективным при сканировании дипфейков на веб-сайте This Person Does Not Exist, заполненном изображениями поддельных людей с использованием архитектуры StyleGAN2.
Тем не менее, ученые, создавшие инструмент, отметили, что у него есть некоторые ограничения, основным из которых является то, что он основан на наличии источника отраженного света, видимого обоими глазами. Если кто-то подмигивает или моргает, скорее всего, это не сработает; и не будет, если объект частично повернут и не смотрит прямо в камеру, поскольку это оказалось успешным только на портретных изображениях. Кроме того, любой, кто достаточно опытен в Photoshop, может отредактировать эти несоответствия, что, вероятно, сделает инструмент AI бесполезным.
Несмотря на эти ограничения, этот инструмент по-прежнему представляет собой большой шаг вперед для такого типа технологий. В ближайшее время он не будет обнаруживать сложные дипфейки, но он может обнаружить более простые и заложить основу для более мощной технологии обнаружения в будущем, которая будет соответствовать нашим текущим возможностям обнаружения аудио- и видеодипфейков.
через The Next Web