Ученые-информатики создали прототип программного обеспечения, способного не только обнаруживать поддельные изображения, подделанные нейронными сетями, но и оценивать свойства модели, используемой для создания этих так называемых дипфейков.

Яндекс

Этот проект является результатом сотрудничества ученых из Университета штата Мичиган (MSU) в Америке и Facebook AI Research (FAIR), его цель — создать инструмент, который сможет бороться с кампаниями скоординированной дезинформации и т.п.

Типичные модели машинного обучения, обученные обнаруживать дипфейки, работают, предсказывая, например, были ли электронные манипуляции с данным изображением. Система MSU-FAIR, однако, идет глубже и может предложить архитектуру нейронной сети, используемой для создания изображений, что может быть полезно для группировки изображений и отнесения их к определенной кампании дезинформации. Другими словами, вы можете взять 100000 изображений и, используя код MSU-FAIR, определить, что 2000 из них были созданы кем-то с моделью типа A, а 3000 были созданы другой группой с использованием модели типа B и т. Д.

«Наш метод обратного инжиниринга основан на обнаружении уникальных закономерностей, лежащих в основе модели ИИ, используемой для генерации одного глубокого фейкового изображения», — сказал Таль Хасснер, исследователь FAIR и соавтор исследовательской статьи, описывающей систему.

«Мы можем оценить свойства генеративных моделей, используемых для создания каждого дипфейка, и даже связать несколько дипфейков с моделью, которая, возможно, их произвела. Это предоставляет информацию о каждом дипфейке, даже о тех, о которых не было предварительной информации ».

Читайте также:
Мобильное приложение YouTube настроится на отображение видео любого размера

Программное обеспечение можно использовать для искоренения онлайн-аккаунтов, созданных автоматически, с изображениями аватаров deepfake, например, для публикации выдуманных положительных или отрицательных отзывов о продуктах.

Теоретически система должна иметь возможность обнаруживать, что это поддельные изображения, и были ли они сгенерированы с использованием той же генеративной состязательной сети (GAN) или нет. Модель может дать разработчикам хорошее представление о том, какой именно тип GAN используется для создания дипфейков, или является ли GAN неизвестной системой.

Метод обратного проектирования основан на двух системах: сети оценки отпечатков пальцев (FEN) и сети синтаксического анализа (PN). Во-первых, FEN обрабатывает изображение и ищет скрытые шаблоны, указывающие на то, что фотография является подделкой, созданной компьютером. Может быть странная группа зашумленных пикселей, которые появляются на нескольких изображениях, например, которые выдают происхождение снимков.

Затем PN анализирует эти скрытые сигналы, подобные водяным знакам, чтобы предсказать количество слоев в нейронной сети deepfake и то, как они могут быть связаны. Наконец, выходные данные FEN передаются в двоичный классификатор, чтобы определить, было ли изображение сгенерировано компьютером или нет.

Прототип модели был обучен на наборе данных из 100 000 дипфейков, созданных 100 моделями GAN.

Имея возможность идентифицировать синтетические изображения по их цифровым отпечаткам пальцев, система лучше обнаруживает новые типы ложных изображений, на которых она не обязательно была обучена. «Переоснащение — огромная проблема в любом глубоком обучении модели», — сказал Сиомин Лю, соавтор исследования и профессор кафедры информатики и инженерии МГУ. Реестр.

«Например, традиционный бинарный детектор дипфейка потенциально может использовать другую информацию, такую ​​как общее освещение, которое имеет мало общего с дипфейком, для достижения 100-процентной классификации на обучающей выборке, и эта модель будет плохо обобщать при тестировании на тестовой выборке.

«Один из способов исправить переобучение — предоставить больше сигналов супервизии, чтобы обучение с большей вероятностью улавливало обобщаемые и правдивые сигналы, важные для дипфейка. В нашем случае, поскольку разные отпечатки пальцев или высокочастотный шум на изображениях, сгенерированных GAN, являются результатом разной сетевой архитектуры и функций потерь, обеспечивая эту дополнительную достоверность [details] во время обучения, вероятно, подтолкнет сеть к изучению отпечатка пальца, который соответствует конкретному [generative model]. Таким образом, мы также сможем узнать более правдивую границу между различными GM, а также между настоящими и фальшивыми ».

Когда новая система была протестирована на двух наборах академических данных, она смогла точно обнаруживать дипфейки с точностью более 99%. Однако лучше изучить возможности модели, чтобы увидеть, может ли она не только идентифицировать поддельные изображения среди реальных, но и надежно кластеризовать поддельные изображения, прогнозируя, какие GAN использовались для их создания.

«Это только начало нового направления исследований», — сказал нам Лю. «Мы постоянно проводим мозговой штурм по различным путям улучшения нашей модели как с точки зрения ее точности прогнозов, так и с точки зрения приложений, поддерживаемых нашей моделью. Мы также обсуждаем с Facebook, как улучшить модель, чтобы она могла быть более применима к реальным приложениям ».

Читайте также:
Google будет показывать AMP-сайты в результатах поиска уже в следующем году

Код модели опубликован на GitHub. ®