Модели искусственного интеллекта Facebook, используемые для создания дипфейков

Источник · Перевод автора

Некоторые эксперты выразили обеспокоенность по поводу того, что инструменты машинного обучения могут использоваться для создания дипфейков или медиафайлов, которые заменяют человека в существующем видео, фото или аудиофайле на чье-то изображение. Есть опасения, что эти подделки могут быть использованы для того, чтобы повлиять на общественное мнение во время выборов или вовлечь в преступление невиновного человека. Дипфейки уже использовались для создания порнографических материалов об актерах и обмана крупного производителя энергии.

Хотя большая часть обсуждения дипфейков сосредоточена на социальных сетях, порнографии и мошенничестве, стоит отметить, что дипфейки представляют угрозу для любого, кого изображают в подделанных видео, и их кругу доверия. В результате дипфейки представляют собой серьезную угрозу для бизнеса, особенно в отраслях, которые зависят от цифровых медиа при принятии важных решений. Ранее в этом году ФБР предупредило, что дипфейки – это серьезная новая угроза, нацеленная на бизнес.

Чтобы решить эту проблему, Facebook сегодня объявил о сотрудничестве с исследователями из Университета штата Мичиган (MSU) для разработки метода обнаружения дипфейков, который основан на взятии изображения, созданном с помощью искусственного интеллекта, и обратной инженерии системы, использованной для его создания. Хотя этот подход не используется в производстве в Facebook, компания утверждает, что этот метод будет поддерживать усилия по обнаружению и отслеживанию дипфейков в «реальных» условиях, когда дипфейки сами по себе являются единственными детекторами информации, с которыми приходится работать.

Новый способ обнаружения дипфейков

Текущие методы выявления дипфейков сосредоточены на различении реальных изображений от поддельных и определении того, было ли изображение создано моделью ИИ, увиденной во время обучения, или нет. Например, Microsoft недавно запустила решение для борьбы с глубокими подделками в Video Authenticator, инструмент, который может анализировать неподвижные фотографии или видео, чтобы оценить уровень уверенности в том, что средства массовой информации не подвергались искусственному манипулированию. Победители конкурса Deepfake Detection Challenge от Facebook, который завершился в июне прошлого года, создали систему, которая может распознавать искаженные видео с точностью до 82%.

Но Facebook утверждает, что решение проблемы дипфейков требует дальнейшего обсуждения. Обратный инжиниринг не является новой концепцией в машинном обучении – современные методы могут прийти к модели путем изучения ее входных и выходных данных или изучения информации об оборудовании, такой как использование процессора и памяти. Однако эти методы зависят от уже имеющихся знаний о самой модели, что ограничивает их применимость в случаях, когда такая информация недоступна.

В отличие от этого подход Facebook и MSU начинается с атрибуции, а затем работает над обнаружением свойств модели, используемой для создания дипфейка. Обобщая атрибуцию изображений и отслеживая сходства между шаблонами коллекции дипфейков, он может якобы сделать вывод о генеративной модели, используемой для создания дипфейка, и сказать, произошла ли серия изображений из одного источника.

Как это работает

Система начинает с прогона глубокого фальшивого изображения через то, что исследователи называют сетью оценки отпечатков пальцев (FEN), которая извлекает детали о «отпечатке пальца», оставленном моделью, которая его сгенерировала. Эти отпечатки пальцев представляют собой уникальные шаблоны, оставленные на дипфейках, которые можно использовать для идентификации генеративных моделей, из которых произошли дипфейки.

Исследователи оценили отпечатки пальцев, используя различные ограничения, основанные на свойствах поддельных отпечатков пальцев, обнаруженных в дикой природе. Они использовали эти ограничения для создания набора данных отпечатков пальцев, который затем использовали, чтобы обучить модель обнаруживать отпечатки пальцев, которых она раньше не видела.

Facebook и MSU заявляют, что их система может оценивать как сетевую архитектуру алгоритма, используемого для создания дипфейка, так и его функции потерь при обучении, которые оценивают, как алгоритм моделирует свои обучающие данные. Он также раскрывает особенности – или измеримые фрагменты данных, которые можно использовать для анализа – модели, использованной для создания дипфейка.

Чтобы проверить этот подход, исследовательская группа МГУ собрала набор данных поддельных изображений из 100 000 синтетических изображений, созданных на основе 100 общедоступных моделей. В некоторых проектах с открытым исходным кодом уже были выпущены поддельные изображения, и в этом случае команда случайным образом выбрала 1000 дипфейков из наборов данных. В тех случаях, когда поддельных изображений не было, исследователи запускали свой код для создания 1000 изображений.

Исследователи обнаружили, что их подход работает «значительно лучше», чем случайность, и «конкурирует» с современными методами обнаружения и атрибуции дипфейков. Более того, они говорят, что это может быть применено для обнаружения скоординированных атак дезинформации, когда различные дипфейки загружаются на разные платформы, но все происходят из одного источника.

«Важно отметить, что в то время как термин дипфейк часто ассоциируется с заменой чьего-либо лица – его личности – на новые носители, метод, который мы описываем, позволяет произвести обратный инжиниринг любой фейковой сцены. В частности, это может помочь в обнаружении поддельного текста на изображениях», – сказал VentureBeat по электронной почте исследователь искусственного интеллекта Facebook Тал Хасснер (Tal Hassner). «Помимо обнаружения злонамеренных атак – лиц или иных – наша работа может помочь улучшить методы искусственного интеллекта, предназначенные для генерации изображений: исследуя неограниченную вариативность дизайна модели так же, как разработчики аппаратных камер улучшают свои камеры. Однако, в отличие от мира фотоаппаратов, генеративные модели являются новыми, и с их растущей популярностью возникает необходимость в разработке инструментов для их изучения и улучшения».

Надвигающаяся угроза

По данным Sentinel, с 2019 года количество дипфейков в Интернете выросло с 14 678 до 145 227, что составляет примерно 900% в годовом исчислении. Между тем, по оценке Forrester Research в октябре 2019 года, к концу 2020 года мошенничество с глубоким фальшивым мошенничеством обойдется в 250 миллионов долларов. Но предприятия остаются в значительной степени неподготовленными. В опросе, проведенном стартапом по аутентификации данных Attestiv, менее 30% руководителей заявили, что они предприняли шаги для смягчения последствий атаки deepfake.

Дипфейки, вероятно, останутся проблемой, особенно по мере того, как методы создания медиа продолжают совершенствоваться. Ранее в этом году дипфейк с участием актера Тома Круза, размещенный на неподтвержденной учетной записи TikTok, собрал 11 миллионов просмотров в приложении и еще миллионы на других платформах. По словам Vice, при сканировании с помощью нескольких лучших общедоступных инструментов обнаружения дипфейков дипфейки избежали обнаружения.

Тем не менее, растущее число коммерческих и открытых программных продуктов обещает положить конец угрозе deepfake – по крайней мере, временно. Компания Sensity из Амстердама предлагает набор продуктов для мониторинга, предназначенных для классификации дипфейков, загружаемых в социальные сети, платформы видеохостинга и дезинформационные сети. Десса предложила методы улучшения детекторов дипфейков, обученных на наборах данных обработанных видео. А Jigsaw, внутренний технологический инкубатор Google, выпустил большой корпус визуальных дипфейков, которые были включены в тест, предоставленный исследователям в свободный доступ для разработки синтетических систем видеодетектирования.

Facebook и MSU планируют открыть исходный код набора данных, кода и обученных моделей, используемых для создания их системы, чтобы облегчить исследования в различных областях, включая обнаружение дипфейков, атрибуцию изображений и обратное проектирование генеративных моделей. «Дипфейки становится легче производить и труднее обнаруживать. Компании, а также частные лица должны знать, что разрабатываются методы не только для обнаружения вредоносных глубоких подделок, но и для того, чтобы злоумышленникам было сложнее их распространять», – добавил Хасснер. «Наш метод предоставляет новые возможности в обнаружении скоординированных атак и выявлении источников вредоносных дипфейков. Другими словами, это новый инструмент судебной экспертизы для тех, кто хочет защитить нас в Интернете».