Калифорнийские учёные создали оптический детектор дипфейков с точностью 98%

Исследователи из Калифорнийского университета в Лос-Анджелесе разработали принципиально новую систему распознавания поддельных видео, которая использует световые волны вместо традиционных электронных вычислений. Это стало возможным благодаря гибридной архитектуре, в которой цифровой кодировщик обрабатывает информацию о видео, преобразуя ее в оптический сигнал, который затем проходит через пассивный оптический декодер в свободном пространстве.

Главное отличие системы — параллельная производительность. В то время как обычные детекторы анализируют видеопоследовательности одну за другой, оптико-нейронный процессор Калифорнийского университета в Лос-Анджелесе одновременно проверяет до 15 видеопотоков за один оптический проход. При этом система показала среднюю точность обнаружения дипфейков — 97,79% при чувствительности 99,86%, то есть только 0,14% поддельных видео ошибочно классифицируются как настоящие.

Разработка имеет практическое значение для крупномасштабной модерации контента. Традиционные детекторы дипфейков требуют сотен миллиардов операций с плавающей запятой на одно видео, что приводит к значительному энергопотреблению. Новая технология основана на физическом распространении света через пассивные дифракционные слои, которые не требуют дополнительной электроэнергии для выполнения вычислений — энергия потребляется только на начальном этапе кодирования.

Система продемонстрировала устойчивость к атакам хакеров, поскольку критически важные параметры модели встроены непосредственно в аппаратное обеспечение и их сложно воспроизвести или обойти. Даже при воздействии шума, размытия и сжатия процессор JPEG надежно сохранил свою функциональность.

Ученые протестировали технологию не только на классических дипфейках с заменой лиц, но и на видеороликах, созданных с помощью передовой модели Google VEO-3. При минимальной адаптации система достигла точности 94,80% на ранее не встречавшихся синтетических видео, что указывает на ее способность адаптироваться к новым поколениям генеративного искусственного интеллекта.

Исследователи предлагают использовать оптический процессор в качестве первого уровня защиты в двухуровневой системе. Огромные объемы видеоконтента будут проходить через параллельный оптический фильтр с высокой чувствительностью, а контент, определенный как подозрительный, будет направляться в более ресурсоемкие цифровые системы для окончательной оценки. Такой подход позволит значительно снизить общее энергопотребление при сохранении высокого уровня точности.

Исследование, опубликованное в журнале eLight, было проведено кафедрой электротехники и вычислительной техники Калифорнийского университета в Лос-Анджелесе совместно с кафедрой биоинженерии.

Источник: ScienceDaily