«Дополнительные меры безопасности» появятся после того, как ИИ заставлял голоса знаменитостей читать оскорбительные сообщения

Британская фирма, занимающаяся искусственным интеллектом, заявила, что переосмысливает свои «меры безопасности» после того, как ее звуковой инструмент был использован для клонирования голосов знаменитостей и заставил их произносить расистские и гомофобные оскорбления.

В понедельник Eleven Labs написала в Твиттере, что это были «сумасшедшие выходные», и признала, что обнаружила «растущее число случаев неправильного использования клонирования голоса» всего через несколько дней после выпуска демо-версии инструмента.

Фирма не сообщила подробностей о случаях, но интернет-форум 4chan был наводнен дипфейками голосов знаменитостей с использованием расистских, сексистских и гомофобных оскорблений. Во многих сообщениях упоминались Eleven Labs, причем некоторые пользователи утверждали, что фирма заблокировала их, а другие предоставляли ссылки на демо-версию инструмента.

Среди знаменитостей подвергшихся дипфейкам были звезды фильмов о Гарри Поттере, режиссеры Квентин Тарантино и Джордж Лукас.

Компания Eleven labs рекламировала свою технологию клонирования голоса как обладающую «потенциалом, способным революционизировать способы производства, доставки и взаимодействия с контентом в различных отраслях». В своем рекламном материале фирма выпустила видео, на котором актера Леонардо ДиКаприо озвучивают несколько других знаменитостей.

Фирма написала в Твиттере, что ее технология «в подавляющем большинстве применялась с пользой», но заявила, что необходимы «дополнительные меры безопасности». Среди вариантов, которые она рассматривала, были ручная проверка каждого запроса на клонирование или ужесточение проверки учетной записи.

Инструменты искусственного интеллекта обучаются на обширных массивах данных — изображениях, аудио, тексте или видео — что позволяет им по сути предсказать, какой результат хотел бы получить пользователь.

Текстовый инструмент ChatGPT покорил мир своей способностью генерировать эссе на относительно высоком уровне всего за несколько подсказок. Инструменты обработки изображений, такие как Dall-E 2 и Midjourney, угрожают перевернуть мир искусства и дизайна своей способностью создавать сложные изображения в стиле известных художников.

Но критики уже давно выражают опасения, что технология клонирования, особенно аудио и видео, может привести к потоку дипфейков и дезинформации. И несколько компаний, занимающихся ИИ, сталкиваются с судебными исками от людей, которые утверждают, что фирмы нарушили авторские права, используя их материалы в качестве основы для моделей ИИ.

Источник: 'Extra safeguards' coming after AI generator used to make celebrity voices read offensive messages