Deepfake голоса и создание новых композиций с помощью нейросети

Благодаря развитию нейронных сетей эффект «Зловещей Долины» с каждым днём всё ближе и ближе к человечеству, ибо то, что когда-то считалось невозможным, в наши дни становится вполне осуществимым. В этой небольшой инструкции вы узнаете, как выполнить Deepfake голоса и на его основе создать совершенно новую композицию, даже если его обладатель давно покинул нас.

RVC-GUI — это удобная оболочка с открытым исходным кодом созданная для упрощения управления параметрами нейронной сети RVC применяемой для синтеза любого голоса/музыкальной композиции. По сравнению с аналогами, не требует установки и настройки сложных библиотек или использования Linux. Для работы программы достаточно Windows 10/11 и относительно современного ПК.

Инструкция

1. Скачиваем с GitHub бесплатное приложение RVC-GUI и распаковываем его в любую удобную папку. Убедитесь, что в название папки или пути до конечного файла запуска нет кириллицы.

2. Запускаем файл RVC-GUI.bat.

Если всё прошло успешно, то перед вашим взором появится интерфейс ПО.

3. Чтобы программа могла воссоздать полноценную музыкальную композицию с интересующем нас голосом, необходимо заранее подготовить голосовую модель и отделить вокал солиста от инструментала в интересующей нас композиции. В общем, чтобы голос стал отдельно от музыки.

Скачиваем заранее обученные модели:

• Модель голоса Михаила Горшенёва (Король и Шут) (Спасибо Baron Unger)
• Модель голоса Юлии Олеговны (t.A.T.u.)

Дополнительные модели формата RVC/RVC2 вы всегда можете найти здесь.

4. Выбираем желаемую композицию, которую мы хотим, чтобы наша модель перепела. Отделяем вокал солиста от инструментала. Благо, сделать это весьма просто.

Переходим на веб-сайт редактора:

• Отделить вокал от музыки
• Отделить вокал от музыки (Зеркало 1)
• Отделить вокал от музыки (Зеркало 2)

Загружаем трек формата .mp3 и дожидаемся пока редактор обработает композицию. Скачиваем результат.

5. После того как мы выбрали желаемую модель и отделили вокал от инструментала, можно вновь возвращаться к интерфейсу программы.

• (1) Выбираем через кнопку Browse наш подготовленный музыкальный трек с голосом солиста.
• (2) Загружаем и выбираем модель через кнопку Select a model. Чтобы загрузить голосовую модель, можно воспользоваться кнопкой Import model from. zip в интерфейсе ПО или распакуйте файлы архива модели напрямую в папку models с установленной программой.
• (3) Выбираем алгоритм конечного качества трека. Советую всегда использовать пресет harvest.
• (4) Выбираем, на чём будет обсчитываться конечный трек. Если у вас мощный ПК с видеокартой Nvidia, то выбирайте GPU, но не забудьте тогда установить вспомогательный пакет CUDA. Обладатели видеокарт AMD/Intel выбирают CPU.
• (5) Нажимаем Convert.

Вот, собственно, и всё! Если всё было сделано правильно, то, через пару десятков минут, вы получите готовый музыкальный трек с любимым исполнителем в папке рядом с оригиналом.

6. Сводим готовы аудиодарожки вокала и инструментала в любом аудио/видео редакторе. Лично я использую для этого бесплатный видеоредактор Shotсut.

• Правый клик по нижней части программы>> действия с дорожкой>> добавить аудиотрек.
• Левый угол программы «Открыть файл». Переносим треки на добавленные дорожки.
• Правый угол программы «Экспорт». Выбираем в левом углу программы желаемый формат и качество.

7. Наслаждаемся результатом.

Заключение

Скажу откровенно, меня пугает уровень развития современных технологий. Но кроме страха я ощущаю ещё и надежду. Надежду на то, что человечество может и не искоренит свои пороки, но благодаря развитию технологий подарит утешение миллионам людей по всему миру. Уважайте свободу, используйте свободное ПО и ни в коем случае не предавайте себя!