Устанавливаем ChatGPT в The Elder Scrolls V: Skyrim

Пост опубликован в блогах iXBT.com, его автор не имеет отношения к редакции iXBT.com
| Инструкция | Игры

Нейронные сети продолжают неумолимо изменять наш с вами привычный мир, открывая для людей новые, невиданные ранее горизонты возможностей. В этой небольшой инструкции вы узнаете, как установить ChatGPT в The Elder Scrolls V: Skyrim.

Автор: Bethesda Game Studios Источник: civitai.com

Пояснение

Установка ChaGPT в TES V: Skyrim до предела повышает уровень погружения в легендарную RPG, наделяя игровых NPC подобием человеческого разума. Используя микрофон или обыкновенный ввод текста с клавиатуры, вы сможете без каких-либо проблем общаться с жителями провинции Skyrim на любые темы. Игровые персонажи способны воспринимать окружающий их мир, комментировать происходящие события, вести диалог друг с другом, обижаться и любить. В общем, всё то, о чём так долго мечтали фантасты.

Инструкция

1. Устанавливаем The Elder Scrolls V: Skyrim: Special Edition. Для минимизации проблем с совместимостью модификаций избегайте версию игры для Steam.

2. Скачиваем SKSE и распаковываем файлы архива в папку с игрой. Файл skse64_loader.exe должен находиться в одной папке с SkyrimSE.exe.

SKSE

3. Скачиваем Mod Organizer 2. Программа понадобится для установки и управления модификациями.

4. Запускаем Mod Organizer 2 и в настройках программы подключаемся к Nexus.

Подключение к веб-сайту

Устанавливаем модификации:

5. Распаковываем в корень диска С программу xVASynth v3 (Не забудьте скачать и установить патч).

Установка программы синтеза речи

6. Скачиваем обновлённый русский словарь транскрипции английских слов Russian Dictionary для лучшего звучания NPC. А также вспомогательный плагин настроек lip and .fuz plugin for xVASynth, FaceFXWrapper 0.4 и xVADict — Elder Scrolls.

7. Переносим файл russian из архива Russian Dictionary в:

C:\xVASynth\resources\app\python\xvapitch\text\dicts

Вспомогательный плагин и xVADict — Elder Scrolls распаковываем в папку с программой xVASynth v3.

Файл FaceFXWrapper.exe в:

C:\xVASynth\resources\app\plugins\lip_fuz

8. Скачиваем голосовые модели. Для первого запуска ограничьтесь моделью Female Serana или Male Nord.

9. Распаковываем файлы архива Female Serana в:

C:\xVASynth\resources\app\models\Skyrim

Переименовываем файлы в sk_serana.pt и sk_serana.json.

Голосовые модели

10. Запускаем файл xVASynth.exe. В окне программы нажимаем на иконку мозаики и активируем плагин .lip and .fuz plugin for xVASynth. Возвращаемся в главный интерфейс программы с помощью клавиши Escape и нажимаем на иконку «AE». Активируем все слова в словарях CMUDicT и XVADict — Elder Scrolls. Вновь возвращаемся в главное окно программы и с помощью стрелок в верхнем левом углу добавляем голосовые модели. Открыв настройки программы (Шестерёнка) убедитесь, что все пути прописаны правильно, а ваш микрофон активирован.

11. Устанавливаем программу Mantella Software, распаковывая её в любое удобное место.

12. Запускаем Mod Organizer 2. Устанавливаем модификацию Mantella Spell. Если вы всё сделали правильно, то ваш лист модификаций будет выглядеть следующим образом.

Модификации

13. Открываем текстовым редактором файл config в папке с Mantella Software и переходим к настройкам программы.

Настройка Mantella Software
  • game = Skyrim (Игра)
  • skyrim_folder = C:\The Elder Scrolls V — Skyrim (Путь до папки с установленной игрой)
  • skyrim_mod_folder = C:\Users\0\AppData\Local\ModOrganizer\Skyrim Special Edition\mods\Mantella — Bring NPCs to Life with AI (Путь до папки с установленной модификацией Mantella Spell)
  • xvasynth_folder = C:\xVASynth (Путь до папки с программой синтеза речи)
  • language = ru (Выбор языка синтеза речи)
  • microphone_enabled = 1 (Использовать голосовой ввод — 1, использовать текст — 0)

П. С. Узнать местоположение модификации можно, щелкнув по ней правым кликом мыши в Mod Organizer 2.

Нейросеть

Осталось настроить мозги для нейронной сети. Есть несколько вариантов использования ChatGPT в TES V: Skyrim: локальное выполнение ресурсами ПК или подключение к удалённому серверу с помощью API Key. Рассмотрим локальный вариант.

Локальный

Для запуска нейронной сети на ПК требуется видеокарта не ниже GTX 1660. На видеокартах AMD работать не будет. Возможно выполнение на процессоре (Медленно).

1. Скачиваем бесплатную программу Koboldcpp.

2. Скачиваем мозги для нейронной сети: Mistral-Nemo-Instruct-2407-Q4_K_M.gguf.

3. Запускаем от имени администратора файл koboldcpp.exe и в появившемся окне указываем путь до скаченной модели. Нажимаем кнопку Launch.

Выбор мозгов

4. Если всё прошло хорошо, то вас автоматически перебросит на страницу нейронной сети. Закрываем веб-браузер и переходим в папку с установленной программой Mantella. Открываем тестовым документом файл GPT_SECRET_KEY и вводим http://localhost:5001/api/.

Подключение к серверу нейронной сети

Поздравляю! Вы успешно установили бесплатный аналог ChatGPT на свой ПК.

Подключение

Необходимые программы

Запускаем по порядку программы:

  • xVASynth
  • Koboldcpp
  • Mod Organizer 2
  • Mantella

Запускаем игру через Mod Organizer 2, предварительно выбрав профиль SKSE. Проверяем работоспособность ChatGPT и голосового синтеза.

Демонстрация

Серана успешно реагирует на голос игрока, поддерживая тему беседы, запоминая ответы и делая новые выводы. Способна обижаться, любить и ненавидеть. Умеет рассказывать анекдоты. В общем, практически живой человек. Использование более сложных моделей синтеза речи и выдачи информации ещё более улучшит итоговый результат.

Заключение

Благодаря новейшим открытиям в области нейронных сетей человечество стоит на пороге революции в сфере виртуальной реальности, когда разница меду геймером и NPC будет практически неразличимой. Уважайте свободу, используйте только проверенное ПО и ни в коем случае не позволяйте компаниям диктовать вам свои условия. С вами был Павел. Ещё увидимся!

Изображение в превью:
Автор: Bethesda Game Studios
Источник: civitai.com
Симулятор жизниРолевая играПриключенческая играPCДругойДругая
Автор не входит в состав редакции iXBT.com (подробнее »)
Об авторе
Связь: https://t.me/Pavel_Priluckiy

53 комментария

Pavel_Priluckiy
Будущее уже здесь!
____________________________
Добавлен раздел FaceFXWrapper
Scilla
Прикольно, спасибо за статью. Всё это довольно впечатляет, учитывая что ещё буквально «вчера», ничего похожего
даже в зародыше не было. Огрехи конечно прям явные есть, но возможно оно будет улучшаться, как знать.
Вот единственное, что напрягает, по крайней мере в моём более примитивном опыте. Есть так называемые текстовые
чаты с подобными ботами, на основе нейроных моделей. И вот они тупят по жёсткому, когда пытаешься
какую-то историю с персонажем придумать. Они буквально забывают многие моменты, которые не так давно
обсуждались. Вот вопрос тут такой: вы проверяли, местный бот тоже быстро забывает что-либо, о чём говоришь
с ним? Потому как, если это так. Выходит взаимодействие полноценным пока не назовёшь. Разве всякие разговорчики
и прогулки можно устраивать, на примитивные темы, где не надо нить разговора возможно на десятки минут как
минимум сохранять в памяти бота.
Pavel_Priluckiy
Помнит то, что я говорил 3 дня назад. Голос не проблема, это лишь огрехи плохо обученной модели голосового синтеза. Я могу исправить за пару часов до реалистичного звучания с эмоциями.
Scilla
Понятно. Ну это явный прогресс в сравнении с текстовыми бот персонажми. И тем кринжем, которым обычно попытка изобразить историю и сюжет заканчивается. Часто бот тупо ломается, и отвечает одно и то же, раз за разом. Надеюсь тут такого не происходит с ботом. В любом случае, я заинтригован. Интересно, что может получится, если попытаться подобие романа изобразить со своим сценарием того, что должно происходить. Обычно в текстовых ботах, отход от заданных параметров сюжета бота, сразу начинал его «ломать».
Pavel_Priluckiy
Я не просто так попросил её называть себя хозяином. Вы можете задать любой профиль общения, которому она будет придерживаться до перезапуска сессии запросом на её сброс (Забудь всё, что было сказано до этого).
______________________
Вчера лично генерировал историю добавляя много вводных. Умело вписала, зомби, монашек и тамплиеров…
Scilla
О, это хорошо, что есть возможность различные вводные добавлять. А то в текстовых ботах, хватало таких, которые максимально бедно были настроены, от чего лютый кринж выдавали и чаще зацикливались на повторении одних и тех же реплик.
Pavel_Priluckiy
Всё зависит от модели ¯\_(ツ)_/¯. Страшно представить, что будет, если подключить к удалённому серверу с современным ChatGPT 4.
Scilla
Да наверное, я не особо шарю за модели. Но вот сейчас глянул, что в текстовом чате за модель была. Называется она там вот так: llama2.13b.airoboros. Без понятия, сильно она умная или не очень. Но вот персонаж девка, основанная на опыте этой модели тупила и забывала многие вещи, о которых с ней разговаривали.
Pavel_Priluckiy
Моделей много, та, что указана в инструкции достаточно свежая: выложена 5 дней назад.
____________
Большая языковая модель (LLM) Mistral-Nemo-Instruct-2407 — это доработанная версия Mistral -Nemo-Base-2407. Обученная совместно Mistral AI и NVIDIA, она значительно превосходит существующие модели меньшего или схожего размера.
Scilla
Понял. Было довольно интересно поговорить на эту тему. Надо будет попробовать что-нибудь намутить в моей особой сборке скайрима.
Pavel_Priluckiy
Попробуйте, настоящая магия!
MymHbIu
Эти разговоры как то влияют на окружающий мир, на концовки, на взаимоотношения? Может добавляют или удаляют какие-то задания? Нет, игра от этих разговоров никак не меняется, если я правильно понял. Ну и зачем тогда это нужно? Вот если бы эта система могла исправить этот главный недостаток Скайрима, полную статичность игрового мира, тогда это была бы действительно нужная в любой игре вещь. А так… заходить в игру чтобы просто разговоры разговаривать? Это даже звучит скучно
Pavel_Priluckiy
Не понимаете вы революции, которая нас всех ждёт. Уже сейчас NPC могут петь, шутить, разговаривать между собой, обижаться. Вы можете спрашивать их о прохождении квеста, о лучших питейных заведениях, красивых местах и т. п.
T
То есть тебя не удивляет что с болванчиками можно просто говорить и указывать куда идти? Да, сейчас не добавляют и не удаляют задания, но в ролике автор своим голосом сказал Серане пошли в пивнушку, она это услышала, ответила не подготовленными заранее словами и пошла в пивнушку. Где ещё такое есть? Нигде. Та и в скайриме нет такого, того что это мод.
Pavel_Priluckiy
Не обращайте внимания. Многие люди в начале 90x и в интернет не верили.
MymHbIu
Ну, если Вы в игу заходите, чтобы «пообщаться» с НПЦ, то это будет действительно прекрасное будущее для Вас. А я в игру захожу за приключениями, сюжетом, да пусть даже просто захватывающим геймплеем. И в будущем я похоже могу ничего не ждать.
Pavel_Priluckiy
А чем нейронные сети будут мешать всему перечисленному?
MymHbIu
А чем собаке мешает пятая нога или телеге пятое колесо? Вот и нейронки так же.
Pavel_Priluckiy
Вы путаете пятое колесо и новый мощный двигатель.
MymHbIu
Повторяю: что улучшилось в игре? Диалоги с ботами не считаются.
Pavel_Priluckiy
А по видео не видно? У персонажей появилось подобие эмоций, они стали больше взаимодействовать друг с другом, можно голосом отдавать команды: стоять на месте, идти за мной или атаковать. Уже этого достаточно для революции в ролевых играх.
MymHbIu
Революция в ролевых играх ))
Ну да, только умных колонок в ролевых играх и не хватает )
Pavel_Priluckiy
До первого желания назначить NPC ролевой тип: Знойная монашка.
103726989866402350804@google
зачем вам вообще в игры играть? вам только кино смотреть))) раз вы вообще нечиго делат ьнехотите… и пивка возьмете наверное… :) а погружение и взаимодействие с миром не для вас я думаю.
Scilla
Движение к чему-то большему, всегда начинается с малого. Сказали бы вы человеку, игравшему в Atari 2600, что чуть более 40 лет пройдёт, и он будет свидетелем того, что от консоли в которую он играл в детсве с примитивной графикой, в виде прямоугольных фигур, всё перейдёт к довольно близкой к реальному миру графике. Да он бы с недоумением у виска покрутил, услышав эти слова.
Индустрия огромный путь преодолела, чтобы внешний вид игр стал таким, как сейчас. Тоже самое можно и сказать, о том, о чём данная статья. Считайте, что то, что сейчас можно сделать с нейронкой в том же скайриме — это примитивное начало, сравнимое с консолью Atari 2600. Понятное дело, что из Atari 2600, вам никто не прыгнет моментально к PS5. Но развитие технологий не стоит на месте. Сейчас этим занимаются мод энтузиасты, а «завтра» (хотелось бы верить), эти технологии начнут применять уже в коммерческой среде. Так что, понять ваше желание супер крутой иммерсивности можно. Но на данный момент, технологии делают лишь робкие шаги к этому. Лишь от разработчиков и издателей коммерческих игр зависит, увидим ли мы широкое и более быстрое развитие этих пока ещё мелких шагов в лучшую иммерсивность рпг жанра. А ведь эти самые компании и разработчики не раз показали, что они умеют просирать полимеры, как никто другой. Но я оптимист, и верю, что энтузиасты и инди разрабы не дадут всему потенциалу загнуться на корню. Заскриптованное ААА-говно, уже слишком приелось. Хочется чего-то свеженького уже.
MymHbIu
Движение к ещё большему упрощению и примитивизации, я так это вижу.
Pavel_Priluckiy
Обновлено.
___________
День спустя она всё ещё помнит, что было произнесено ранее.
Диалог стал более конструктивным и живым.
Я создал монстра!
MymHbIu
Уже одушевляете нейронку? )
Осторожней, так и до дурки уже недалеко.
Pavel_Priluckiy
А что есть видеоигры, как не вселенные созданные людьми?
MymHbIu
Не все игры являются вселенными, но все нейронки всего лишь генерируют набор случайных фраз. И если такой набор сгенерированных случайных фраз, воспринимается кем-то как осознанное общение, то это сильно похоже на такой запущенный вариант парейдолии или чего похуже.
Pavel_Priluckiy
Ха, скажите это умным помощникам или чатботам.
MymHbIu
Я не разговариваю с нейросетями.
Pavel_Priluckiy
В этом и проблема, что у вас нет опыта, но вы настырно продолжаете что-то утверждать.
MymHbIu
Проблема в том, что Вы настырно продолжаете втирать какую-то дичь. Конечно, я допускаю что есть индивидуумы, которым нравится «общаться» с генератором слов или «умной» колонкой. Моё мнение, что таким индивидуумам просто нужно голову лечить.
Pavel_Priluckiy
И ещё раз подтвердили, что слепы.
k
Ятицкая сила!
Pavel_Priluckiy
Будущее уже наступило).
Vladimir_Kosov
Для VR неплохо зайдет.
Pavel_Priluckiy
А с нейрообручем и модами для взрослых…
Pavel_Priluckiy
Обновлено. Добавлен плагин xVADict — Elder Scrolls, теперь всё должно работать!
100894219259945527684@google
Жаль что с AMD не работает
R
Не совсем понимаю как работает. Серана вроде отвечает мне но с задержкой и произносит фразы не полностью, а после вообще перестает говорить. Я подозреваю это из-за мода с общительной Сераной у которой голос стоит другой. Ну и так, чисто из любопытства, как прописывать контекст?
Pavel_Priluckiy
Задержка зависит от мощности видеокарты, размера используемой модели, величины запроса и количества выделенных токенов. Клавиша H. Предварительно активировать в настройках мантеллы, а следом в настройках плагина в игре.
R
Видеокарта 3070, модель использую по гайду. Заметил что генерация идет нормально только тогда, когда заходишь в настройки модов, в реалтайм игре генерация идет очень медленно. С чем это может быть связано?
R
Действую так. Запускаю все по гайду, захожу в игру и подключаю мод с помощью клавиши H. Произношу фразу и альтабаюсь, вижу что Мантелла ее либо не слышит, либо не понимает. Если понимает и я вижу это в Мантелле перехожу на Кобольд и вижу что генерация началась, но не идет. Захожу в игре в настройки модов и снова альтабаюсь на консоль кобольд, генерация пошла очень быстро. альтабаюсь в игру и слышу что мод работает. Если я же делаю как на видео без захода в настроек меню, то ничего совсем не происходит и в консоле кобольда ничего не происходит.
112657446964720493423@google
Забавно ) А для фоллыча нет такого? Так-то разница в движках невелика.
Pavel_Priluckiy
Да, основа одна. Работает с Fallout 4, но требует иных плагинов.
112657446964720493423@google
Благодарю за подробнейшую инструкцию ) Очень качественное оформление статьи.
Q
Если не брать стимовскую версию Скайрима, то какую?

Добавить комментарий

Сейчас на главной

Новости

Публикации

Самая холодная выставка Третьяковки, или как побывать в Арктике, не покидая Москвы

В Третьяковской галерее (здание на Кадашёвской) показывают Арктику. Причем, даже оформлена выставка «Арктика. Плюс цвета» соответствующе: холодные тона, стены-глыбы льда, отражающие Северное...

Мощный беспроводной пылесос Dreame R20: обзор и оценка силы всасывания

Выбрал себе такой пылесос и не пожалел — это мощная модель для ежедневной уборки, с множеством насадок в комплекте и высоким значением силы всасывания. Беспроводной пылесос Dreame...

Realme исправила одну ошибку, но совершила другую: краткий обзор и мнение о Realme 16 Pro и Pro+

Realme решила вернуть привычную номерную линейку, возродив модель Pro+ с телевиком-перископом. Но стало ли от этого лучше? Изучаем новые Realme 16 Pro и Pro+

Какие автопроизводители делают самые надёжные автомобили: Consumer Reports опубликовал свой ежегодный рейтинг

Каждый год некоммерческая организация Consumer Reports, известная своими независимыми тестами, проводит исследование надежности автомобилей разных марок. Методология Consumer Reports проста и...

Существует 17 возможных форм реальности: почему Вселенная может быть конечной, но безграничной

Современная космология считает что наша Вселенная плоская и бесконечная. Эта модель, подкрепленная данными наблюдений реликтового излучения, является стандартной. Однако она опирается на важное...

Обзор проточного чайника-диспенсера Rawmid Modern RMK-01: горячая вода по факту без лишних затрат на свет

Люди по всему миру постоянно спорят, что же лучше: газовый чайник, электрический или термопот. Но я могу с уверенностью сказать, что нашёл для себя идеальное решение — электрический...