Установка нейросети без цензуры с поддержкой памяти

Нейронные сети стремительно входят в нашу повседневную жизнь, меняя мир уже сегодня. Из этой короткой инструкции вы узнаете, как установить на ПК нейронную сеть, которая не требует мощного оборудования, доступа в интернет, лишена встроенных фильтров цензуры и умеет хранить и запоминать любую загруженную в неё информацию.

Пояснение

Некогда главная проблема локальных ИИ-решений — искусственные ограничения на объём хранимой памяти и характер выдаваемой информации. Даже «скормив» нейронной сети от Nvidia или AMD десятки страниц художественного романа, вы едва ли заставите её отыгрывать роль вашей подружки. К счастью, сообщество энтузиастов активно делится в интернете моделями без цензуры. Но мне хотелось бы поведать вам не столько о них, сколько о революции, случившейся совсем недавно с появлением в локальных решениях полноценной поддержки технологии RAG.

RAG (Retrieval-Augmented Generation) — это технология, позволяющая нейронной сети использовать для формирования ответов любые загружаемые файлы без необходимости переобучения модели. Другими словами, пользователь получает ИИ-ассистента с практически бесконечной памятью, которую можно мгновенно обновить, просто добавив новые документы с данными.

Установка

В установке локального ИИ-помощника, работающего без цензуры и способного запоминать информацию, нет ничего сложного.

1. Скачиваем и устанавливаем LM Studio. Это бесплатное кроссплатформенное приложение для загрузки, запуска и тонкой настройки больших языковых моделей. Проще говоря — удобный программный инструмент, позволяющий запускать нейронные сети прямо на вашем компьютере без глубоких знаний в программировании.

2. При первом запуске программа предложит скачать стандарную модель, смело отказываемся и переходим на huggingface, где бесплатно выкладываются различные модели. Скачиваем любую понравившуюся модель.

P. S. Для ПК с видеокартой уровня Nvidia GeForce 750 Ti ограничьтесь моделями не более 2-4B Q4 (4-bit), ибо чем больше модель и выше её уровень квантования (Q), тем точнее и качественнее её ответы, но выше требования к ПК.

3. Создаём новую папку с любым именем по пути C:\Users\0\.lmstudio\models\lmstudio-community и переносим в неё скачанную модель. Перезапускам программу, загружаем модель (нажмите вверху) и проверяем результат.

Поздравляю! Мы успешно установили локальную модель, лишённую каких-либо ограничений. Теперь осталось продемонстрировать практические возможности ИИ-ассистента, активировав режим памяти и загрузив в неё сторонние данные.

Режим памяти

Для того чтобы заставить нейронную сеть использовать пользовательские данные, достаточно, воспользовавшись интерфейсом ПО, загрузить через плюсик (где вводится запрос) пользовательские файлы. Загрузим в нейронную сеть книги по бухгалтерскому учёту и попросим её рассчитать премии сотрудников исходя из принесённой ими прибыли, выполнения плана, отпускных и всего того заумного и нудного, чем каждый день вынужден заниматься бухгалтер на любом крупном предприятии.

P. S. Помните, что книги защищены авторским правом. Используйте для работы с нейронными сетями только открытые источники информации (Public Domain или Open Source).

Несмотря на то, что задействованная модель по современным меркам довольно глупа, а используемая мной видеокарта Nvidia GeForce GTX 960M давно устарела, результаты выдачи потрясают. Нейронная сеть успешно справилась со своей задачей.

Аналогично можно «скормить» нейронной сети любые книги не защищённые авторским правом, попросив её притворяться персонажем художественного произведения, профессиональным врачом, юристом и многими другими.

Заключение

То, что раньше люди могли наблюдать только в книгах и кино, теперь доступно на обычном домашнем ПК. Больше не нужно искать хитрые способы обойти цензуру или беспокоиться, что ваш цифровой ассистент вдруг потеряет нить разговора. Энтузиасты подарили нейронным сетям свободу, а технология RAG — долговременную память. Будущее уже здесь.