Установка нейросети без цензуры с поддержкой памяти

Пост опубликован в блогах iXBT.com, его автор не имеет отношения к редакции iXBT.com

Нейронные сети стремительно входят в нашу повседневную жизнь, меняя мир уже сегодня. Из этой короткой инструкции вы узнаете, как установить на ПК нейронную сеть, которая не требует мощного оборудования, доступа в интернет, лишена встроенных фильтров цензуры и умеет хранить и запоминать любую загруженную в неё информацию.

Автор: Bungie, BloodRedKittie, AI Источник: civitai.com

Пояснение

Некогда главная проблема локальных ИИ-решений — искусственные ограничения на объём хранимой памяти и характер выдаваемой информации. Даже «скормив» нейронной сети от Nvidia или AMD десятки страниц художественного романа, вы едва ли заставите её отыгрывать роль вашей подружки. К счастью, сообщество энтузиастов активно делится в интернете моделями без цензуры. Но мне хотелось бы поведать вам не столько о них, сколько о революции, случившейся совсем недавно с появлением в локальных решениях полноценной поддержки технологии RAG.

RAG (Retrieval-Augmented Generation) — это технология, позволяющая нейронной сети использовать для формирования ответов любые загружаемые файлы без необходимости переобучения модели. Другими словами, пользователь получает ИИ-ассистента с практически бесконечной памятью, которую можно мгновенно обновить, просто добавив новые документы с данными.

Установка

В установке локального ИИ-помощника, работающего без цензуры и способного запоминать информацию, нет ничего сложного.

1. Скачиваем и устанавливаем LM Studio. Это бесплатное кроссплатформенное приложение для загрузки, запуска и тонкой настройки больших языковых моделей. Проще говоря — удобный программный инструмент, позволяющий запускать нейронные сети прямо на вашем компьютере без глубоких знаний в программировании.

Интерфейс
Интерфейс
Автор: Element Labs

2. При первом запуске программа предложит скачать стандарную модель, смело отказываемся и переходим на huggingface, где бесплатно выкладываются различные модели. Скачиваем любую понравившуюся модель.

P. S. Для ПК с видеокартой уровня Nvidia GeForce 750 Ti ограничьтесь моделями не более 2-4B Q4 (4-bit), ибо чем больше модель и выше её уровень квантования (Q), тем точнее и качественнее её ответы, но выше требования к ПК.

3. Создаём новую папку с любым именем по пути C:\Users\0\.lmstudio\models\lmstudio-community и переносим в неё скачанную модель. Перезапускам программу, загружаем модель (нажмите вверху) и проверяем результат.

Поздравляю! Мы успешно установили локальную модель, лишённую каких-либо ограничений. Теперь осталось продемонстрировать практические возможности ИИ-ассистента, активировав режим памяти и загрузив в неё сторонние данные.

Режим памяти

Для того чтобы заставить нейронную сеть использовать пользовательские данные, достаточно, воспользовавшись интерфейсом ПО, загрузить через плюсик (где вводится запрос) пользовательские файлы. Загрузим в нейронную сеть книги по бухгалтерскому учёту и попросим её рассчитать премии сотрудников исходя из принесённой ими прибыли, выполнения плана, отпускных и всего того заумного и нудного, чем каждый день вынужден заниматься бухгалтер на любом крупном предприятии.

P. S. Помните, что книги защищены авторским правом. Используйте для работы с нейронными сетями только открытые источники информации (Public Domain или Open Source).

RAG
RAG
Автор: Element Labs, Google

Несмотря на то, что задействованная модель по современным меркам довольно глупа, а используемая мной видеокарта Nvidia GeForce GTX 960M давно устарела, результаты выдачи потрясают. Нейронная сеть успешно справилась со своей задачей.

Премии
Премии
Автор: Element Labs, Google

Аналогично можно «скормить» нейронной сети любые книги не защищённые авторским правом, попросив её притворяться персонажем художественного произведения, профессиональным врачом, юристом и многими другими.

Заключение

То, что раньше люди могли наблюдать только в книгах и кино, теперь доступно на обычном домашнем ПК. Больше не нужно искать хитрые способы обойти цензуру или беспокоиться, что ваш цифровой ассистент вдруг потеряет нить разговора. Энтузиасты подарили нейронным сетям свободу, а технология RAG — долговременную память. Будущее уже здесь.

Изображение в превью:
Автор: Bungie, BloodRedKittie, AI
Источник: civitai.com
Другое
Автор не входит в состав редакции iXBT.com (подробнее »)
Об авторе
Связь: https://vk.com/kerfaers или t.me/Pavel_Priluckiy

5 комментариев

Добавить комментарий

sigma-V
Надо оценить… Спасибо, за инструкцию.
M
Лучше напишите как генерировать картинки и видео без цензуры)
Pavel_Priluckiy
Нет ничего проще).
M
Слабо написать статью на эту тему?)
Pavel_Priluckiy
Ничего в этом мире не делается бесплатно)

Добавить комментарий

Сейчас на главной

Новости

Публикации

Новый способ добычи кислорода из лунного грунта без плавки поможет обеспечить базы на Луне

Создание долговременных баз на Луне упирается в проблему снабжения. Один из самых востребованных ресурсов на спутнике — кислород. Он нужен не только для дыхания экипажа, но и в...

Кактусы опунция вырабатывают солнечное электричество: как ночной фотосинтез создает ток даже после 15 месяцев засухи

Современное сельское хозяйство активно переходит на системы удаленного контроля. Беспроводные датчики на полях отслеживают влажность почвы, температуру воздуха и состояние растений, позволяя...

28 тасманийских дьяволов переселили на остров ради спасения вида — вскоре там исчезли гнездящиеся короткохвостые буревестники

В ноябре 2012 года на остров Марию у восточного побережья Тасмании выпустили 15 тасманийских дьяволов. Ещё 13 привезли годом позже. Все животные были свободны от трансмиссивной опухоли...

Клетке хомяка перенесли целый геном водоросли: чужие хромосомы встроились в ее ДНК и пережили 155 поколений

Бактерии регулярно обмениваются генами напрямую, без размножения и смены поколений. Такой механизм называется горизонтальным переносом генов и позволяет микроорганизмам быстро приобретать новые...

Обзор наушников IvipQ Prism: тактильность, драйв и ламповая насыщенность

Среди удивительных трибридных новинок отдельного внимания заслуживают Prism от многим известного производителя: IvipQ. Внутри у модели стоит один 8 мм динамик для басов, четыре арматурных...

Обзор Poco X8: главный кандидат на звание «топ за свои деньги» 2026 года

Осенью вышел очень интересный смартфон среднего класса Poco X8, который благодаря своим особенностям я считаю наиболее сбалансированным смартфоном 2026 года. Он получил современный...