Установка нейросети без цензуры с поддержкой памяти

Пост опубликован в блогах iXBT.com, его автор не имеет отношения к редакции iXBT.com

Нейронные сети стремительно входят в нашу повседневную жизнь, меняя мир уже сегодня. Из этой короткой инструкции вы узнаете, как установить на ПК нейронную сеть, которая не требует мощного оборудования, доступа в интернет, лишена встроенных фильтров цензуры и умеет хранить и запоминать любую загруженную в неё информацию.

Автор: Bungie, BloodRedKittie, AI Источник: civitai.com

Пояснение

Некогда главная проблема локальных ИИ-решений — искусственные ограничения на объём хранимой памяти и характер выдаваемой информации. Даже «скормив» нейронной сети от Nvidia или AMD десятки страниц художественного романа, вы едва ли заставите её отыгрывать роль вашей подружки. К счастью, сообщество энтузиастов активно делится в интернете моделями без цензуры. Но мне хотелось бы поведать вам не столько о них, сколько о революции, случившейся совсем недавно с появлением в локальных решениях полноценной поддержки технологии RAG.

RAG (Retrieval-Augmented Generation) — это технология, позволяющая нейронной сети использовать для формирования ответов любые загружаемые файлы без необходимости переобучения модели. Другими словами, пользователь получает ИИ-ассистента с практически бесконечной памятью, которую можно мгновенно обновить, просто добавив новые документы с данными.

Установка

В установке локального ИИ-помощника, работающего без цензуры и способного запоминать информацию, нет ничего сложного.

1. Скачиваем и устанавливаем LM Studio. Это бесплатное кроссплатформенное приложение для загрузки, запуска и тонкой настройки больших языковых моделей. Проще говоря — удобный программный инструмент, позволяющий запускать нейронные сети прямо на вашем компьютере без глубоких знаний в программировании.

Интерфейс
Интерфейс
Автор: Element Labs

2. При первом запуске программа предложит скачать стандарную модель, смело отказываемся и переходим на huggingface, где бесплатно выкладываются различные модели. Скачиваем любую понравившуюся модель.

P. S. Для ПК с видеокартой уровня Nvidia GeForce 750 Ti ограничьтесь моделями не более 2-4B Q4 (4-bit), ибо чем больше модель и выше её уровень квантования (Q), тем точнее и качественнее её ответы, но выше требования к ПК.

3. Создаём новую папку с любым именем по пути C:\Users\0\.lmstudio\models\lmstudio-community и переносим в неё скачанную модель. Перезапускам программу, загружаем модель (нажмите вверху) и проверяем результат.

Поздравляю! Мы успешно установили локальную модель, лишённую каких-либо ограничений. Теперь осталось продемонстрировать практические возможности ИИ-ассистента, активировав режим памяти и загрузив в неё сторонние данные.

Режим памяти

Для того чтобы заставить нейронную сеть использовать пользовательские данные, достаточно, воспользовавшись интерфейсом ПО, загрузить через плюсик (где вводится запрос) пользовательские файлы. Загрузим в нейронную сеть книги по бухгалтерскому учёту и попросим её рассчитать премии сотрудников исходя из принесённой ими прибыли, выполнения плана, отпускных и всего того заумного и нудного, чем каждый день вынужден заниматься бухгалтер на любом крупном предприятии.

P. S. Помните, что книги защищены авторским правом. Используйте для работы с нейронными сетями только открытые источники информации (Public Domain или Open Source).

RAG
RAG
Автор: Element Labs, Google

Несмотря на то, что задействованная модель по современным меркам довольно глупа, а используемая мной видеокарта Nvidia GeForce GTX 960M давно устарела, результаты выдачи потрясают. Нейронная сеть успешно справилась со своей задачей.

Премии
Премии
Автор: Element Labs, Google

Аналогично можно «скормить» нейронной сети любые книги не защищённые авторским правом, попросив её притворяться персонажем художественного произведения, профессиональным врачом, юристом и многими другими.

Заключение

То, что раньше люди могли наблюдать только в книгах и кино, теперь доступно на обычном домашнем ПК. Больше не нужно искать хитрые способы обойти цензуру или беспокоиться, что ваш цифровой ассистент вдруг потеряет нить разговора. Энтузиасты подарили нейронным сетям свободу, а технология RAG — долговременную память. Будущее уже здесь.

Изображение в превью:
Автор: Bungie, BloodRedKittie, AI
Источник: civitai.com
Другое
Автор не входит в состав редакции iXBT.com (подробнее »)
Об авторе
Связь: https://vk.com/kerfaers или t.me/Pavel_Priluckiy

5 комментариев

Добавить комментарий

sigma-V
Надо оценить… Спасибо, за инструкцию.
M
Лучше напишите как генерировать картинки и видео без цензуры)
Pavel_Priluckiy
Нет ничего проще).
M
Слабо написать статью на эту тему?)
Pavel_Priluckiy
Ничего в этом мире не делается бесплатно)

Добавить комментарий

Сейчас на главной

Новости

Публикации

Кактусы опунция вырабатывают солнечное электричество: как ночной фотосинтез создает ток даже после 15 месяцев засухи

Современное сельское хозяйство активно переходит на системы удаленного контроля. Беспроводные датчики на полях отслеживают влажность почвы, температуру воздуха и состояние растений, позволяя...

28 тасманийских дьяволов переселили на остров ради спасения вида — вскоре там исчезли гнездящиеся короткохвостые буревестники

В ноябре 2012 года на остров Марию у восточного побережья Тасмании выпустили 15 тасманийских дьяволов. Ещё 13 привезли годом позже. Все животные были свободны от трансмиссивной опухоли...

Клетке хомяка перенесли целый геном водоросли: чужие хромосомы встроились в ее ДНК и пережили 155 поколений

Бактерии регулярно обмениваются генами напрямую, без размножения и смены поколений. Такой механизм называется горизонтальным переносом генов и позволяет микроорганизмам быстро приобретать новые...

Обзор наушников IvipQ Prism: тактильность, драйв и ламповая насыщенность

Среди удивительных трибридных новинок отдельного внимания заслуживают Prism от многим известного производителя: IvipQ. Внутри у модели стоит один 8 мм динамик для басов, четыре арматурных...

Обзор Poco X8: главный кандидат на звание «топ за свои деньги» 2026 года

Осенью вышел очень интересный смартфон среднего класса Poco X8, который благодаря своим особенностям я считаю наиболее сбалансированным смартфоном 2026 года. Он получил современный...

Звук на стальной проволоке: чем записывали речь до распространения магнитной ленты

В конце 1940-х человек мог открыть чемодан размером с небольшой радиоприёмник, поставить катушку с почти невидимой стальной нитью и записать разговор на час. Проволока бежала между двумя катушками...