Pavel_Priluckiy

Проверьте сначала базовую модель представленную в материале, возможно, что вам незачем качать 50 Гб для ваших задач.
https://huggingface.co/Pi3141/alpaca-7b-native-enhanced/tree/main

Попробуйте модель представленную в гайде или воспользуйтесь альтернативным ПО. Следите за обновлением, так как в скором времени я добалю список проверенных моделей.

Всё верно, это описано в материале. К сожалению, но у меня сейчас нет доступа к CPU с AVX, так что я буду рад любой помощи в тестирование моделей.

Программа также принимает любые другие файлы моделей с 4-битным квантованием .bin. Если вы можете найти другие файлы моделей в формате .bin, вы можете использовать их вместо файла, рекомендованного в Кратком руководстве, чтобы экспериментировать с различными моделями. Как всегда, будьте осторожны с тем, что вы загружаете из Интернета.

Этой файл подкачки, тудадумс.

Лучше на ссд, ведь модель это база данных и именно из неё идёт считывание. Однако, после загрузки в память, разницы с SSD и HDD не будет.

Чем больше квантов, как у вас в модели, то тем больше требуется ресурсов для обработки. Используйте модели 2-4q.

Всё работает. Убедитесь, что ваш ПК соответствует минимальным системным требованиям.

Напишите характеристики своего ПК и модель которую используете.

Зависит от квантов и размера самой модели. Тем не менее вы правы и народ ещё не до конца понимает насколько это круто)).

Попробуйте другую модель.

Исправлено.

Так скачайте другую модель. Я только показало возможность запуска и что это вообще возможно. Ваше права пользоваться любой моделью.

Обновление на утро 10 июня.
__________________
Исправлена ссылка на полную версию. (Пожалуйста, перекачайте).
Добавлены скрины.
Добавлена информация о квантовании.

Парни, простите, указал не ту ссылку на полную модель. У кого ошибка, перекачайте!
alpaca-lora-65B-GGML

Парни, простите, указал не ту ссылку на полную модель. У кого ошибка, перекачайте!
alpaca-lora-65B-GGML

Парни, простите, указал не ту ссылку на полную модель. У кого ошибка, перекачайте!
alpaca-lora-65B-GGML

Спасибо, исправил.

Графики пред вами.

Перезапустите или подождите обнову.