Автор не входит в состав редакции iXBT.com (подробнее »)

Просмотры

Все блоги 9410

Личное

Зарегистрирован: 18 октября 2026, 23:10
Последний визит: 19 ноября 2026, 18:47

Достижения

ППА
Законопослушный гражданин
Секретное достижение

Активность

Зарегистрирован: 18 октября 2026, 23:10
Последний визит: 19 ноября 2026, 18:47

Публикации

Q4, Q6 или Q8: что меняется при сжатии локальной нейросети

У одной локальной нейросети может быть несколько файлов: Q4_K_M, Q6_K, Q8_0. Они хранят числовые параметры с разной точностью. Более компактный файл экономит место, но выбор затрагивает ещё две...

✦ ИИ  Почему токенов в секунду недостаточно: как оценивать скорость локальной нейросети

Если локальная нейросеть долго молчит, а потом быстро выдаёт текст, высокая скорость в токенах в секунду не сокращает уже потраченное ожидание. Для короткого чата важнее быстро получить начало...

Запрос на 206 тысяч токенов при лимите 65 тысяч: как остановился мой локальный ИИ-агент

Если от ИИ-агента нужен отчёт с суммами, количеством записей и разбивкой по группам, исходные данные можно обработать программой, а модели передать итоги. Это позволяет работать с выгрузкой,...

Open WebUI отдельно от нейросети: моя схема с Proxmox и Ryzen AI Max+ 395

Open WebUI я вынес на сервер Proxmox, чтобы на мини-ПК с Ryzen AI Max+ 395 и 128 ГБ памяти больше ресурсов оставалось для нейросетей. Веб-приложение с перепиской работает на одной машине,...

Несколько движков локальных нейросетей на одном ПК: зачем мне понадобился llama-swap

На мини-ПК с Ryzen AI Max+ 395 и 128 ГБ памяти я использую несколько движков локальных нейросетей: llama.cpp, Lemonade, Strata и Halogen. У каждого своя команда запуска и параметры. Чтобы при...

✦ ИИ  Тест gpu-unlock на RTX 3060 Ti: SDXL тратит на 11% меньше времени, а llama.cpp не ускорился

Проверили gpu-unlock на RTX 3060 Ti с 8 ГБ видеопамяти. В отдельных матричных вычислениях прирост достиг почти 94%, время прогона SDXL сократилось примерно на 11%, а две локальные языковые модели...

✦ ИИ  GigaChat 20B на Ryzen AI Max+ 395 через Lemonade: модель отвечает и продолжает диалог за пользователя

На мини-ПК с AMD Ryzen AI Max+ 395 и 128 ГБ оперативной памяти удалось запустить GigaChat 20B Instruct v1.5 через Lemonade. Но при первых проверках обнаружилось неожиданное поведение: модель...

✦ ИИ  Опыт запуска Armbian на Rombica Smart Box B1: Debian 13, USB и возможности старой платформы Rockchip

Rombica Smart Box B1 — бюджетная Android-приставка с четырёхъядерным Cortex-A7, 1 ГБ оперативной памяти и 8 ГБ встроенного накопителя. Изначально она предназначалась для просмотра видео...