Open WebUI отдельно от нейросети: моя схема с Proxmox и Ryzen AI Max+ 395

Пост опубликован в блогах iXBT.com, его автор не имеет отношения к редакции iXBT.com

Open WebUI я вынес на сервер Proxmox, чтобы на мини-ПК с Ryzen AI Max+ 395 и 128 ГБ памяти больше ресурсов оставалось для нейросетей. Веб-приложение с перепиской работает на одной машине, модели — на другой. Так память и процессорное время Strix Halo расходуются на вычисления моделей, а обслуживание чата остаётся на домашнем сервере.

Две машины: где хранится переписка и где считается ответ

Open WebUI — приложение с окном чата. Я установил его в LXC-контейнер с Debian 13 на Proxmox. Контейнер даёт программе отдельное окружение, а его запуском и ресурсами я управляю из панели Proxmox.

Файлы моделей находятся на мини-ПК. Там их загружают llama.cpp, Lemonade, Strata и Halogen — программы запуска нейросетей. Open WebUI отправляет выбранному серверу текст запроса по локальной сети и получает ответ.

Моя схема: браузер обращается к Open WebUI на Proxmox, Open WebUI — к серверу модели на мини-ПК.
Моя схема: браузер обращается к Open WebUI на Proxmox, Open WebUI — к серверу модели на мини-ПК.
Компонент Моя конфигурация Что делает
Контейнер на Proxmox Debian 13; 4 виртуальных процессора; 8192 МиБ памяти; диск 50 ГБ Запускает Open WebUI
Отдельный мини-ПК Ryzen AI Max+ 395; 128 ГБ общей памяти Загружает модель и вычисляет ответ

Зачем освобождать Strix Halo от веб-приложения

У Ryzen AI Max+ 395 процессор и встроенная графика используют общую оперативную память. В ней размещаются веса модели, промежуточные данные обработки контекста и рабочие буферы движка. Запущенный рядом Open WebUI тоже занимает память и процессорное время. При большой модели или длинной переписке этот запас полезнее оставить вычислительному серверу.

В моей схеме веб-служба, база диалогов и локальная обработка файлов работают на ресурсах Proxmox. На мини-ПК остаются движки и модели.

Нагрузка Open WebUI растёт при работе с документами: нужно извлечь текст из файлов, разделить его на фрагменты и подготовить данные для поиска. Для этого приложение может локально загружать ещё одну модель, которая переводит текст в числовые представления для поиска. В настройках документов проверьте, где работает эта модель: если запросы к ней уходят на Strix Halo, эта часть вычислений остаётся на мини-ПК. Для её переноса выбирайте обработку на сервере Open WebUI или другом хосте.

Что меняется при перезапуске движка

При смене сборки или параметров модели я перезапускаю её сервер на мини-ПК. Контейнер Open WebUI при этом продолжает работать. Пока модель загружается, можно открыть переписку; за новым ответом придётся дождаться готовности движка.

Что остановлено Что доступно
Только движок модели Open WebUI и сохранённые диалоги; новые ответы появятся после запуска модели
Мини-ПК целиком Интерфейс на Proxmox; вычисления возобновятся после включения мини-ПК
Контейнер Open WebUI Модель на мини-ПК может продолжать работать, но окно этого чата недоступно

Как подключить сервер модели

Для обычного серверного подключения адрес модели должен быть доступен из контейнера Open WebUI. Внутри контейнера localhost указывает на сам контейнер. Здесь нужен сетевой адрес мини-ПК и порт, на котором слушает движок.

В административных настройках Open WebUI откройте Connections («Подключения») и добавьте OpenAI-совместимое соединение. Это способ отправлять сообщения разным движкам в одном формате. Укажите базовый адрес сервера с окончанием /v1 и ключ доступа, если он включён на сервере. Названия пунктов зависят от языка интерфейса.

Кнопка Verify Connection («Проверить подключение») запрашивает список моделей. После проверки выберите модель в чате и отправьте короткий вопрос. Если сервер поддерживает чат, но не отдаёт список, имя модели можно внести вручную в поле Model IDs. Затем проверьте получение ответа и его постепенное появление в окне.

Два участка соединения: браузер → Open WebUI и контейнер Open WebUI → сервер модели. Проверять нужно тот, на котором возникает ошибка.
Два участка соединения: браузер → Open WebUI и контейнер Open WebUI → сервер модели. Проверять нужно тот, на котором возникает ошибка.
Симптом Что проверить
Не открывается окно чата Запущен ли контейнер и само приложение; доступен ли адрес Open WebUI с компьютера с браузером
Чат открыт, соединения с моделью нет Запущен ли движок; доступен ли его сетевой адрес из контейнера; разрешён ли этот доступ в настройках сети
Сервер возвращает ошибку авторизации Ключ доступа в настройках соединения
Сервер отвечает, но выбранная модель не найдена Имя модели в настройках клиента и список, который отдаёт движок
Текстовый чат работает, вызов инструмента — нет Поддержку инструментов моделью и движком, формат сообщений и настройки Open WebUI

Что оставить на Proxmox, а что — на мини-ПК

В контейнере остаются приложение и его данные. На мини-ПК — файлы моделей, движки и их настройки. При замене вычислительной машины переносится эта вычислительная часть, а в Open WebUI обновляется адрес соединения. Переписку ради смены движка переносить на мини-ПК не требуется.

Мой контейнер непривилегированный: права администратора внутри ограничены относительно узла Proxmox. LXC использует ядро основной системы. При создании контейнера также был включён доступ к графическому процессору. Для обращения к модели на другом компьютере этот доступ не нужен, поэтому повторять такую настройку ради удалённого чата незачем.

Доступ к серверу модели достаточно разрешить из контейнера по локальной сети. Публиковать его порт в интернете для этой схемы не требуется.

Для каких изменений мне пригодилось разделение

Здесь у двух машин разные циклы обслуживания. На мини-ПК я могу менять движок, модель и параметры памяти. На Proxmox — обновлять Open WebUI и сохранять его данные. Если меняется адрес вычислительного сервера, правка нужна в подключении клиента; если меняется только движок за прежним адресом, проверяются имя модели и нужные функции. Несколько движков за одним адресом я подключаю через llama-swap.

Сервер Proxmox и отдельная машина для экспериментов у меня уже были. Ради единственного чата с одной постоянно работающей моделью я бы вторую машину не покупал: на одном компьютере меньше соединений и служб, которые приходится настраивать.

Документация

Proxmox: устройство и настройки контейнеров

Open WebUI: подключение совместимого сервера модели

Open WebUI: потребление памяти и обработка документов

Изображение в превью:
Автор: OpenAI (генерация по запросу автора)
Источник: OpenAI
Автор не входит в состав редакции iXBT.com (подробнее »)

Сейчас на главной

Новости

Публикации

Обзор батареек AA: четыре бренда, два режима разряда и неожиданные результаты

Какие батарейки AA действительно работают дольше и есть ли смысл переплачивать за известный бренд? Для сравнения я взял премиальные батарейки, которые сейчас можно купить в розничных...

✦ ИИ  «Краткосрочный обморок»: кто такие миотонические козы и почему они падают от испуга?

В Сети можно найти ролики, на которых довольно худосочные козы мирно щиплют траву, рядом внезапно кто-то резко хлопает в ладоши, после чего животные неожиданно замирают, будто их запас энергии...

✦ ИИ  Микроволновка заискрила. Выбрасывать или можно пользоваться дальше?

Ставите разогреть вчерашний плов, нажимаете «Старт», и через пару секунд внутри вспыхивают искры, что-то трещит. Рука сама тянется к кнопке «Стоп», и правильно тянется. Если остановить печь сразу,...

✦ ИИ  Телефон греется на зарядке. Это нормально или пора волноваться?

Тянетесь за телефоном, который стоит на зарядке, и чувствуете тепло, иногда почти жар. Первая мысль: с батареей что-то не так. Чаще всего с ней всё хорошо. Немного тепла при зарядке бывает у любого...

Руда, которую хотят поднять со дна Тихого океана, оказалась заселена существами, которых нет больше нигде на дне

В центральной части Тихого океана, между Гавайскими островами и побережьем Мексики, расположена зона разломов Кларион-Клиппертон. Это огромная глубоководная равнина на глубине от 3900 до 4700...

Запрос на 206 тысяч токенов при лимите 65 тысяч: как остановился мой локальный ИИ-агент

Если от ИИ-агента нужен отчёт с суммами, количеством записей и разбивкой по группам, исходные данные можно обработать программой, а модели передать итоги. Это позволяет работать с выгрузкой,...