Open WebUI отдельно от нейросети: моя схема с Proxmox и Ryzen AI Max+ 395
Open WebUI я вынес на сервер Proxmox, чтобы на мини-ПК с Ryzen AI Max+ 395 и 128 ГБ памяти больше ресурсов оставалось для нейросетей. Веб-приложение с перепиской работает на одной машине, модели — на другой. Так память и процессорное время Strix Halo расходуются на вычисления моделей, а обслуживание чата остаётся на домашнем сервере.
Две машины: где хранится переписка и где считается ответ
Open WebUI — приложение с окном чата. Я установил его в LXC-контейнер с Debian 13 на Proxmox. Контейнер даёт программе отдельное окружение, а его запуском и ресурсами я управляю из панели Proxmox.
Файлы моделей находятся на мини-ПК. Там их загружают llama.cpp, Lemonade, Strata и Halogen — программы запуска нейросетей. Open WebUI отправляет выбранному серверу текст запроса по локальной сети и получает ответ.
| Компонент | Моя конфигурация | Что делает |
|---|---|---|
| Контейнер на Proxmox | Debian 13; 4 виртуальных процессора; 8192 МиБ памяти; диск 50 ГБ | Запускает Open WebUI |
| Отдельный мини-ПК | Ryzen AI Max+ 395; 128 ГБ общей памяти | Загружает модель и вычисляет ответ |
Зачем освобождать Strix Halo от веб-приложения
У Ryzen AI Max+ 395 процессор и встроенная графика используют общую оперативную память. В ней размещаются веса модели, промежуточные данные обработки контекста и рабочие буферы движка. Запущенный рядом Open WebUI тоже занимает память и процессорное время. При большой модели или длинной переписке этот запас полезнее оставить вычислительному серверу.
В моей схеме веб-служба, база диалогов и локальная обработка файлов работают на ресурсах Proxmox. На мини-ПК остаются движки и модели.
Нагрузка Open WebUI растёт при работе с документами: нужно извлечь текст из файлов, разделить его на фрагменты и подготовить данные для поиска. Для этого приложение может локально загружать ещё одну модель, которая переводит текст в числовые представления для поиска. В настройках документов проверьте, где работает эта модель: если запросы к ней уходят на Strix Halo, эта часть вычислений остаётся на мини-ПК. Для её переноса выбирайте обработку на сервере Open WebUI или другом хосте.
Что меняется при перезапуске движка
При смене сборки или параметров модели я перезапускаю её сервер на мини-ПК. Контейнер Open WebUI при этом продолжает работать. Пока модель загружается, можно открыть переписку; за новым ответом придётся дождаться готовности движка.
| Что остановлено | Что доступно |
|---|---|
| Только движок модели | Open WebUI и сохранённые диалоги; новые ответы появятся после запуска модели |
| Мини-ПК целиком | Интерфейс на Proxmox; вычисления возобновятся после включения мини-ПК |
| Контейнер Open WebUI | Модель на мини-ПК может продолжать работать, но окно этого чата недоступно |
Как подключить сервер модели
Для обычного серверного подключения адрес модели должен быть доступен из контейнера Open WebUI. Внутри контейнера localhost указывает на сам контейнер. Здесь нужен сетевой адрес мини-ПК и порт, на котором слушает движок.
В административных настройках Open WebUI откройте Connections («Подключения») и добавьте OpenAI-совместимое соединение. Это способ отправлять сообщения разным движкам в одном формате. Укажите базовый адрес сервера с окончанием /v1 и ключ доступа, если он включён на сервере. Названия пунктов зависят от языка интерфейса.
Кнопка Verify Connection («Проверить подключение») запрашивает список моделей. После проверки выберите модель в чате и отправьте короткий вопрос. Если сервер поддерживает чат, но не отдаёт список, имя модели можно внести вручную в поле Model IDs. Затем проверьте получение ответа и его постепенное появление в окне.
| Симптом | Что проверить |
|---|---|
| Не открывается окно чата | Запущен ли контейнер и само приложение; доступен ли адрес Open WebUI с компьютера с браузером |
| Чат открыт, соединения с моделью нет | Запущен ли движок; доступен ли его сетевой адрес из контейнера; разрешён ли этот доступ в настройках сети |
| Сервер возвращает ошибку авторизации | Ключ доступа в настройках соединения |
| Сервер отвечает, но выбранная модель не найдена | Имя модели в настройках клиента и список, который отдаёт движок |
| Текстовый чат работает, вызов инструмента — нет | Поддержку инструментов моделью и движком, формат сообщений и настройки Open WebUI |
Что оставить на Proxmox, а что — на мини-ПК
В контейнере остаются приложение и его данные. На мини-ПК — файлы моделей, движки и их настройки. При замене вычислительной машины переносится эта вычислительная часть, а в Open WebUI обновляется адрес соединения. Переписку ради смены движка переносить на мини-ПК не требуется.
Мой контейнер непривилегированный: права администратора внутри ограничены относительно узла Proxmox. LXC использует ядро основной системы. При создании контейнера также был включён доступ к графическому процессору. Для обращения к модели на другом компьютере этот доступ не нужен, поэтому повторять такую настройку ради удалённого чата незачем.
Доступ к серверу модели достаточно разрешить из контейнера по локальной сети. Публиковать его порт в интернете для этой схемы не требуется.
Для каких изменений мне пригодилось разделение
Здесь у двух машин разные циклы обслуживания. На мини-ПК я могу менять движок, модель и параметры памяти. На Proxmox — обновлять Open WebUI и сохранять его данные. Если меняется адрес вычислительного сервера, правка нужна в подключении клиента; если меняется только движок за прежним адресом, проверяются имя модели и нужные функции. Несколько движков за одним адресом я подключаю через llama-swap.
Сервер Proxmox и отдельная машина для экспериментов у меня уже были. Ради единственного чата с одной постоянно работающей моделью я бы вторую машину не покупал: на одном компьютере меньше соединений и служб, которые приходится настраивать.
Документация
Proxmox: устройство и настройки контейнеров
Open WebUI: подключение совместимого сервера модели
Open WebUI: потребление памяти и обработка документов
Изображение в превью:
Автор: OpenAI (генерация по запросу автора)
Источник: OpenAI