Один GPU вместо нескольких: система VKAE ускорила инференс ИИ до 23 раз без расширения «железа»

На фоне продолжающейся гонки за вычислительными ресурсами в индустрии искусственного интеллекта всё большее значение приобретает не создание новых моделей, а повышение эффективности работы. Компания Vidraft, развивающая языковые модели и ИИ-инфраструктуру, представила результаты тестирования системы ускорения инференса VKAE, которая, по заявлению разработчиков, позволяет в отдельных сценариях увеличить производительность существующих GPU до 23 раз без изменения аппаратной части.

Интерес к подобным технологиям объясняется экономикой современных ИИ-сервисов. Обучение большой языковой модели происходит один раз, тогда как её использование — инференс, генерация ответов пользователям, — продолжается постоянно. Именно стоимость инференса определяет эксплуатационные расходы облачных сервисов, корпоративных систем искусственного интеллекта и ИИ-платформ.

Разработчики предлагают рассматривать подобные системы как своеобразное «программное расширение» существующих ускорителей. В отличие от производителей микросхем, создающих новые поколения GPU, системы ускорения инференса пытаются извлечь больше производительности из уже имеющегося оборудования за счёт оптимизации низкоуровневого программного обеспечения, включая вычислительные ядра и механизмы планирования выполнения задач.

Согласно опубликованным данным, тестирование проводилось на графическом ускорителе Nvidia B200. Для ряда моделей были получены кратные ускорения относительно базовых систем обслуживания запросов, при этом разработчики отдельно подчёркивают, что в ходе измерений не наблюдалось снижения качества ответов или деградации точности моделей.

Одним из наиболее заметных результатов стала демонстрация работы модели Qwen3.5-35B-A3B. При высокой конкурентной нагрузке система показала суммарную производительность свыше 10 тысяч токенов в секунду. При этом авторы отдельно уточняют важную особенность измерений: показатель зависит от характера нагрузки. Для более разнообразных реальных запросов производительность этой же модели составила около 455 токенов в секунду.

Измеренные данные VKAE — с учётом зафиксированных условий, представлены ниже в таблице. Пропускная способность одного потока на одной видеокарте Nvidia B200, с использованием единого измерительного оборудования, сравнение базового режима и оптимизированного режима. Во всех запусках не наблюдалось ухудшения качества (точности) выходных данных.

Разработчики VKAE подчёркивают, что ускорение не является универсальным свойством и существенно зависит от архитектуры конкретной модели. Некоторые модели демонстрируют многократный рост производительности, тогда как другие ускоряются значительно слабее. Это связано с различиями в вычислительных узких местах, организации памяти и внутренней структуре архитектур.

Одной из наиболее необычных особенностей проекта стала ориентация на воспроизводимость результатов. Вместе с показателями производительности разработчики предоставляют единый контейнер, включающий как веса модели, так и оптимизированную среду выполнения. Благодаря совместимости с интерфейсами OpenAI API решение может быть интегрировано в существующую инфраструктуру практически без изменений.

По мнению авторов проекта, именно возможность самостоятельно проверить производительность на собственном оборудовании должна стать основным критерием доверия к подобным заявлениям. В условиях, когда результаты бенчмарков могут существенно зависеть от выбранных параметров тестирования, воспроизводимость становится важнее самих численных показателей.

При этом конкретный механизм ускорения, используемый в VKAE, пока не раскрывается. Разработчики заявляют, что подробное описание технологии готовится к публикации в формате препринта.