Учёные из Швейцарии создали программу для работы ИИ без дата-центров

Специалисты Швейцарской высшей технической школы Лозанны (EPFL) представили программное обеспечение Anyway Systems, позволяющее запускать крупные языковые модели искусственного интеллекта в локальных сетях из нескольких потребительских компьютеров без подключения к облачным центрам обработки данных.

Разработку создали исследователи Школы компьютерных и коммуникационных наук EPFL — Готье Ворон, Джовани Ризк и Рашид Геррауи. Программа распределяет вычислительную нагрузку между несколькими устройствами в локальной сети и автоматически оптимизирует использование доступного оборудования.

По данным разработчиков, для работы модели ChatGPT-120B, сопоставимой по возможностям с OpenAI o3 в задачах программирования и математики, достаточно четырёх компьютеров. Установка системы занимает около тридцати минут. Программа поддерживает модели с сотнями миллиардов параметров при использовании нескольких графических процессоров.

Руководитель лаборатории DCL Рашид Геррауи отметил, что система сохраняет точность ответов моделей, хотя время отклика может быть несколько выше по сравнению с облачными решениями. Обработка данных происходит локально, что исключает передачу информации на внешние серверы.

Альтернативные решения, в том числе Google AI Edge и локальные модели вроде Llama, работают на одном устройстве и ограничены его вычислительными ресурсами. Для запуска ChatGPT-120B на одном компьютере требуется графический процессор nVidia H100 стоимостью от сорока тысяч долларов, при этом из-за дефицита на вторичном рынке цены превышают девяносто тысяч долларов.

Источник: New Atlas