Теперь-то наконец блоки NPU в процессорах Intel станут полезными? Компания открыла исходный код своей библиотеки ускорения NPU Acceleration Library

Компания Intel открыла исходный код своей библиотеки ускорения NPU Acceleration Library, позволяющей компактным моделям искусственного интеллекта работать непосредственно на блоках NPU в процессорах Meteor Lake.

Библиотека создана на языке Python и призвана помочь разработчикам улучшить свои продукты при условии запуска их на блоках NPU новейших процессоров Intel. Библиотека позволяет запускать компактные языковые модели вроде Gemma-2b или TinyLlama прямо на NPU, не требуя никакого облачного сервера. Собственно, это именно то, зачем вообще в процессорах нужны аппаратные блоки NPU, и то, чего на данный момент не хватает.

Напомним, блоки NPU есть в процессорах Intel Meteor Lake и AMD Ryzen 7040/8040. Пока что для большинства пользователей эти блоки совершенно бесполезны.