Теперь-то наконец блоки NPU в процессорах Intel станут полезными? Компания открыла исходный код своей библиотеки ускорения NPU Acceleration Library

⁠

Это нужно разработчикам

Компания Intel открыла исходный код своей библиотеки ускорения NPU Acceleration Library, позволяющей компактным моделям искусственного интеллекта работать непосредственно на блоках NPU в процессорах Meteor Lake.

Теперь-то наконец блоки NPU в процессорах Intel станут полезными? Компания открыла исходный код своей библиотеки ускорения NPU Acceleration Library, фото 1

Библиотека создана на языке Python и призвана помочь разработчикам улучшить свои продукты при условии запуска их на блоках NPU новейших процессоров Intel. Библиотека позволяет запускать компактные языковые модели вроде Gemma-2b или TinyLlama прямо на NPU, не требуя никакого облачного сервера. Собственно, это именно то, зачем вообще в процессорах нужны аппаратные блоки NPU, и то, чего на данный момент не хватает.

Теперь-то наконец блоки NPU в процессорах Intel станут полезными? Компания открыла исходный код своей библиотеки ускорения NPU Acceleration Library, фото 2

Напомним, блоки NPU есть в процессорах Intel Meteor Lake и AMD Ryzen 7040/8040. Пока что для большинства пользователей эти блоки совершенно бесполезны.

Главное