Raspberry Pi выпустила плату расширения AI HAT+ 2 для запуска языковых моделей

Raspberry Pi представила новую версию платы расширения для искусственного интеллекта — Raspberry Pi AI HAT+ 2. Этот аксессуар предназначен для выполнения задач машинного обучения на совместимых устройствах Raspberry Pi, включая новейшую модель Raspberry Pi 5.

Новая модель включает в себя ускоритель Hailo-10H, который способен достигать производительности до 40 TOPS в формате INT4. В отличие от предыдущей модели, использовавшей чипы Hailo-8 (26 TOPS) и Hailo-8L (13 TOPS), обновлённая плата позволяет запускать крупные языковые модели, такие как Deepseek и Qwen. Плата включает 8 ГБ собственной оперативной памяти, что исключает необходимость подключения к интернету для выполнения вычислений.

С помощью программного обеспечения, работающего через веб-интерфейс в браузере, устройство поддерживает функции распознавания объектов, сегментации изображений и интеграцию с камерами. Заявлено, что плата способна обрабатывать языковые модели с числом параметров от 1 до 7 миллиардов.

Для сравнения, коммерческие модели от OpenAI используют от 500 миллиардов до 2 триллионов параметров. Тем не менее, возможности Raspberry Pi AI HAT+ 2 соответствуют ограничениям аппаратных решений на базе одноплатных компьютеров.

Примеры кода, демонстрационные приложения и программные фреймворки доступны в репозитории Hailo на GitHub. Розничная цена Raspberry Pi AI HAT+ 2 составляет 130 долларов США.

Источник: donanimhaber