Tiiny AI представил карманный компьютер Pocket Lab для запуска языковых моделей

Американская компания Tiiny AI анонсировала компактный персональный компьютер Pocket Lab накануне выставки потребительской электроники CES 2025, которая пройдёт в Лас-Вегасе с 7 по 10 января. Устройство разработано специально для локального запуска больших языковых моделей без подключения к облачным сервисам.

Pocket Lab построен на 12-ядерном процессоре с архитектурой ARMv9.2 и оснащён выделенным нейронным ускорителем с производительностью 160 тераопераций в секунду. Объём оперативной памяти типа LPDDR5X составляет 80 ГБ, из которых 48 ГБ выделено непосредственно для нейронного процессора. Для хранения данных и моделей предусмотрен твердотельный накопитель ёмкостью 1 ТБ. Энергопотребление устройства составляет 65 Вт.

Габариты мини-ПК составляют 142 на 80 на 25 миллиметров при массе 300 граммов. По заявлению производителя, Pocket Lab занесён в Книгу рекордов Гиннесса как самый компактный компьютер, способный локально обрабатывать языковые модели с количеством параметров более 100 миллиардов.

Программная платформа устройства предусматривает упрощённую установку популярных открытых моделей, включая Llama, Qwen, DeepSeek, Mistral и Phi. Производитель заявляет о поддержке регулярных беспроводных обновлений программного обеспечения. По данным компании, Pocket Lab способен работать с моделями объёмом до 120 миллиардов параметров в автономном режиме. Информация о розничной стоимости устройства пока не разглашается.