Xiaomi раскрыла возможности процессора Xring O100

Xiaomi подробнее описала специализированный ускоритель искусственного интеллекта Xring O100, предназначенный для запуска более мощных моделей непосредственно на устройствах.

По заявлению компании, чип обеспечивает пропускную способность памяти до 1,22 ТБ/с и отличается скоростью инференса до 330 токенов в секунду. Скорость инференса — это показатель того, как быстро обрабатываются данные.  1 токен равен примерно 0,75 слова. Значит, 330 токенов — это около 250 слов в секунду. Человек в среднем читает со скоростью около 4–5 слов в секунду.

Xiaomi называет O100 первым в мире решением с 6-нм 3D-упаковкой на уровне пластины. Главная особенность Xring O100 — вертикальная компоновка вычислительной логики и высокоскоростной DRAM-памяти. Для их соединения используется технология гибридного соединения, благодаря чему расстояние между вычислительными блоками и памятью удалось значительно сократить. Xiaomi утверждает, что такая архитектура обеспечивает в 16 раз большую пропускную способность памяти по сравнению с традиционными смартфонами и помогает решить проблему «узкого места» при передаче данных, из-за которой большие языковые модели не всегда могут эффективно работать локально.

Внутри используется многоядерная NPU-архитектура с динамической маршрутизацией данных, оптимизированная для разных этапов инференса.

Xiaomi уже демонстрировала прототип мини-ПК AI Cube, где Xring O100 работает вместе с другими чипами семейства Xring.