Huawei замахнулась на ИИ-кластеры в пять раз крупнее Colossus Илона Маска

Китайская Huawei представила архитектуру, которая позволит объединить до миллиона ИИ-процессоров в один вычислительный комплекс. Новая система Peerium должна решить проблему обмена данными между тысячами ускорителей, которая ограничивает производительность крупных кластеров для обучения нейросетей.

В основу разработки легла технология UnifiedBus. Она объединяет процессоры, ИИ-ускорители, память и накопители в общую вычислительную среду. Huawei рассчитывает увеличить скорость обмена данными между стойками до 800 ГБ/с. Это должно сократить задержки и позволить наращивать мощность кластера без пропорционального усложнения его управления.

В качестве первого решения на Peerium создана система Atlas 950 SuperPoD с более чем 8000 ускорителей Ascend 950DT. Сейчас Huawei разворачивает кластер на 256 000 вычислительных карт. Для сравнения, американский кластер Colossus компании SpaceX AI объединяет около 200 000 чипов.

В перспективе архитектура должна масштабироваться до миллиона процессоров и обеспечить обучение нейросетей с 40 трлн параметров. Поставки систем Atlas 950 SuperPoD Huawei рассчитывает начать не позднее начала 2027 года. Пока миллионный кластер остаётся перспективной целью, а не готовой вычислительной системой.

Источник: livescience