Cerebras представляет WSE-3: самый большой ИИ-чип в истории

Компания Cerebras Systems Inc. анонсировала выпуск третьего поколения своих вычислительных процессоров под названием Wafer Scale Engine 3 (WSE-3). Эти процессоры предназначены для использования в самых требовательных вычислительных системах искусственного интеллекта.

Основным заявленным достоинством WSE-3 является его впечатляющий размер и производительность. Этот чип является одним из самых крупных на рынке и превосходит по размерам конкурентные решения, включая самый крупный GPU Nvidia H100, на 57 раз. По сути, WSE-3 представляет собой целую кремниевую пластину с 84 чиплетами, изготовленными по 5-нм техпроцессу TSMC. В общей сложности WSE-3 содержит 4 триллиона транзисторов.

Одним из ключевых преимуществ WSE-3 является его невероятная пропускная способность памяти, которая достигает 21 петабайт (21000 терабайт) в секунду. Это обеспечивается за счет использования 900 тысяч оптимизированных для задач искусственного интеллекта ядер и 44 Гб системной памяти SRAM. Пиковая производительность одного чипа достигает 125 петафлопс, что превышает быстродействие ускорителя Nvidia H100 более чем в 31 раз.

Cerebras Systems планирует использовать WSE-3 для создания собственного суперкомпьютера, который будет обучать языковые модели в 10 раз больше, чем существующие ChatGPT-4 и Gemini. Ожидается, что это обеспечит лучшее соотношение производительности и энергоэффективности в своем классе.

Однако, несмотря на впечатляющие технические характеристики, использование WSE-3 с коммерческой точки зрения выгодно лишь в большом количестве, так как один чип потребляет неоправданно много энергии — вплоть до нескольких десятков киловатт. Тем не менее, компания Cerebras уверена в том, что ее чипы существенно опережают современные темпы развития индустрии.

Источник: hi-tech.mail.ru