Ускорители для ИИ компании Nvidia занимают львиную долю рынка. И новые тесты показывают, что не зря. В тестах MoE (Mixture of Experts) стойка GB200 NVL72 превосходит стойку с ускорителями Instinct MI355X без малого в 30 раз.
В тестах SemiAnalysis показано, что серверы Nvidia Blackwell обеспечивают в 28 раз более высокую пропускную способность на один графический процессор (75 токенов/сек) по сравнению с AMD MI355X в аналогичной конфигурации кластера.
Само собой, в такой молодой сфере, как ИИ, очень многое зависит от тестов, так что такая разница будет далеко не всегда. Однако современные модели ИИ быстро смещаются в сторону архитектуры, ориентированной на MoE (Mode of Experience). В основном это происходит по той причине, что это позволяет гораздо эффективнее использовать вычислительные ресурсы.
При этом масштабирование таких моделей приводит к значительному увеличению вычислительных мощностей по сравнению с плотными моделями.
Из-за определённых особенностей MoE, такие сети требуют огромных объемов обмена данными между узлами, то есть они критичны к масштабированию. И вот тут для решения проблем с с масштабированием, Nvidia применяет подход совместного проектирования, который заключается в использовании 72-чиповой конфигурации с GB200 в сочетании с 30 ТБ быстрой общей памяти. Напомним, с переходом на поколение Blackwell у Nvidia попросту нет отдельных ускорителей, так как она продаёт целые готовые стойки.
Согласно данным Signal65, стойки GB200 NVL72 предлагают в 15 раз меньшую относительную стоимость токена.
