Похоже, компания Intel может составить конкуренцию Nvidia на достаточно неожиданном поле. Первые тесты ускорителя Intel Gaudi2 показывают, что он может составить конкуренцию монстрам Nvidia A100 и даже H100 в задачах обучения больших языковых моделей.
Intel и Habana опубликовали тесты нового ускорителя в MLPerf, который сейчас хотя бы как-то можно использовать в качестве универсального теста. В основе лежит много задач, но одна из показательных — скорость обучения модели GPT-3.
В случае Gaudi2 384 таких ускорителя обучили модель за 311 минут. К сожалению, напрямую сравнить это с результатами Nvidia нельзя, так как в идеале нужно сравнивать с сопоставимой по цене системе. Есть данные, что более 3000 ускорителей H100 справляются с этой задачей за 11 минут, но это совсем другой уровень.
При этом сама Intel утверждает, что её ускоритель превосходит Nvidia A100 по соотношению цены и производительности в вычислениях FP16, и, как ожидается, к сентябрю превзойдёт H100 в FP8.
Учитывая, что на рынке сейчас имеет место огромный дефицит подобных ускорителей ИИ, и та же Nvidia не справляется со спросом, решения Intel могут быть очень востребованы, даже если в реальности они не так хороши, как продукты конкурента.