Илон Маск рассказал о новой разработке в инфраструктуре обучения ИИ: команда SpaceX почти завершила первую версию собственной системы для обучения моделей, написанной на языке C и максимально приближённой к «железу» серверов.
Речь идёт о низкоуровневой технологии, которая напрямую взаимодействует с кластером из порядка 220 тысяч ускорителей Nvidia GB300 и сетевых интерфейсов 800G. Архитектура активно использует параллельные вычисления и минимизирует промежуточные слои, чтобы снизить задержки и повысить эффективность работы.
По словам Маска, система проектируется так, чтобы работать почти без посредников между кодом и аппаратной частью, фактически максимально используя возможности оборудования. Такой подход должен обеспечить колоссальный прирост производительности в крупных обучающих запусках.
Он также заявил, что потенциально новая реализация может оказаться более чем в 10 раз быстрее по сравнению с JAX — популярным фреймворком для машинного обучения, который применяется в масштабных вычислительных задачах.
