Для работы проектов iXBT.com нужны файлы cookie и сервисы аналитики.
Продолжая посещать сайты проектов вы соглашаетесь с нашей
Политикой в отношении файлов cookie
kirill_rrr
Комментатор
kirill_rrr
Рейтинг
+427.30
Автор не входит в состав редакции iXBT.com (подробнее »)
>>Не знаю вряд ли так просто можно это по разному железу распараллелить.
Абсолютно точно легко паралелится, но действительно есть риск деградации общей производительности если шина между кусками будет узким местом. Да и потом, большие модели это порядок 700Гб памяти, а так как даже самые топовые ускорители столько не вмещают… Короче оно и так уже заточено под деление на кластер.
Не, там много нейронов и у каждого мног связей, но это совсем не каждый-с-каждым если приложить голову то нейронку можно распилить по кускам так что объём передачи между ними будет не слишком то большим. Рассчёты га GPU, особенно серверный и кластерные ± умеют это делать на уровне базовых инструментов и драйверов, заниматься этим вопросом начали больше 20 лет назад при появлении видеокарт Voodo а затем продолжили в sli/crossfire, потом в майнинге и тяжёлом рендеринге… Короче фреймворки, ускоряющие нейронки на видеокартах уже имеют базу для дробления.
Бред. Просто бред.