Компания Nvidia рассказала, что её разработки уже позволили ведущим поставщикам решений для машинного обучения сократить затраты на ИИ до 10 раз. Это стало возможным благодаря моделям с открытым исходным кодом на платформе Blackwell.
Речь в данном случае о токеномике и снижении на порядок именно стоимости одного токена. Nvidia объясняет это так:
Если станок производит в 10 раз больше продукции при дополнительных инвестициях в чернила, энергию и сам станок, стоимость печати каждой отдельной страницы снижается. Точно так же инвестиции в инфраструктуру искусственного интеллекта могут привести к значительному увеличению выпуска токенов по сравнению с ростом затрат, что приведет к существенному снижению стоимости одного токена
В ходе обсуждения токеномики Nvidia упомянула такие организации, как Baseten и Sully.ai, а также ориентированные на игры DeepInfra и Latitude. Для каждой из этих компаний архитектура Blackwell позволила добиться меньшей задержки, оптимальных затрат на вывод и надежных ответов, поэтому этот технологический стек сегодня является предпочтительным вариантом для компаний, занимающихся разработкой ИИ.
Компания говорит, что с помощью ускорителей Vera Rubin она планирует вывести эффективность инфраструктуры на совершенно новый уровень, используя достижения в архитектуре, специализированные механизмы, такие как CPX для предварительного заполнения, и многое другое.