DeepSeek анонсировала ИИ-модель V4.1 Flash на 763 миллиарда параметров

Китайская компания DeepSeek представила обновленную языковую модель V4.1 Flash, объем которой увеличился до 763 миллиардов параметров. Несмотря на прирост размера в два с половиной раза по сравнению с предшественником, архитектурные оптимизации позволили существенно снизить требования к вычислительным ресурсам и видеопамяти ускорителей.

Ключевым нововведением стало использование модуля условной памяти, содержащего 196 миллиардов так называемых N-gram параметров. Эти данные выступают в роли встроенного справочника и выносятся в оперативную память системы или на быстрые накопители, снижая потребление памяти графических процессоров с 763 ГБ до 567 ГБ в формате FP8. Дополнительно разработчики обновили механизмы внимания и ввели причинно-следственный декодер (CED), что сократило расход памяти KV-кэша до 13-25% от показателей прежней версии.

Предложенный подход позволяет обслуживать от четырех до восьми раз больше одновременных пользователей на том же аппаратном оборудовании. Аналогичные решения с выносом части параметров в системную память уже используют Google в технологии Per-Layer Embedding и Alibaba в экспериментальной модели Qwen 3.8-Flash-Next.

Источник: theregister