SanDisk запатентовала гибридную архитектуру памяти для серверов ИИ

Компания SanDisk получила патент на новую архитектуру системы памяти, которая интегрирует NAND-флеш непосредственно под вычислительными чипами графических процессоров и AI-акселераторов. Решение предусматривает размещение блока памяти NAND на основе технологии CBA на одном интерпозере со стеком HBM и основным процессором, что позволяет создать многоуровневую систему хранения данных в одном корпусе.

Разработка адресует растущие проблемы в инфраструктуре искусственного интеллекта. Современные GPU и AI-процессоры полагаются на HBM как основной источник памяти с высокой пропускной способностью, но эта технология имеет ограничения. Ёмкость одного стека HBM достигает максимум 64 ГБ, при этом стоимость производства остаётся высокой, а пропускная способность ограничена физическими свойствами технологии.

В предложенной архитектуре HBM и NAND выполняют разные функции в системе. HBM обрабатывает данные, требующие немедленного доступа и низкой задержки, в то время как NAND берёт на себя операции чтения и записи больших объёмов информации. NAND-флеш позволяет достичь ёмкости до 4 терабайт в одном стеке, что значительно превосходит возможности HBM.

Техническая реализация основана на вертикальном расположении нескольких слоёв NAND-памяти, соединённых через переходы TSV внутри кремния. Более широкие каналы связи между слоями памяти и вычислительным чипом повышают скорость передачи данных по сравнению с традиционными решениями, где NAND находится отдельно от процессора. Одновременная интеграция различных типов памяти снижает нагрузку на энергопотребление и стоимость системы в целом.

Патент обозначен номером US 12,430,274 B2. SanDisk также разработала альтернативное решение HBF, архитектуру флеш-памяти с высокой пропускной способностью, которая следует принципам иерархического конструирования, используемого в HBM.

Несмотря на получение патента, технология остаётся на теоретическом уровне. Специалисты отрасли указывают на необходимость решения множества инженерных задач перед коммерциализацией. В их число входят оптимизация энергопотребления интегрированной системы, повышение эффективности производства, упрощение процесса сборки многослойной структуры и возможность организации массового производства такого оборудования.

Источник: CNMO