Первый взгляд на серверный SSD Kioxia CM6-V 3,2 ТБ: встречаем PCIe 4.0 и форм-фактор U.3

Тем, кто следит за рынком SSD-накопителей, хорошо известно «двойственное» положение, которое на нем занимает Kioxia (бывшая ранее Toshiba Memory): компания является одним из крупнейших производителей флэша, но и поставщиком готовых изделий на нем тоже. По-видимому, чтобы не мешать розничным партнерам, на этом сегменте рынка она играет не слишком активно – фактически все клиентские SSD Toshiba делаются на контроллерах Phison и под непосредственным контролем Phison. Контроллеры во всех продуктах несут маркировку Toshiba, однако тут ничего особенного тоже нет – аналогичная картина, например, с SSD Seagate: еще один крупный партнер Phison, ради которого можно пойти на подобную перемаркировку. Которой все и ограничивается – на самом деле подобный SSD у Phison может заказать кто угодно. Независимо от размеров – были бы деньги, да умение работать с розницей. Никакой особенной магии во всех таких потребительских (Kioxia предпочитает термин «персональные») накопителях нет.

Совсем другое дело – enterprise. Игроков здесь мало – фактически только те, кто способен самостоятельно работать с контроллерами и прошивками для них. Ну и речь идет не о какой-то моде и новизне в первую очередь – или там попугаях в низкоуровневых бенчмарках. Во главе угла – совсем другие критерии. От стабильности поставок до стабильности скоростных характеристик – причем не пиковых, а выдерживаемых при действительно тяжелой постоянной нагрузке. И условия гарантии должны такому применению соответствовать, что без технических средств не слишком хорошо реализуется. В общем, специфический рынок со своими законами. В которых, опять же, нет ничего такого уж иррационального – разобраться несложно. На деле же все накопители взаимозаменяемы. Просто бытовые SSD нужно осторожно использовать в серверном окружении, учитывая все их достоинства и недостатки. На деле ничего криминального в таком подходе нет – просто можно ненароком перехитрить самого себя, если учтены не все нюансы. А так-то вон многие производители HPC-кластеров долгие годы в качестве загрузочных используют обычные бытовые накопители, типа Intel шестой серии (три года как перебравшиеся на QLC-память) и все у них хорошо. Точно также, серверный SSD можно установить и в обычную персоналку. А некоторые модели и в ноутбуки лезут. Просто тоже нужно изначально четко понимать – зачем. Причины поступить именно так – бывают. Без них – получится просто пустая трата денег. Возможно, даже, и в ущерб каким-то характеристикам. Например, производительность в персональном окружении и при решении бытовых же задач у «бытового» SSD может оказаться более высокой – он на такое применение и рассчитан. Аналогичное относится и к энергопотреблению с тепловыделением: бытовые модели поддерживают разнообразные энергосберегающие технологии и обязаны уметь нормально работать где-нибудь в ноутбуке, а серверным моделям это не нужно. К тому же, считается, что эксплуатанты серверов к охлаждению компонентов подходят ответственно, шума не боятся, применения жидкостного охлаждения при необходимости – тоже, так что задача SSD – работать быстро и хорошо, а об условиях его работы позаботиться пользователь. Точнее, для начала разработчик системы – которая уже потом будет при необходимости немного дорабатываться напильником под конкретные задачи. С «писюками» так тоже можно – но далеко не всегда делается. А потом начинаются страдания, что вот купил серверный SSD «чтобы понадежнее» – а он перегревался, тормозил и вообще накрылся через месяц. Увы, но в этом случае обычно сам дурак безо всяких натяжек.

Впрочем, это было лирическое отступление – которое просто ждало своего часа (когда-то надо было об этом сказать – вот повод представился). Пока же вернемся к теме. Хоть я выше и сказал, что на корпоративном рынке за модой не гоняются, но регулярно модернизировать продукты таки приходится. В частности, прошлый год принес нам два необходимых новшества – PCIe 4.0 и форм-фактор U.3.

С первым – все понятно. В быту оно, может быть, и не так нужно – но в дата-центрах приходится ворочать реально большими объемами информации, что требует и быстрых интерфейсов. Не всегда и не для всех устройств – часть может продолжать спокойно жить на SATA или там SAS, однако какой-то очень быстрый дисковый пул сделать стоит. Тем более, что последние серверные платформы и AMD (чуть дольше), и Intel (начиная с недавно анонсированного Ice Lake-SP) уже поддерживают как раз PCIe 4.0, причем в изрядных количествах, так что дело за смежниками. В итоге серверные SSD с поддержкой новой версии стандарта появились в ассортименте всех крупных игроков (а мелких на этом рынке и нет).

Kioxia – не исключение: компания разработала свой новый контроллер с поддержкой новой версии PCIe и применяет его уже в нескольких бизнес-линейках. Ну, точнее, есть два семейства CM6 и CD6. В каждом есть модели для преимущественно чтения и смешанных нагрузок: -R с 1 DWPD и -V с 3 DWPD. Различаются, естественно, распределением массива флэш-памяти на «пользовательскую» и «резервные» области. Из терабайта, например, получает CM6-V на 800 ГБ или CM6-R уже на 960 ГБ. Платить как обычно придется за полный объем – так что к подбору правильной модели нужно подходить ответственно. Ну и, как обычно, в этих линейках присутствуют модификации с расширенной функциональностью, так что для любой емкости найдутся четыре модули: «базовая», с поддержкой Instant Secure Erase (для более надежного удаления конфиденциальных данных при выводе дисков из оборота), с самошифрованием или сертификацией под FIPS 140-2 Level 2 (для нашего рынка, понятно, не актуально). Дальше мы немного ближе познакомимся со средней моделью семейства CM6-V без дополнительных плюшек.

Которая уже U.3, а не U.2 – хотя с виду никаких особенностей нет. Дело в том, что U.3-накопители используют тот же самый разъем SFF-8639, что и U.2. А получился он из традиционного для SAS SFF-8680 путем увеличения количества контактов с 29 до 68.

Собственно, вот так разъемы и выглядят. Пронумерованы каналы – это либо линии PCIe для NVMe-накопителей, либо SAS для подключения, собственно, SAS или SATA. Видно, что несмотря на физическую совместимость разъемов, SAS и U.2 несовместимы логически, поскольку используют абсолютно разные контакты. Поэтому приходится и разные корзины использовать, и разные контроллеры – «неправильные» пары даже пытаться работать не будут. U.3 же использует весь разъем, причем по-умолчанию это нечто похожее на расширение SAS до четырех каналов (напомню также, что к каждому можно подключить один SATA-накопитель – только специальный кабель-разветвитель нужен).

Зачем это все нужно? Для «трехмодовых» контроллеров, на которых будут собираться мощные СХД, состоящие из смеси NVMe-, SAS и SATA-накопителей. Первые, конечно, по логике лучше подключать непосредственно к процессору – для минимизации задержек, но… Не всегда нужен максимум производительности, а собственных линий у него маловато. Значит можно к PCIe 4.0 x16, например, подключить контроллер, на котором будут висеть в максимальной конфигурации:

• пара Optane SSD для кэширования самых горячих данных, часто обновляемых индексов или просто временных файлов
• несколько тех же Kioxia CM6-V для очень горячих
• дополнительно немножко более дешевых CM6-R – для тех данных, которые будут в основном читаться, но часто
• десяток-другой nearline-винчестеров (SAS-, а то и просто SATA): медленных, зато очень дешевых; для хранения холодных данных

И все это – в виде единого дискового пула. Прозрачным для системы образом. Или (что лучше) контроллер со всеми накопителями может представляться системе как Zoned Storage Devices, что внесено в NVMe 1.4 – и дальше она уже сама будет «понимать» куда можно писать с произвольной адресацией, куда – не стоит, а где вообще пачка SMR-дисков для бэкапов.

В общем, все красиво – при использовании по-назначению. Для чего еще и нужна соответствующая инфраструктура. Но не стоит падать духом – на деле U.3 полностью совместим и с U.2: определив «неправильный» внешний контроллер, SSD сам назначит контакты как надо. Поэтому CM6-V я просто воткнул в переходник на PCIe – а дальше в слот на системной плате и… Все получилось. Хотя переходник продавался еще как PCIe 3.0 x4 – но никаких проблем с 4.0 тоже не возникло от слова совсем. Единственное, чего лишился – работы в двухпортовом режиме, который поддерживают все CM6: в бытовой системе «получается» только 1х4, но не 2х2. Хотя для того, чтобы посмотреть, что выйдет в бытовых сценариях, нам как раз первый-то и нужен. А так-то фактическая отмена разделения накопителей на двух- и однопортовые тоже важное нововведение U.3: ранее такой гибкости в принципе не было.

Ладно – посмотрим, что нам обеспечит CM6-V в качестве SSD вульгарис. Для чего установим его во второй «процессорный» слот PCIe 4.0 x8 платы Asus Maximus XIII Hero. Процессор, естественно, Intel Core i9-11900K – до Rocket Lake процессоры Intel новый интерфейс не поддерживали.

Начнем с полной прописи в AIDA64. Как и следовало ожидать, SLC-кэширование здесь не используется. Кстати, кэширование записи в оперативной памяти тоже в принципе отключено и включить невозможно – еще одна характерная особенность серверных дисков. По этим двум причинам они могут быть медленнее бытовухи – всегда честно полагаются на собственные возможности, а не дополнительные ухищрения. Но и возможности далеко неплохие – бодро начинаем с 3,6 ГБ/с, что, вообще говоря, для этого теста очень хорошо (и в PCIe 3.0 не лезет заодно). К концу скорость записи снижается – но это может быть и следствием борьбы с температурой.

Дело в том, что все SSD с PCIe 4.0 пока еще являются горячими ребятами. А в серверных моделях на это в принципе не обращают внимания – охлаждать в любом случае нужно. Поэтому я использовал принудительный обдув слота 80 мм вентилятором во всех тестах – в этом случае температура не превышала 45 градусов. Но один провел, убрав вентилятор.

Ну, тут все понятно. Порядка 800 ГБ улетело на полной скорости, потом накопителю стало жарко – и он сбросил скорость до 2 ГБ/с. Поскольку нагрузка сохранилась, разогрелся до 78 градусов (по датчику), включил троттлинг – а далее медленно и печально продолжал писать на скорости 800 МБ/с (можно было и до конца довести процесс, но жалко зверушку стало). И это на открытом стенде, без стороннего подогрева и несмотря на большой корпус с хорошим теплоотводом. В общем, я об этом всем не зря выше предупреждал.

Теперь на всякий случай прогоним чтение – после записи это полезно. Не в данном случае, скорее, поскольку SLC-кэша нет – но вообще среди нынешних накопителей встречается немало таких, что «паспортные» скорости развивают лишь при работе с кэшем и на операциях чтения. Пустой же накопитель читать, понятно, бесполезно – при этом физических обращений к ячейкам вообще не происходит.

Как и ожидалось, ничего криминального. Более 3 ГБ/с в таком сценарии – очень даже нормально. Не все так умеют.

Но вообще лучше посмотреть на скорости на операциях с большими файлами. Благо есть на что. Особенно на запись в 32 потока – пока так никто из SSD в моих руках не мог. Ну и вообще скорость записи очень хорошая и в точности соответствует обещанным производителем 4,2 ГБ/с. Чтение – ниже заявленного, но с ним есть свои особенности – все-таки декларируют обычно показатели низкого уровня, что «на файлах» выжать сложно, а то и невозможно. И, опять же, выше ограничений PCIe 3.0 х4 в большинстве сценариев, так что прок от нового интерфейса есть. Меньше теоретически возможного – ну так и не все сразу.

Что касается комплексных бенчмарков, то тут сравнивать особо не с кем – я эту платформу только недавно начал использовать. Впрочем, есть WD Black SN850 2 ТБ – чего на самом деле и достаточно: это один из самых быстрых «бытовых» SSD с поддержкой PCIe 4.0, а тут получилось не хуже. Можно даже считать, что и лучше – скорость при заполнении не снижается. Хотя, конечно, использовать Kioxia CM6-V в качестве основного в обычном «писюке» это из пушки по воробьям: с этой работой он справится, но стоит слишком дорого. С другой стороны, если не гнаться за 3 DWPD (в персональном окружении не нужно), то есть более дешевая линейка CM6-R. А еще на аналогичной элементной базе есть «датацентровые» CD6 попроще (и тоже в виде двух семейств)...

 Хотя все равно, конечно, избыточно. И ориентировано, все-таки, под высокие емкости – за счет которых и получается получить высокую производительность без дополнительных костылей. Однако это само по себе не так часто нужно, да и цену еще больше увеличивает. Однако если вдруг есть выходящие за рамки мейнстрима запросы – их придется решать при помощи «немейнстримных» же накопителей. Вот, например, таких :)