Тестирование массива RAID60 из жестких дисков на двух контроллерах Adaptec

В прошлой публикации я проверил работу трех контроллеров Adaptec разных поколений на массиве RAID6 из восьми жестких дисков. При этом разница в производительности оказалась относительно невелика. Основной причиной является то, что по факту задача по обслуживанию массива такой конфигурации требует не так уж и много ресурсов. Это преимущественно связано с возможностями использованных накопителей — традиционных жестких дисков формата 3,5'' с 7200 RPM и интерфейсом SATA. Их сильной стороной является стоимость в расчете на объем, а никак не скорость. Второе ограничение — конфигурация массива. RAID6 имеет существенные накладные расходы, когда речь заходит об операциях записи, да и на случайных операциях ему особо нечего предложить.

Единственным вариантом увеличения производительности массива, при использовании только жестких дисков, являются конфигурации с цифрой «0» в названии, что означает массив с чередованием. Эта схема обеспечивает повышение скорости благодаря возможности одновременной и независимой работы контроллера с несколькими дисками.

Конечно обычный RAID0 сегодня мало кому интересен, если данные представляют хоть какую-то ценность. А вот RAID50 и RAID60 уже более актуальны. По сути эти конфигурации представляют собой сочетание нескольких групп из RAID5 или RAID6 в массив с чередованием. Плюсом является рост скорости, минусом — снижение полезной емкости массива.

Скажем если речь идет о 24-х дисках, то для них возможно несколько вариантов. Например, две группы по двенадцать дисков с полезной емкостью на 22 диска, или три группы по восемь дисков с полезной емкостью 21 диск и так далее до восьми групп по три диска с полезной емкостью в 16 дисков. При этом увеличение «уровня чередования», напрямую связанное со скоростью, сопровождается увеличением «потерь» на четность — в каждой группе должны быть свои диски четности. Аналогичная схема работает с с RAID60, но с большей избыточностью — от двух групп по двенадцать дисков с полезной емкостью в 20 дисков до шести групп по четыре диска с полезной емкостью в 12 дисков.

Популярные платформы формата 4U позволяют установить до 24 дисков формата 3,5'' с фронтальной стороны сервера и еще 12 можно поставить сзади, если уменьшить пространство для материнской платы до половинной высоты. Итого получается 36 винчестеров. Если речь о полке, где требуется иметь в корпусе только диски, бекплейны, блоки питания и минимальную электронику, то можно рассчитывать на 45 отсеков.

Посмотрим на примере подобного сервера, будут ли отличаться по скорости контроллеры Adaptec 6-й и 8-й серии. В этот раз используется платформа SuperMicro X10SLL-F, процессор Intel Xeon E3-1220 v3 и 32 ГБ оперативной памяти. В ней использовались два бекплейна с экстендерами — на 24 и 12 дисков. Последние были представлены HGST Ultrastar 7K4000 HUS724040ALA640 с интерфейсом SATA и объемом по 4 ТБ.

Конечно, может быть в определенной степени интересно исследовать разные варианты выбора числа дисков в группах, но в данном материале мы для начала ограничимся одним — RAID60 из трех групп по двенадцать дисков, размер блока составляет 128 КБ. Это позволяет получить 30 винчестеров полезной емкости, что в нашем случае составляет около 100 ТБ. Кроме того, часто в массивах предусмотрены диски горячей замены, которых в нашем случае тоже не будет (в частности потому, что тогда было бы максимум только 25 дисков полезной емкости в RAID60).

Остальные условия не изменились – операционная система Debian 9, тестовый пакет fio, работа с «сырым» массивом, проверка на нескольких вариантах параметра iodepth.

Итак, сначала Adaptec ASR-6508. Как и ранее, на графиках приводятся значения в МБ/с для последовательных операций с блоком 128 КБ (соответствующим размеру блока массива) и IOPS для случайных операций с блоком 4 КБ. Вторая кривая – средние задержки.

На последовательных операциях конфигурация выдает до 1700 МБ/с на чтение и до 800 МБ/с на запись. В целом неплохо и заметно больше, чем в прошлой статье. Если речь идет о сервере для хранения данных с доступом по сети, в том числе и 10 Гбит/с, контроллера должно хватать. Хотя конечно от такого большого числа винчестеров хочется чего-то большего.

На случайных операциях записи верхняя граница IOPS проходит на значении немногим более 3000. Это почти в три раза больше, чем в прошлом тесте с массивом RAID6. Что касается случайной записи, то здесь стабильно около 850 IOPS, что также выше, чем в предыдущем материале.

Как мы видим, использование сочетания массива с двойной четностью и с чередованием способно улучшить все четыре исследуемых показателя. Ценой этого является увеличение числа дисков для хранения данных четности.

Посмотрим теперь, как поведет себя в этой конфигурации более современной контроллер.

На последовательных операциях он обеспечивает до 1900 МБ/с на чтение и до 1400 МБ/с на запись. Стоит также обратить внимание на то, что задержки на операциях записи заметно меньше, что говорит о возможности справляться с более высокой нагрузкой. Сравнение с RAID6 такжепоказывает заметное преимущество.

На операциях случайного чтения мы видим аналогичные первому контроллеру результаты – максимальное значение IOPS составляет около 3400 и задержки при большом числе запросов уже велики. А на записи этот контроллер справляется получше – IOPS составляет примерно 1200, что почти в полтора раза лучше, чем у ASR-6805. Напомним, что кроме более быстрого процессора в ASR-81605ZQ больше кэшпамяти.

Еще один вопрос, который мы затронем в этом материале – способы подключения бекплейнов к контроллеру. Вариант без экспандеров сегодня сложно рассматривать серьезно, поскольку RAID-контроллеры на большое число портов существенно дороже, да и ставить сразу несколько контроллеров не всегда удобно.

Поскольку в описываемой конфигурации у нас два бекплейна, то можно придумать два варианта их подключения к контроллеру – один через другой или каждый своим кабелем на отдельный порт контроллера. В описанных выше конфигурациях использовался первый вариант. Он может иметь смысл если только у вас контроллер только на четыре порта с одним разъемом или же если другие порты заняты, например для вывода порта на планку для подключения внешних корзин.

Подключение к разным портам на Adaptec ARS-6805 дает преимущество по производительности только в одном тесте – максимальная скорость последовательного чтения возрастает с 1700 до 2200 МБ/с. Учитывая, что это дается «бесплатно», стоит использовать именно этот вариант подключения, если есть доступные порты. Более интересно посмотреть на ASR-81605ZQ.

На последовательных операциях скорость чтения вырастает с 1900 МБ/с до 2900 МБ/с, а записи – с 1400 до 1900 МБ/с, что выглядит очень привлекательно.

Ну а на производительность случайных операций изменение конфигурации не влияет, что вполне логично, учитывая возможности жестких дисков.

Как мы видим по результатам данного тестирования, массивы с чередованием способны существенно улучшить скоростные показатели решения с традиционными жесткими дисками. Однако это будет связано с уменьшением полезной емкости массива в отказоустойчивой конфигурации. Кроме того, при таком числе винчестеров есть смысл использовать именно последние поколения RAID-контроллеров, которые способны эффективно работать с подобными конфигурациями. Заметное влияние на некоторые показатели имеет и выбранная схема подключения бекплейнов, на что стоит обратить внимание при сборке сервера.

  • Блог: HDD, SSD, флешки, прочие носители информации 15 27 · RSS

29 комментариев

  
Rimlyanin
НЕ понимаю, какой смысл тестировать такие конфигурации, есть все равно все упирается в производительность взятых для этого теста HDD?
Если уж сравнивать между собой два контроллера, то хотя бы не так, чтобы во всех тестах узким горлышком были не контроллеры.

Это все равно что сравнивать максимальную скорость двух спорткаров, когда оба с электронным ограничением скорости в 250км/ч.
Kirill Kochetkov
Такие конфигурации используются на практике. Так что их производительность может быть интересна реальным пользователям.
Rimlyanin
Это если такие или подобные конфигурации, то да, а если статья подается как сравнение двух контроллеров,
будут ли отличаться по скорости контроллеры Adaptec 6-й и 8-й серии
, то нет.
Kirill Kochetkov
Заголовок, на мой взгляд, отражает содержание.
Evgeniy Demchenko
ненадо ничего доказывать, просто эти товарищи ждут контроллеры от ксяоми
Rimlyanin
Вот не хватало от них ещё и RAID контроллеры и прочее серверное оборудование.
Guest_N
Ну не всем это очевидно. Уже «старый» LSI9260 — до сих пор в продаже, фактически каждый третий заказчик интерисуется: вот хотим файловый сервер, 12-16 7kHDD в 5/50raid, 9260 вот нас всем устраивает, но он старый, может что-то новое поставить и будет побыстрее?
Rimlyanin

Ответ Guest_N на коментарий
может что-то новое поставить и будет побыстрее?

Да, второй, и разнести диски между ними. Потому когда дисков много, все упирается в скорости передачи.
Kirill Kochetkov
Сначала нужно определиться с тем, что и где хочется «быстрее». А потом уже смотреть как можно на это повлиять.
Guest_N
Именно по дисковой, при работе с мелочью / случайной выборкой.
Kirill Kochetkov
Думаю что в этом случае можно получить рост в случайной записи от замены контроллера на более современный. На случайном чтении результаты мало от контроллера зависят. Хотя тут конечно вопрос все-таки не в показателях «сырого тома», а в работе с файлами. И это уже немного другая история.
Miracle
Буду занудой, но, при таких объёмах и скоростях кто то интересуется 5 или 6 рейдом? Серьёзно? Если из 8 дисков по 4ТБ со временем сдохнет 1. Какая нагрузка будет на остальные при ребилде и сколько он будет длиться по времени? Каковы шансы, что с нагрузкой в ребилде не вылетет ещё один? А если массиву уже 3 года? Как бы с 10 рейдом как то менее очково.
Guest_N
24 диска по 8TB в RAID5, ребилд — 4 суток при выделении на ребилд 30% ресурсов.
Анна Юсупова
24 диска ставить в один массив RAID5 может только самоубийца. Сложно назвать по другому человека, который готов рискнуть данными всех 23 дисков при выходе одного из строя (точнее говоря, при ребилде).
Чтобы про «устриц ел» сразу не заводить речь — опыт ведущего инженера в провайдерах больше 12 лет.
Последний раз редактировалось
Guest_N
У нас задача собрать конфигурацию и протестировать её, по этому мы гоняем RAID5 на ребилдах именно для выявления сбойных дисков. Если в течении недели диск не высыпается, из 1000 отгруженных в течении гарантийных сроков возвращается только 5-8шт. 90% отказов дисков происходит именно на стадии тестов (тут правда где-то 1/3 не заводится сразу из коробки)
Kirill Kochetkov
По вашему опыту операция ребилда более «тяжелая», чем можно было бы нагрузить массив синтетикой? Или там одновременно с ребилдом еще что-то запускается? И в чем смысл для задачи «протестировать» использовать ребилд не на максимальном приоритете? И в итоге какие конифигурации собираются из дисков такого объема?
Guest_N
Ребилд как правило проводим на максимальном приоритете после того как на 90% заполним объем массива. 30% это значение по-умолчанию, сугубо по запросу клиента — сколько у него займет времени в рабочем режиме в настройках «по умолчанию» (попутно оттуда копировались данные случайной выборкой). Основные эксплуатационные массивы:
4-8 дисков — Raid 5
9-12 дисков — Raid 6
12 и более Raid 50.

10 и 60 просят собрать в лучшем случае раз в год. Самый «забавный» случай — raid 0 из 4x15k HDD, т.к. нужно чтоб быстро, но они-же серверные, значит не сломаются. Переубедить поставить RAID1 из SSD (который выходил даже дешевле)так и не удалось.
Kirill Kochetkov
Именно 50-й, а почему не 60-й? Страшилки про большие диски в пятом и к 50-му относятся, если дисков в группе много.
Kirill Kochetkov
Именно 50-й, а почему не 60-й? Страшилки про большие диски в пятом и к 50-му относятся, если дисков в группе много.
И в чем смысл «тестировать» в «нерабочей» конфигурации 24 диска в RAID5?
Guest_N
По уровням RAID — прихоть заказчика. Если настаивать на 6/60 — некоторые обижаются, мол, я буду этим пользоваться, мне виднее. Т.ч. просто спрашиваем собрать-ли RAID или просто тестировать и затирать конфиг по итогам. Зачастую полка/схд нам нужна вчера, вы проверьте, чтоб все диски были видны и грузите". По тестам: диску-то фиолетово как его тестируют, что RAID0/50/60, что 10+10+10+10+10. Если что-то с контроллером, он и на single будет дичь творить. Кабель — в любом случае где 8+ — все сидит через экспандер (ну и последний раз битый sas кабель лет 8 назад видели). Бекплейн — вообще ни разу битых не было, только запоротые разъемы. Иными словами — у нас задача выявить неисправный диск, т.к. в какой файловой, под какой осью, с каким размером блока, под какими нагрузками будет это работать — все это сэмулировать мы в любом случае не сможем.(По нашему опыту от силы 25% знает под чем будет работать массив. Почти 1/3 еще вообще на стадии выбора софта.)
Методика: если требования нормальные (как минимум знают какой софт — проверяем совместимость контроллера с осью, совместимость дисков с полкой/схд, собираем что запрашивают, гоняем тесты и грузим). Типичный-же сценарий теста: собрали, прошили, собрали raid 5, погоняли iops-meter (скорость ok — дальше по сценарию. скорость не ok — дробим пополам и гоняем, пока не найдем ленивый диск), забили массив на 90%, выдернули диск, перевели приоритет ребилда на максимум, дождались ребилда, запустили iops-meter, проверили скорости, массивы грохнули, настройки контроллера на заводские, отгрузка заказчику.
Тут можно долго и нудно рассказывать все рабочие моменты. Много клиентов с таким Т.З.: нам нужен массив на 80TB, вот у вас есть корпус на 8 дисков, вы туда дисков по 10TB поставьте и мы вечером заберем. Что значит нужен процессор? А контроллер зачем? А RAID для чего? Как это не получится 80TB, диски-же по 10. А зачем мне RAID если я потеряю в объеме,… ну и т.д.
Kirill Kochetkov
надеюсь, что никто не интересуется. Кроме того, некоторые современные контроллеры не дают больше 16-ти дисков ставить в RAID5/6.
Нагрузка всегда может быть высокой. Не думаю, что для дисков критична разница между «работа в штатном режиме» и «восстановление четности».
Не вопрос, что с 10-м спокойнее. Но стоимость…
Kirill Kochetkov
15 SATA 7200 RPM дисков 8 ТБ в RAID6 на 7-м Adaptec с приоритетом задач High — восстановление на HotSpare за 29 часов. Правда он после установки нового диска еще решил CopyBack делать. И потратил на это два с половиной дня :)
Miracle
На свежих дисках я такого не боюсь, но вот на 2х-3х летних уже становится не по себе.
Анна Юсупова
Очень даже критична разница.
Далее, по конфигурации — большой обьём RAID6 весьма востребован у интернет-провайдеров для хранения и обработки NetFlow. Запись там по скорость небольшая, а вот последовательное чтение и обьёмы должны быть большие, чтобы обрабатывать данные за три года.
Последний раз редактировалось
Guest_N
А что провайдеры обрабатывают за 3 года? Запросы из контролирующих органов, кто 2,5 года назад лайкнул неудобный пост? У нас все заказчики провайдеры закупают сугубо ленточные хранилки. 0.5PB HDD обходится в 1,5млн.руб. Ленты: 0,5млн.руб за девайс и по 0,5млн.руб. за 0.6PB лент (в двукратном резерве, без резервирования — 1.2PB). Итого за 1,5млн.руб берется либо 0.5PB HDD, либо 2.5PB ленты.
Kirill Kochetkov
0.5PB на HDD абстрактно или в какой-то конкретной конфигурации СХД?
Guest_N
«Абстрактно-сферическая». Hitachi 4U60 забитая 10TB, либо SM SuperStorage 48x12. Либо проектные для хорошего заказчика от dell/hp/lenovo если у них всех запросить, чтоб они с ценами пободались, тогда от розничной 2,5 вполне до проектной 1,5 уступают (ну тут, правда, хорошо-бы еще пару серваков брать и хорошую лицензию на саппорт, иначе скинут ну хорошо если до 2. Под НГ проект был, dell предлагал полку выходившую дешевле розничной SM)
Kirill Kochetkov
Насколько я понимаю, Hitachi это только полка. SuperStorage на 48 3.5'' не встречал. Но в этой линейке хотя бы уже сервер можно собрать. И какие конфигурации массивов и какие контроллеры под такие объемы используются?
Guest_N
SM SS на 48 дисков тоже полка (2011-3 разрешают только в 36x3.5 адекватно, был извратный вариант 2011 на 72HDD с парой дисков в салазках, но по слухам за все время жизни продукта на территории РФ ни одного не продали, видимо не нравится, что при замене диска выключать нужно пару, т.е. гасить систему), так-же как и ленточные — управляющие мозги отдельно. (все три фактически стоят 1,2млн.руб. 300к для головы: 1U платформа, контролер с внешнеми портами, сетевушка 4x10GBE если мать не умеет в них по-умолчанию, ну и пара кабелей для связи всего этого воедино). Контроллеры по вкусу клиента, в подавляющем большинстве берут LSI (теперь уже Broadcom, но это детали). Adaptec почему-то мало, хотя лично мне он больше нравится.

Новые SM на 3467 еще пощупать не удалось, даже цен дистрибьюторы пока не дают. Там 45x3.5 уже с мозгами.
Оставить комментарий