С серверным оборудованием (впрочем, как и с любыми новыми или редкими железками) есть проблема: их нельзя увидеть до покупки. Не знаю как с этим обстоят дела в Москве, но у нас в Новосибирске невозможно придти в фирму и посмотреть глазками на железку, которую тебе хочется… под заказ привезут, да … но ведь нужно ещё понять, что лучше приобрести на выделенный бюджет. Такой вопрос возник и в этот раз.
Мы решили купить новый файл-сервер, взамен убогого в данном назначении компьютера на Дуроне. Ставку сразу сделали на Serial ATA в лице Western Digital Raptor. Под них и выбирали корпус. Как оказалось, SuperMicro с корзинами под Serial ATA привезти в принципе невозможно, а у другого бренда — Intel — есть только два корпуса с нужными нам корзинами (точнее, только в два корпуса можно поставить эту самую корзину): SC5250 и SC5200.
SC5250 отпал, так как он не монтируется в стойку (хотя с экономической точки зрения очень привлекателен — советую обратить на него внимание, если вам не нужно стоечное исполнение). В итоге после долгих разговоров с поставщиком, неоднократных посещений сайта Intel, мы остановились на Intel Server Chassis SC5200 KHD3HSRP650 (650W 2+1). Два hot-swap блока питания и такие же кулеры. Корпус идёт со SCSI-корзиной, а вот Serial ATA-корзину (ASATAHSDB) мы заказывали отдельно.
Ещё более тяжёлая судьба была у материнской платы. Опять же по соображениям доступности ничего кроме Intel'а мы не рассматривали. Выбор пал на Intel Entry Server Board S875WP1LX. Большой производительности от данного сервера не требуется, а вот сэкономить на процессоре/плате можно неплохо. Хотя главное из-за чего бралась эта плата — это 6(!) встроенных SATA-портов.
Корпус Intel SC5200 (KHD3HSRP650)
Первое впечатление — паровоз с топкой.
Люк в крышке очень впечатляет! Шум корпус производит не малый, но обдув там великолепный…
Всего в корпусе 5 hot-swap вентиляторов: два сзади и три — за корзинами с дисками.
Вместе они создают довольно мощный сквозной поток воздуха.
Еще один вентилятор можно увидеть на радиаторе процессора.
Корпус имеет как пьедестальное, так и стоечное исполнение. Если изначально был взят пьедестальный вариант, в дальнейшем можно докупить Rack Conversion Kit (AHD2RACK, AHD3RACK).
Именно этот вариант (KHD3HSRP650) имеет два hot-swap блока питания и один отсек для резервного. Его место пока занимает заглушка.
Два разъёма питания позволяют подключить сервер к независимым линиям.
Каждый блок рассчитан на 350 ватт. Блоки питания произведены Delta Electronics.
Третий, резервный блок мощности не добавляет, он работает исключительно как замена вышедшему из строя. Вся конструкция выдаёт 650 ватт.
Позади блоков питания есть два ветродуя.
Корпус имеет 9 полноразмерных пятидюймовых отсеков и один slim, например, для cd-rom'а. Трёхдюймовые отсеки не предусмотрены вовсе, но есть несколько салазок-переходников, к которым можно прикрутить, например, винчестер. Для монтирования СД драйва идут салазки (наподобие тех что использует InWin, только помощнее).
Корзина крепится к корпусу посредством салазок, но уже более мощных — с 10 точками крепления к корпусу.
Таким образом, в корпус можно поместить три корзины, каждая из которых занимает три отсека. Хотя делать это не рекомендуется по соображениям вентиляции, в данном случае я считаю это возможным, потому как воздушные потоки здесь совсем иные, чем в варианте с Xeon'ами.
На передней панели помимо кнопки включения питания, сброса, есть кнопка сна, а в стоечном исполнении — кнопка ID, которая зажигает соответствующие светодиоды — спереди и сзади. Нужно это для идентификации сервера в стойке при большой заполненности.
Из светодиодов — питание, активность сети (два диода), активность диска, сбой, и для стоечного исполнения — ID. Так же выведен коннектор USB; для rack-варианта есть возможность выведения на переднюю панель com-порта. Про мониторинг смотрите в разделе, посвящённом материнской плате.
Материнская плата Intel Entry Server Board S875WP1LX
Будьте внимательны! 6 портов только у S875WP1LX, а базовый вариант — S875WP1 имеет только 2 порта. Так же, как вы понимаете, у неё серверное питание (24 + 8, имеются ввиду коннекторы питания). Поэтому эта плата не подойдёт желающим сделать рабочую станцию или сервер в десктопном корпусе.
Материнская плата построена на чипсете Intel 875P, чипсет стандартный и нет смысла подробно его расписывать, стоит лишь отметить, что южный мост использован ICH5R, что позволяет строить RAID базового(0+1) уровня без применения внешних контроллеров (хотя ещё встроен контроллер от Promise). Есть два встроенных сетевых контроллера: 100VE и 1000CT. Видеокарта — ATI Rage XL.
Встроенный raid включается хитро (RTFM, RTFM и еще раз RTFM). На прилагаемом в комплекте диске есть маленькая утилита sataraid.exe, которой можно конфигурировать режим рейда встроенных контроллеров (ICH5R и Promise).
Утилита, собственно, включает или отключает БИОС контроллеров: встроенного (Adaptec Embedded SATA HostRAID BIOS) и BIOS от Promise. Можно включить либо тот, либо другой, либо оба.
При включённом RAID'е на ICH5R не сконфигурированные диски будут отображаться как массивы типа JBOD. В Promise же они совсем не отображаются.
Если при создании массива в Adaptec HostRaid BIOS только создать его, без проверки, БИОС в последствии сам выполнит фоновую проверку.
Надо заметить, что материнская плата более-менее сбалансирована и расширению не подлежит! Тем, кто хочет использовать большее количество дисков следует присмотреться к вариантам с PCI 64. Так как, на мой взгляд, шесть дисков и сетевая карта итак упираются в производительность шины PCI (гигабит подключён отдельным каналом к MCH).
Плата поддерживает удалённый мониторинг — LanDesk. Но ввиду того, что материнская плата и корпус всё-таки из разных классов, осуществляется мониторинг только 4-х вентиляторов (включая процессорный), а корпус имеет 5 вентиляторов + 1 на процессоре. Более того, один вентилятор пришлось подключать через переходник к БП — для него не осталось коннектора на плате.
Удалeнный мониторинг и LanDesk.
На сервер устанавливается сам сервис мониторинга, на рабочую станцию администратора — сервис сетевого администрирования. В него добавляются все контролируемые сервера, и в последствии программа сигнализирует администратору обо всех ошибках и предупреждениях, возникших у «подопечных» серверов.
Приложение сетевого контроля выполнено в модной ныне веб-архитектуре. На главной странице осуществляется управление оповещениями и управление списком целевых компьютеров.
При нажатии на имя компьютера можно зайти в режим управления данной машиной.
В принципе, все параметры стандартны (температура, скорость вращения кулеров, напряжения, количество свободного места на дисках, датчик Intrusion detection), вы можете увидеть их на скриншоте, особо хочется отметить возможность просмотра ошибок памяти — ECC Parity Errors.
Там же можно взглянуть на полные характеристики установленного аппаратного обеспечения (раздел Inventory).
Корзина SATA Hot-Swap ASATAHSDB
Всего для этого корпуса предлагается две корзины: для SATA и SCSI. Основа у них общая на 5 дисков.
Но в SATA варианте можно подключить только 4 диска (!) — место пятого занимает заглушка, и разъём не разведён на плате. Сделано это ввиду того, что как раз на месте пятого разъёма распаяны коннекторы SATA.
Стандартно корпус идёт со SCSI-корзиной на 5 дисков.
Так как в нашей конфигурации нет scsi-дисков, то мы её выкрутили. После недолгого раздумья и внешнего осмотра зародилась одна мысль. Надо сказать, что основа у обеих корзин одинаковая, различаются они только печатной платой находящейся на дне корзины. К корзине прикручены широкие салазки для крепления в корпусе, вот они-то и дали толчок мысли.
Открутив их и поставив на их место стандартные салазки для cd-rom'а от корпуса INWIN S500, я спокойно вставил корзину в этот самый корпус!
Как видите — стоит замечательно и позади корзины есть место…
Одно но: если надеть на корпус «морду», её нижняя кромка блокирует доступ к дискам — она не даёт выдвигаться фиксатору, он при выдвигании смещается немного вниз.
Думаю, каждый сам оценит для себя полезность данной конструкции. У меня же долгое время было желание найти корпус с большим количеством слотов под диски и хорошим обдувом, и вот он чудо — Франкенштейн. Касательно обдува: корзина (как scsi, так и sata) также предназначена для корпуса SC5250E, а там обдув реализован по-другому: с корзины снимается пластмассовый задник, к нему прикручивается стандартный кулер (правда, большого диаметра), затем пластмасса присоединяется обратно. Таким образом, с вентиляцией проблем не будет.
Вот так можно получить рабочую станцию (или компьютер с претензией на сервер) с отличной дисковой подсистемой за очень небольшие деньги! Само собой, надо озаботиться проточной вентиляцией, но сам факт такого скрещения не может не радовать. Хочу предостеречь любителей сэкономить: хорошо подумайте что делаете, тот же SC5250E стоит не намного дороже… В общем никому этого не рекомендую, это так — повод поразмыслить.
Жёсткие диски SATA
Диски как диски.
У Seagate нет старого разъёма питания, у WD — есть. Для лучшего охлаждения Raptor'ы имеют рёбра. У старшей модели их больше. Реально производительность Raptor'ов почти в два раза больше того же Seagate. Хотя точные цифры смотрите ниже.
Новый стандарт принёс возможность hot-swap'а в массы, что раньше было прерогативой SCSI. Из заметных преимуществ можно, конечно, выделить и простоту подключения, и отсутствие джамперов, и минимум проводов (хотя меня убивает разъём питания, который два раза больше разъёма для кабеля данных), и хорошую циркуляцию воздуха, хотя, вы всё это уже слышали.
Всё это великолепие так и останется грудой железа, если мы не зададим главный вопрос: насколько быстро оно работает? То есть, переходим к тестам.
Результаты тестов
Конфигурация сервера:
- Процессор: Intel Pentium 4 2.8GHz (512 kb кэш, 800 MHz fsb)
- Мат плата: Intel S875WP1LX
- Память: ValueRAM 512 MB PC3200 ECC, 2 шт.
- ЖД: Western Digital Raptor WD360 36,7 GB, 2 шт.
- ЖД: Western Digital Raptor WD740 74,3 GB, 2 шт.
- ЖД: Seagate Barracuda 7200.7 ST3120026AS 120 GB
- Корпус: Intel Server Chassis SC5200 KHD3HSRP650 (650W 2+1)
- Корзина: ASATAHSDB
IOMeter.
Система стоит на WD360 на ICH5R.
Тестируются:
- WD740(Promise)
- WD360(Promise)
- ST3120026AS(Promise)
- WD740(ICH5R)
- WD360(ICH5R)
- ST3120026AS(ICH5R)
- Promise Mirror (WD740)
- Promise Stripe (WD740)
- ICH5R Mirror (WD740)
- ICH5R Stripe (WD740)
Список общих тестов:
- a) Linear Read: Begin, Middle, End
- b) Linear Write: Begin, Middle, End
- c) Random Read
- d) Random Write*
- e) File Server: 1 Outstanding I/Os per target**
- f) File Server: 16 Outstanding I/Os per target
- g) File Server: 64 Outstanding I/Os per target
- h) File Server: 256 Outstanding I/Os per target
** Outstanding I/Os per target — количество одновременных обращений к диску.
Run time:
a, b: 1 минута
c — h: 10 минут
Starting disk sector (for a,b): WD360 (72 303 840) Begin: 0 Middle: 35 000 000 End: 70 000 000 WD740 (145 226 112 sectors) Begin: 0 Middle: 70 000 000 End: 130 000 000 Stripe WD740 Begin: 0 Middle: 140 000 000 End: 260 000 000 ST3120026AS (232 783 872 sectors) Begin: 0 Middle: 120 000 000 End: 230 000 000
Transfer request size:
a-d: 4kb
e-h: vary
Promise Stripe Block = 64 kb
Список тестов на размер блока данных:
a) Linear Read: Begin, Middle, End.
b) Linear Write: Begin, Middle, End.
Transfer request size:
1, 2, 4, 8, 16, 32, 64, 128, 256, 512, 1024 кб.
Run time:
1 минута
Starting disk sector (for a,b): WD740 (145 226 112 sectors) Begin: 0 Middle: 70 000 000 End: 130 000 000 Stripe WD740 Begin: 0 Middle: 140 000 000 End: 260 000 000 ST3120026AS (232 783 872 sectors) Begin: 0 Middle: 120 000 000 End: 230 000 000
Немного о тестах. File Server Access Specification составлена в результате наблюдений за реальными приложениями (не мной). Отталкиваясь от этого, для других Access Specification я выбрал размер блока в 4 кб.
Итак — результаты (ссылка на сырые результаты IOMeter в .xls файле):
Тест на скорость обмена.
Как видим, новый Raptor (это тот, что на 70 гигов) более чем в полтора раза быстрее, чем Seagate и немного быстрее старого. Массивы при одном потоке имеют ту же производительность, но при высокой загрузке показывают себя более достойно. Хотя между ними нет ожидаемой разницы — по идее Stripe должен быть в два раза быстрее. К теме производительности массивов я вернусь ниже. Ещё один вывод, который можно вывести — производительность ICH5R и Promise. Контроллер от Intel немного уступает на одиночных дисках и немного превосходит на массивах, но разница минимальна, она вполне укладывается в погрешность измерений (заметим, что тест основывается на случайном доступе).
Количество операций ввода-вывода в секунду.
Картина абсолютно идентична предыдущей — выводы о соотношении производительности те же.
Средняя задержка на операциях чтения.
Опять абсолютное превосходство Raptor, паритет Promise и Intel, и те же странные результаты замера производительности массивов.
Неимоверно низкая задержка при записи в один поток, на мой взгляд, объясняется кэшированием записи. Тем более что с ростом нагрузки, когда кэш уже не справляется, результаты записи и чтения становятся примерно равными.
Теперь приступим к тестам, показывающим теоретические параметры дисков, в отличие от теста «File Server», эмулирующего реальную нагрузку.
Скорость линейного чтения в начале, середине и конце диска.
Здесь разница между WD и Seagate не так велика, но всё же 70 МБ/сек. вызывают уважение. Надо отметить, что у Raptor диски (блины) имеют меньший размер, чем коробка; как и в scsi — для стабильности вращения на больших оборотах (отсюда и маленький размер). Поэтому у него деградация производительности от начала диска к концу мала по сравнению с сигейтом.
Опять же странные результаты для массивов. Ещё раз повторюсь, что в конце по этому поводу я скажу пару слов. И убийственный результат Seagate'а на ICH5R. Замечу по результатам других статей — это нормальная производительность этого диска (см. статью по сравнению дисков с интерфейсом Serial ATA).
Для дисков результаты те же, что и при чтении, а вот массивы немного изменили свои «показания».
Ещё один очень интересный тест — фактически, при одном потоке, это среднее время доступа. Варьируя в Access specification параметр %reads, получаем либо среднее время доступа на чтение, либо на запись. Тестировать в несколько потоков смысла нет, фактически, результаты будут пропорциональны тесту File Server. Так что чисто теоретически интересен лишь тест в один поток. Опять же при записи играет роль кэш.
Последний график. Низкая скорость записи у зеркального массива. И опять влияние КЭШа.
В приведённых пояснениях везде, где показывается влияние КЭШа, цифры практически бесполезны, ввиду того, что в реальной работе это ни как не проявится. Наиболее значимые теоретические цифры: скорость линейного чтения и среднее время доступа на чтение. Данные о тестах на запись приведены скорее в нагрузку.
Теперь касательно планки в 40 МБ/сек на ICH5R для всех дисков и массивов, а так же массивов на Promise'е. Как мне кажется, у ICH5R производительность ограничена «считалкой», которая лимитирует IOPs. Что лимитирует промайз мне неясно. Для разгадки этого феномена я провел ряд дополнительных тестов, суть которых состояла в варьировании блока чтения (чтение начала диска).
То есть в случае с отдельными дисками Promise даёт ровную производительность при любом размере блока. ICH5R набирает обороты только на 8-32 кб в зависимости от диска.
На массивах ситуация в корне иная. Оба контроллера на маленьких блоках ведут себя одинаково, но на ICH5R для Stripe'а рост более уверенный. Оба контроллера имеют 64 кб блок для Stripe, но в промайзе это настраивается, а у Intel — нет. У зеркала же на больших блоках наблюдается деградация производительности, но опять же у ICH5R она наступает позже.
Экономическая эффективность (вместо итогов)
Замечание: я рассматриваю только компоненты Intel, ввиду того, что компания предлагает комплекты для построения сервера: мат плата + корпус, и сопровождает свою продукцию удобными средствами мониторинга. Да и распространённость и поддержка тоже вносят свою лепту. Для кого-то в глубинке (почти, как у нас, например :), Intel — единственный доступный бренд серверов.
Немного слов о компонентах:
- Raptor действительно оказался быстрым диском, с отличными характеристиками. Стоит ли он своих денег — каждый решит сам. Что касается его надёжности — покажет время, но заявленные характеристики дают повод для оптимизма.
- ICH5R как контроллер SATA дисков вполне удался, а при работе с массивами он вообще на высоте. Ждём продолжения от Intel в лице ICH6.
- S875WP1LX — хорошая материнская плата для бюджетного file-сервера. Применение серверного питания сужает область использования, но в организациях со стандартизированным парком серверов это не будет недостатком, скорее — наоборот.
- SC5200 — не самый удачный вариант для простого файл-сервера, ввиду его дороговизны. Опять же в крупных организациях унификация имеет главенствующее значение. Да, и есть возможности роста. Если же предполагается использование, как ATA, так и SCSI дисков, то этот корпус будет хорошим выбором (безальтернативным при выборе из корпусов от Intel).
В целом моя конфигурация может вызвать у кого-то удивление. Нам требовался именно стоечный вариант, поэтому нам подошёл несуразный в данной конфигурации SC5200. Без альтернатив…
На мой взгляд, ориентация WD Raptor — бюджетные файл серверы для небольшой организации и рабочие станции. Для примера можно рассмотреть две конфигурации:
Конфигурация №1 (стоимость 39 попугаев):
- Процессор: Pentium4 2.8/512 800 Mhz
- МВ: Intel S875 WP1-LX
- Память: 2 × DDR SDRAM 512 Mb PC3200 ECC
- HDD: 2 × HDD WD360GD Raptor 36G
- Корпус: SC5250-E
- Процессор: Intel Xeon 2.4/512 533 Mhz
- МВ: Intel SE7501WV2SCSI 22904
- Память: 2 × DDR SDRAM 512 Mb PC2100 ECC Reg
- HDD: 2 × 36 Gb UW-SCSI Seagate (10000 rpm) 80pin
- Корпус: RackMount Intel SR2300 KSW
Но надо заметить, что в первой конфигурации можно увеличить количество дисков только до 4 (сколько вмещает корзина). Таким образом, ниша WD Raptor'ов — файл-сервер начального уровня, с максимальным количеством дисков — 4, с интегрированным контроллером Serial ATA, без возможности масштабирования (в качестве сервера БД он не пойдёт, ввиду отсутствия масштабируемости по вычислительной мощи или, говоря проще, нельзя поставить второй процессор). Любая попытка улучшить конфигурацию, как то: замена материнской платы на «более» серверную, покупка внешнего Serial ATA контроллера, сводит на нет экономический эффект и приближает стоимость сервера ко второй конфигурации (которая заведомо превосходит первую по всем параметрам).
То есть он удовлетворяет требованиям организации, где всего несколько серверов. Для них это будет сбалансированный сервер. В более крупных организациях, где парк серверов больше, не стоечное исполнение, отсутствие взаимозаменяемости компонентов с остальными серверами, как-то память (во второй конфигурации память регистровая), блоки питания, лишь увеличат стоимость сопровождения. Так же неплохо Raptor будет смотреться в рабочей станции, тем более что Serial ATA контроллеры есть во всех новых компьютерах.
