Азбука сисадмина 13:Выбор аппаратной части сервера

Для начинающих администраторов малых ЛВС
To protect and to serve

 

После того, как наступила ясность с примерным набором серверных приложений, объёмом данных и стратегическим планом размещения этих задач, можно задумываться об аппаратной части. То есть планировать закупку и ввод в эксплуатацию техники. На этапе выбора предстоит принять несколько важных решений, о чём мы сейчас и поговорим.

Выбор производителя

Брэнды первого эшелона

Сервер — не обязательно самая мощная машина, но обязательно самая надёжная. В связи с этим вполне возможна ситуация, когда при сходной на первый взгляд конфигурации со средней потребительской цена за серверную будет в два-три раза больше, особенно если он поставляется в сборе и произведён именитым вендором. Для малой сети готовые решения предлагают в основном Dell, IBM и HP. Есть варианты и от других производителей, но они либо достаточно специфичны, как Sun, либо не входят в этот первый эшелон. Среди преимуществ все эти «динозавры» называют прежде всего:

  • высокую надёжность их продуктов
  • наличие специальных технологий для удобства управления и обеспечения высокой готовности
  • тщательный отбор компонентов как в плане надёжности, так и совместимости
  • длительные сроки гарантии и сопровождения продуктов

Цены на решения начального уровня могут быть вполне доступными, правда и конфигурации окажутся в таком случае совсем простыми. Все перечисленные преимущества соответствуют действительности и облегчают жизнь, но есть и подводные камни, как всегда — недостатки вырастают из продолжения достоинств.

  • Миф ли апгрейд или правда, но иногда он бывает реально необходим, и тогда придётся выбирать из очень ограниченного списка совместимых комплектующих именно от производителя системы. Если удастся найти то, что нужно, зачастую поставки придётся ждать долго
  • В случае реализации достаточно простых задач надёжность может оказаться избыточной. Не сама по себе, конечно же. Просто она стоит дорого, и большие вложения могут и не вернуться
  • Вследствие реально качественного исполнения серверов ведущими производителями их фактический срок жизни часто оказывается намного больше предполагаемого изготовителем. Следствием является то, что поддержка «железа» прекращается задолго до его выхода из строя. Между тем существует достаточно большой класс серверных задач, для которых не нужны высокие мощности. Для них вполне реально применение именно выведенных из-под ресурсоёмких приложений старых машин. Найти для них стандартные комплектующие для мелкого текущего ремонта или незначительного усиления конфигурации обычно намного проще на открытом рынке, чем от конкретного поставщика. Хорошо если есть совместимость на уровне отраслевых стандартов. Но она присутствует не всегда

«Конструкторы» от производителей второго эшелона

Тут следует сразу обратить внимание на то, что «второй эшелон» именно в плане производства серверов. Вообще же это очень известные и уважаемые фирмы в смежных областях. Наиболее известна здесь мегакорпорация Intel, кроме процессоров предлагающая широкий спектр комплектующих и платформ для серверов. Подобный подход исповедует некоторое количество «тайваньских тигров», к примеру Gigabyte также поставляет платформы начального уровня. Нельзя не упомянуть Supermicro, Tyan и тот же Asus. На них базируются многие модели от российских производителей. Причём назвать это «красной отвёрточной сборкой» язык не поворачивается — законченные решения на валидированных компонентах сопровождаются адекватной поддержкой и неплохими гарантийными обязательствами.

Второй вариант — покупка компонентов по отдельности с самостоятельной сборкой. Следует отметить, что для экспериментов это не подходящее поле, однако при чёткой постановке задачи и полной уверенности в своих силах можно получить вполне конкурентное решение при заметной экономии. Вопрос стоит о гарантии и сопровождении. Гарантия может быть вполне приемлемой на уровне компонентов, хотя обычно она меньше, чем на готовое решение, собранное и протестированное в фабричных условиях. С сопровождением тоже как-то можно извернуться.

В целом самостоятельная или заказная сборка сервера из валидированного набора комплектующих — вполне рабочий вариант для небольшой ЛВС. Однако требования, предъявляемые к квалификации обслуживающего персонала, возрастают на порядок. И в общем-то для такого персонала мои статьи не предназначены…

Валидированный комплект — это подбор деталей по спискам совместимых комплектующих. Такие рекомендации доступны и для, к примеру, десктопных материнских плат, но там ими можно пренебречь обычно с большой вероятностью успеха. В сборке сервера надо воспринимать эти списки как прямое и непосредственное руководство к действию.

«Рассыпуха» по доступным ценам и устраивающей мощности

Это тот вариант, который не надо рассматривать при покупке сервера. Как правило, домашние и зачастую офисные рабочие ПК комплектуются именно по этому принципу. При достаточно квалификации сборщика он может работать практически без сбоев. Но мы говорим сейчас про совсем другой класс техники. Как я уже говорил, на первый план для неё выходит надёжность и развитые сервисные функции. Прежде всего за надёжность мы переплачиваем при покупке специальных серверных комплектующих. И она там реально выше.

Про сервисные функции при использовании массовых «запчастей» можно вообще забыть, но на эту жертву многие идут осознанно. На самом деле, при трёх-четырёх машинах в соседней комнате можно наладить обслуживание «ногами и руками». Однако сервис — это не только удалённый доступ, но и постоянный мониторинг состояния с ведением файлов журнала, возможность выполнять некоторые операции без остановки машины или с драматичным сокращением времени простоя.

Делаются некоторые шаги производителями процессоров для привнесения этих технологий на клиентские ПК, это iAMT от Intel в составе платформы vPro для корпоративных клиентов, и аналогичные решения от AMD, под кодовым наименованием Pacifica. Но пока эти технологии только ещё идут в массы, и до широкого их внедрения пройдёт два-три года в лучшем случае. А сейчас массовые материнские платы даже скорости вращения вентиляторов отслеживают не всегда корректно, что уж там говорить о предупреждении удалённого администратора о выходе параметров за заданные рамки.

Программы мониторинга базируются на аппаратных компонентах, встроенных в материнские платы и могут отслеживать:

  • Исправность основных комплектующих
  • Параметры питания, как преобразованного БП, так и на входе в него
  • Контролировать в зависимости от температурного режима скорости работы всех вентиляторов
  • Контролировать сам температурный режим

Вроде как то же самое делают прикладные утилиты для материнских плат массового рынка, но ключевые отличия серверных компонентов состоят в том, что для них доступен удалённый контроль параметров и управление ими, из единой точки входа для всех серверов, ведение журнала в файл, не обязательно локальный, оповещение администратора в случае выхода какого-либо контролируемого параметра за обозначенный предел, в том числе по сети или даже на почту. Всё это в штатном режиме. Как правило, при помощи отдельной утилиты от производителя контроллера жёстких дисков, параллельно можно следить за целостностью дискового массива. Удобство от такой организации важного компонента повседневной работы сложно переоценить, а в рассматриваемом сейчас случае сбора сервера из массовых комплектующих всё это будет недоступно. И — надёжность будет ниже.

Так что надеюсь, что убедил изначально делать ставку на специализированные решения для серверов, от мировых ли брендов, или же в виде локально собранной платформы из валидированных компонентов. После выбора производителя (а в условиях провинции ещё и поставщика зачастую не менее важно подобрать) можно приступать к подбору конкретных конфигураций. Ещё пару слов о поставщике — я уже говорил о том, что желательно сотрудничать с одной фирмой. Лучше ей не изменять и в плане покупки серверов. Как бы ни рвало Вас начальство на части тендерами с копеечной экономией, лояльность клиента зачастую экономит ему намного более значительные средства за счёт хороших отношений с любимым продавцом.

Конфигурация — с чего начать

При выборе домашнего ПК о корпусе часто думают в последнюю очередь, а много ещё и таких пользователей, которые и о блоке питания думают по остаточному принципу. Здесь же эти компоненты не менее важны, чем процессор, память и дисковый массив. Начать же стоит вообще издалека.

Форм-фактор

Я не буду долго агитировать за стандартный 19″ серверный шкаф в качестве основного вместилища всего содержимого серверной комнаты. Просто предлагаю:

  • Послушать рёв башенного сервера под полной нагрузкой, даже пока он один. Производители справедливо считают, что рядом с ним никто сидеть не будет
  • Поставить пару-тройку таких серверов рядком, кинуть на них мощный ИБП и свитч, прибить на стену мини-АТС и повесть рядышком за уголок патч-панель. Попытаться правильно уложить кабели
  • Увеличить мысленно всё это ещё раза в два-три и представить, что в этом помещении Вам придётся проводить основное рабочее время…

Если ещё не убедил, просто поверьте на слово — нормально организованная серверная комната просто необходима для обслуживания даже малой ЛВС. Если контора совсем уж безденежная, то, конечно же, надо рассматривать все варианты. Но прежде всего альтернативного трудоустройства…

Итак, решили, что форм-фактор будет для монтажа в 19″ стойку. В принципе есть башенные корпуса с комплектами крепления в дальнейшем в шкаф, есть полки для шкафов для размещения в них корпусов без штатного крепления. Но серверную комнату надо планировать сразу и всю, о её другом наполнении мы поговорим в следующей главе. Так что осталось определиться с высотой корпуса.

Место в серверном шкафу — из той же истории, что и место на жёстком диске. Прежде всего его постоянно не хватает. Размещаемое там оборудование при росте предприятия имеет свойство размножаться, иногда широко и быстро. Поставить рядом ещё один шкаф можно, но не всегда. Кроме того, есть такое понятие как сторонний хостинг у провайдера услуг. Если размещать у него свои машины, то платить скорее всего придётся за каждый занятый юнит и освоенный ватт. Поэтому сейчас идёт уплотнение серверного оборудования, от этого всё больше входят в моду одноюнитовые корпуса и blade-системы с ещё более плотным размещением компонентов.

Однако всё остромодное стоит недёшево. В плане компактных и мощных систем тому есть вполне техническое обоснование. Так что при отсутствии каких-то особых требований к экономии пространства наиболее логичным будет выбор высоты корпуса 2U-4U. Компромисс проявляется в адекватной цене, удобстве обслуживания, достаточном количестве посадочных мест для дисков, хорошей вентилируемости корпуса при меньшем шуме за счёт использования вентиляторов с большим размером крыльчатки. Одноюнитовые решения прежде всего более шумны и позволяют установить меньше дисков, да и к другим компонентам предъявляют повышенные требования. Огромные корпуса высотой в 5U-7U сейчас применяются намного реже, чем лет десять назад и в основном там, где они действительно необходимы из-за мощности используемых компонентов или количества дисков.

Итак, стандартный 19″ корпус высотой в 2U-4U (вершка) будет оптимальным решением для большей части серверов для обслуживания малой ЛВС. Единственное требование к его внешнему виду — очень желательно наличие backplane и корзин для горячей замены дисков, но сейчас это практически стандартная опция.

Блоки питания

Есть в серверном мире термин «redundancy», что можно вполне приблизительно перевести как «отказоустойчивость». В общем случае он является ключевым. Обеспечением этого параметра надо начать заниматься на этапе выбора блока питания. Достаточно доступны варианты из отдельных элементов, которые обычно работают одновременно, но могут в случае сбоя и в одиночку обеспечить требуемое количество Ватт для питания сервера, либо частично находятся в горячем резерве. Решение надо искать среди таких устойчивых к сбоям. В случае выхода одного из элементов из строя работа компании не прекратится, а после замены дефектной части будет идти в полностью штатном режиме.

Есть ещё такое понятие, как глубина резервирования. Если система устойчива к выходу из строя единичной составляющей, то это единица, если для функционирования не критичен сбой двух элементов — двойка, и так далее, есть системы с очень глубоким резервированием. На практике достаточно хотя бы единицы. Ну и очень полезно как можно раньше узнать о выходе элемента из строя, с целью скорейшей замены его на исправный. Этим целям служит программно-аппаратный мониторинг, о котором написано выше. Потому что в случае устойчивости к отказу единичного элемента система с вышедшим из строя одним элементом перестаёт быть устойчивой к отказам, и этот режим эксплуатации является аварийным, а не штатным. Для перевода в штатный режим решающее значение имеет скорость обнаружения неисправности и скорость сервисного обслуживания по замене неисправного элемента.

Может показаться, что я нагородил слишком много премудрости на ровном месте, но именно по этому принципу строятся и другие серверные подсистемы, и именно он, применённый последовательно и повсеместно приводит к тем самым девяткам устойчивости к сбоям, после запятой. К 24/7/365 с вероятностью 99,9…%.

А начинается с блока питания. Пусть это будет для начала сборка из трёх элементов, два из которых обеспечат 150% потребляемой в рабочем режиме мощности сервера. С возможностью быстрой и лёгкой замены неисправного блока без вскрытия корпуса, с индикацией неисправности на самом элементе и в контрольной программной среде.

Материнская плата

Как правило, этот компонент достаточно жёстко привязан производителем к корпусу и работает с ним в тесной связке. Поэтому корпус с материнской платой часто поставляется вместе и именуется это платформой. Также достаточно часто в таком комплекте уже установлены блок питания и система охлаждения. Всё это вместе управляется и мониторится комплектной программой. Так что выбор скорее всего будет несложным. Вариации доступны по поддерживаемым процессорам, реже памяти, наличии или отсутствии дополнительных интегрированных контроллеров, в первую очередь дисковых. Здесь надо смотреть по выполняемым задачам. Если к дисковой подсистеме или сетевой поддержке требования высокие — значит встроенные контроллеры не нужны, а нужна поддержка шины того контроллера, который мы уже выбрали. Вариаций серверных шин для плат расширения намного больше, чем у настольных ПК, но рассматривать в этом материале мы их не будем. Так что если нужна какая-то специфическая карта расширения, то танцевать надо именно от неё при выборе материнской платы. В остальном всё проще — большой разницы в надёжности и сервисных функциях у серверных решений от одного производителя обычно нет.

И не закладывайтесь на расширяемость и апгрейд — сервер надо комплектовать изначально именно в таком виде, в котором он проживёт всю свою жизнь, или большую её часть. Апгрейд сервера почти всегда оптимальнее производить установкой рядом с ним более мощного решения с передачей на него той функции, которую старый выполняет не удовлетворяющим владельца образом. Для расшивки узких мест нужно использовать программы мониторинга нагрузки на разные подсистемы, и тогда возможно частичный апгрейд и состоится, но обычно грамотно спроектированный сервер выводится из-под задачи целиком, под более лёгкую задачу.

Дисковая подсистема

Как я уже упоминал, вариантов два по сути. Это самый простой контроллер с подключением двух дисков в зеркале и полноценный RAID5 на качественном контроллере с собственной памятью, процессором для обсчёта логики массива и батарейкой резервного питания для того, чтобы можно было разрешить кэширование записи. В противном случае при внезапном пропадании питания (а оно бывает в системах с любым резервированием, вопрос только — раньше или позже) данные будут потеряны. А при запрете кэширования записи она будет тормозить производительность, если конечно же это не массивы данных с доступом только на чтение. Но мы же выбираем сервер малой ЛВС, с большим количеством выполняемых задач и приложений, и такие ситуации там маловероятны.

В плане выбора интерфейса для отдельно стоящей машины, или двух-трёх, имеет значение только то, чтобы контроллер и диски были рассчитаны на один и тот же способ подключения. Конечно SCSI диски вроде как надёжнее, но они ощутимо дороже при меньших ходовых объёмах, и — всё равно ломаются. SAS вроде как идёт в народ, но как-то медленно. FiberChannel совсем уж из другой области. IDE скорее помирает, точнее сказать, доживает последние годики в своей славной и длинной истории. Так что для сервера начального уровня сейчас пожалуй актуальнее всего SATA. Дисков на выбор много, объём их потихоньку, но растёт, цены падают. Что до надёжности, то при правильной организации массива RAID бороться за неё можно почти с таким же успехом, как и в случае SCSI. Благо контроллеры для SATA сейчас производятся вовсе не только начального уровня.

Крайне желательно, чтобы не только все жёсткие диски, но и приводы для чтения оптических носителей в одном корпусе имели одинаковый интерфейс. Возможно, это просто админская байка, сейчас уже не актуальная, но я лично встречался не раз с проблемами совместной работы SCSI и IDE устройств.

Как я уже говорил в разделе про корпус, очень желательно предусмотреть корзины для «горячей» установки и замены дисков на передней поверхности корпуса с индикацией активности и исправности их содержимого. Это просто удобно в обслуживании, хотя и добавляет ещё одну точку сбоя, т.к. из строя может выйти и сама корзина.

Есть ещё один момент, на который стоит обратить внимание. Считается, что в составе массива, особенно пятого уровня, должны работать диски не только одной партии, но и с одинаковой версией микропрограммы. Поэтому надо закупать диски в количестве, требуемом для создания массива, плюс один в горячем резерве, и плюс один-два в холодном резерве, то есть на полочке в шкафу. Если одновременно комплектовать два-три сервера, то накладные расходы на запасные диски снижаются, и есть возможность манёвра дисковым объёмом между машинами дополнительно. Обратная сторона медали в том, что диски из одной партии имеют привычку помирать одновременно, хоть это бывает и не очень часто. А к одновременному выходу двух дисков из строя массив пятого уровня обычно не устойчив. Поэтому какой бы массив ни был, он не отменяет необходимости регулярного резервного копирования.

Процессор и память

Вот и добрались только до тех компонентов, которые на витринах покупатели ПК выискивают в первую очередь. На самом деле, процессор под присутствующее на материнской плате гнездо обычно существует оптимальный в одной-двух разновидностях. Редко требуются огромные размеры кэша или запредельные скорости, и денег за них обычно просят немало. Поэтому выбор будет скорее всего «по деньгам», и большого горя это не принесёт в дальнейшем. Процессоров должно быть минимум два (физически), всё с той же целью обеспечения отказоустойчивости — в случае отказа одного из них другой продолжит работу в одиночку.

Памяти тоже лучше устанавливать не одну планку, а четыре. Во-первых в запас, а во-вторых потому, что сейчас почти все чипсеты умеют работать с памятью в двухканальном режиме. Да и стоит она сейчас не дорого и значительного вклада в цену конечного изделия не вносит, а прибавка в производительности от увеличения её количества часто весьма ощутима.

Ну и в целом аппаратная конфигурация сервера должна быть не запредельной, но сбалансированной, и с запасом по мощности хотя бы на год вперёд, если есть возможность предусмотреть развитие бизнеса.

Видео, сеть и прочее

Встраиваемого в серверные платы видеоядра обычно на все нужды (состоящие из настройки, конфигурирования и контроля работоспособности) хватает с лихвой. Работающий сервер обычно управляется удалённо, по сети.

Сейчас почти всегда также интегрируется два гигабитных сетевых адаптера, отдельно поставляемые стоят недорого и могут быть объединены в транк с суммированием пропускной способности. Так что и здесь обычно всё в порядке уже «из коробки», причём почти любой. В настоящий момент нелады с сетью возникают чаще из-за коммутатора.

Предусмотреть всякие дополнительные контроллеры и интерфейсы в рамках данного материала невозможно, так как они приобретаются под конкретные задачи, порой весьма причудливые и редкие. Оставляю это на Ваш выбор.

Получается, что общие принципы комплектации сервера мы рассмотрели. Как я уже и говорил, должно их быть минимум три штуки: основной, резервный и коммуникационный. Остальное наполнение серверной комнаты (а его немало) мы разберём в следующей статье.

Данный материал можно и нужно критиковать в конференции, НО только предметно и конструктивно. По результатам обсуждения он может быть переработан и дополнен.

Продолжение следует…




14 августа 2007 Г.

13:

To protect and to serve

 

, , , . . , .

— , . , - , . Dell, IBM HP. , , Sun, . «» :

  • ,

, . , , — .

  • , , . , ,
  • . , . ,
  • . , «» . , . - . , . .

«»

, « » . . Intel, . « », Gigabyte . Supermicro, Tyan Asus. . « » — .

— . , , . . , , , . - .

— . , , . -

— . , , , . .

«»

, . , . . . , . . .

«» , . , - « ». — , , .

, iAMT Intel vPro , AMD, Pacifica. , - . , .

, :

  • , ,

, , , , , , - , . . , , . , . — .

, , , . ( ) . — , . . , .

, , . , , . .

-

19″ . :

  • , . ,
  • - , , - -.
  • - ,

, — . , , , .

, , - 19″ . , . , . .

— , . . , . , . , . , . , blade- .

. . - 2U-4U. , , , . , . 5U-7U , , - .

, 19″ 2U-4U () . — backplane , .

«redundancy», «». . . , , , . . , .

, . , , — , , . . , . - , . , , . .

, , , , , . 24/7/365 99,9%.

. , 150% . , .

, . . . . . , , , . . — , , . , , . - , . — .

— , , . , . , , - , .

, . RAID5 , , . ( , — ) . , . , , .

, -, , . SCSI , , — . SAS , - . FiberChannel . IDE , , . SATA. , , , . , RAID , SCSI. SATA .

, , . , , , SCSI IDE .

, «» . , , .. .

, . , , , , . , , , - , . - , , . , , . . , .

, . , - . , . « », . (), — .

, . - , - , . , .

, , , .

,

( , ) . , .

, . « », . - .

, , . .

, . , : , . ( ) .

, . .