Там, где гнездится интернет, или рассказ о самом гламурном ЦОДе

Каждый раз, когда тебе на почту падает письмо с приглашением «посетите наш новый ЦОД», ты внутренне содрогаешься. Нет, серьезно, экскурсии в дата-центры это неимоверно скучно. Потому что это шкафы, внутри шкафов компьютеры, все это жужжит, первые пару раз ты в восхищении, потом тебя тянет зевать, и вот, на десятый раз все уже знакомо и понятно, а тебе по десятому разу объясняют, что такое серверы. 

Впрочем, на этот раз я все-таки решил пойти, благо презентация была совсем недалеко от меня, рядом с платформой Гражданская, а значит, на электричке мне добираться всего 10 минут.  Поводом была реконструкция, новые технологии, все дела, а Linxdatacenter ребята известные, большая контора с головным офисом в Амстердаме и площадками в России и Восточной Европе, было интересно, что они наворотили. 

Так как нам в очередной раз объяснили, что такое ЦОД, то я не удержусь, и расскажу об этом и вам. Собственно, дата-центр это просто площадка, на которой установлены стойки с серверами. Стоек много,  в случае с обновленным центром их 620, они распределены по 8 комнатам, общая площадь центра — 4250 метров. В каждой стойке по 42 юнита, то есть, теоретически, в нее можно набить 42 сервера. Все это добро требует электричества, интернета, охлаждения и безопасности. А в дополнении к прочему — легкого доступа к обслуживанию серверов. В общем-то в этом и заключается основной бизнес ЦОДов — они сдают в аренду такую площадку. При этом, клиентами могут быть всякие серьезные ребята вроде Western Union, Касперского, Спортмастера, Гринатома или Wargaming, которым важно, чтобы сервера работали постоянно. Поэтому надежность всего этого добра нужно обеспечить высокую. 

Для того, чтобы площадка ЦОДа работала круглосуточно и бесперебойно, она запитывается с двух разных подстанций, расположенных в разных местах Москвы. Кстати, это большая проблема — где дешево купить ±5 МВт электричества, и при этом еще и подвести его с двух сторон.

Если нитки питания в какой-то момент отваливаются, то до 15 минут может работать на запасах питания от аккумуляторов. Выглядит комната с аккумуляторами вот так. 

Конечно, 15 минут никто не ждет, если все питание летит в тартарары, то через минуту стартуют дизельные генераторы. Запасов топлива при работе под полной нагрузкой хватит на 8 часов работы. На случай если апокалипсис затянется, то есть договор опять же с двумя топливными компаниями, которые привезут «добавку». В последний раз генераторы включали прошлым летом, а дольше всего они проработали во время московского блэкаута в 2005 году. 

Кстати, максимальная потребляемая мощность стойки в Linxdatacenter стандартная, 6 КВт, при необходимости можно заказать до 15 КВт. БОльшая часть этой энергии преобразуется в процессе работы компьютеров в тепло, а значит, их надо охлаждать. В некоторых серверных для этого используется просто воздух с улицы, в Linxdatacenter же воздух предварительно охлаждается до 22 градусов (промышленный стандарт). Для рассеивания тепла применяются вот такие вот промышленные чиллеры. 

Теплоноситель поступает к ним по вот этим блестящим трубам, они, как видите, тоже задублированы. В качестве теплоносителя используется этиленгликойль. Кстати, стена вентиляторов на первом фото — это кондиционерные блоки офисных помещений, не серверной.

Для того, чтобы понять, что происходит дальше, давайте посмотрим на следующее фото. Это помещение, в котором должны быть установлены серверные стойки (пока в нем практически пусто). Синие пятна внизу — это решетки «холодных» коридоров. На них ставятся стойки. Горячий сервер «втягивает» холодный воздух снизу (его продувают под фальшполом кондиционерные блоки, ящики справа), и выбрасывает его наверх (согласно законам физики). Сверху розовым цветом обозначены «горячие» коридоры, там горячий воздух втягивается, нагревает теплоноситель, который отправляется к чилерам на охлаждение. 

Такая подсветка в дата-центре используется скорее для демонстрации помещения заказчикам, чем для постоянной работы. В серверной есть и обычный белый свет. Но демонстрация сама по себе очень важна. Ведь стойки в Москве, с учетом цены на них, арендуют в основном люди, которым важно иметь полный контроль, и которые хотят лично убедится в том, что «все будет хорошо». Вот тут-то гламурная розовая подсветочка и пригождается! Согласитесь, так совсем не тот эффект. 

Кстати, то, что вы видите сзади (решетка) — это такой стандарт безопасности компании, арендующей стойки. Решетка идет от бетона до бетона и продолжается даже под фальшполом и над фальшпотолком. Стойка справа просто прислонена к ограждению, это уже другой клиент, обойти и зайти в огражденную зону нельзя, я пробовал :) По периметру также расположены камеры, записи с них хранятся до 3 месяцев. 

На площадке Linxdatacenter есть 40 провайдеров, как российских, так и зарубежных. Можно подключаться к любому из них, или взять порт до 10 Гбит у площадки. Выбор поменьше чем на М9, конечно, но тоже немаленький. Благодаря доступу к нескольким провайдерам и бесперебойному питанию, Linxdatacenter может обеспечить надежность по Tier 3/4 (то есть, 99,98%), правда, сертификацию они не проводили — дорого, решили лучше вложить эти деньги в оборудование. В московском датацентре основная услуга это колокейшн (место под сервера), но вообще группа компаний Linx может также предоставлять серверы в аренду, у них также есть своя облачная платформа.

Представители компании говорят, что основное преимущество (ну, кроме надежности, этим никого не удивить среди топовых площадок) в московском датацентре это то, что предоставляются удобные условия для работы. Например, там есть такие вот клиентские комнаты, в которых можно скручивать шкафы вне серверной (это удобно, чтобы не мерзнуть в холодном коридоре и не страдать от шума). 

Кроме того, на площадке можно арендовать ящики для хранения ЗиПов или инструментов, а также нет недостатка в стандартных инструментах. Нам рассказывали всякие жуткие истории про клиентов, которые перешли в Linxdatacenter исключительно потому, что в прошлом ЦОДе нужно было каждый раз возить с собой свою лестницу, или (это был другой клиент) лифты работали только в будние дни с 9 до 18, и в выходные приходилось таскать 100 килограмовые Циски на руках. Вроде мелочи, но в повседневной работе все это накапливается. 

Следят за состоянием серверов два инженера, один из которых на техподдержке. Ребята знают английский, и могут при необходимости пообщаться с иностранными клиентами. Так мало народу нужно благодаря системе мониторинга — все данные выводятся на два экрана, необходимости бегать по залам и смотреть глазами нет. 

 
Кроме технического наблюдения есть также круглосуточный пост охраны с мрачными ЧОПовцами (от этого никуда не деться). Напоследок — вот такая системка, которая должна быть в каждом ЦОДе, но которая, как надеются все, никогда не понадобится.

Это система газового пожаротушения. Используемый реагент полностью нейтрален и безопасен для людей и оборудования (ну, по крайней мере, так гласит его реклама), но лишний раз ее все же лучше не включать — сильные потоки могут повредить серверы или конструкции ЦОДа.

В общем, вот такая у меня вышла поездка в ЦОД (или правильно «на ЦОД»?) Linxdatacenter. Все современные датацентры сильно похожи — это фабрики данных, суровые производственные помещения, которые обеспечивают рутинное функционирование многочисленных серверов. Мне нравится бывать в таких местах, это прямо-таки «почва интернета», без которой рухнул бы наш прекрасный виртуальный мир. Правда, иногда это скучновато. 

Надеюсь, вам понравился этот пост :)