Содержание
- История создания моей домашней сети
- Вентиляция и охлаждение
- Описание серверов
- Сеть
- Управление сетью
- Электропитание
- Вспомогательное оборудование и охрана
- Ответы на самые популярные вопросы
4. Сеть
Перед описанием моего сегмента сети, вкратце расскажу об общей структуре сети моего провайдера. На первом этапе строительства сеть тянулась по крышам домов кабелем П-296. На чердаках в металлических антивандальных ящиках установлены коммутаторы Cnet. Внутри дома к абонентам разводка идет неэкранированной витой парой пятой категории. Все сегменты через роутеры сведены в единую точку. Сюда же приходят линки от других сетей из соседних районов. То есть вырисовывается самая типичная домовая сеть с присущими ей достоинствами и слабыми местами.
С достоинствами выделенной линии и так все понятно, поэтому подробней остановлюсь на недостатках. Наиболее уязвимое место – линки между домами, которые, как известно, боятся гроз и статики. Еще одно слабое место – электропитание коммутаторов. Нередки случаи, когда после перебоев в электроснабжении, они либо зависали, либо работали некорректно. И как результат при любых проблемах с многочисленными линками, коммутаторами и роутерами целые сегменты сети остаются без связи.
И пропускная способность такой сети оставляет желать лучшего. Например, домовой коммутатор к которому подключена моя подсеть обслуживает еще несколько последующих домов и школу. А ведь до меня сеть уже нагружена! В результате в моменты пиковой нагрузки на сеть у меня суммарная исходящая скорость падает до 20 кбайт/сек, тогда, как в нормальное время бывает в пике до 9 мбайт/сек. Разумеется, в таких условиях смотреть фильмы непосредственно с сервера не представляется возможным. Поэтому сейчас мой провайдер активными темпами переводит магистрали на оптику. Отдельный линк предусмотрен между его центральным коммутатором и моей сетью. Уже сейчас кабель ОКГ-0.22-4 (Саранск-Кабель) заведен в мой серверный ящик и подключен к преобразователю Planet GT-702S.
После того как я кратко обрисовал окружающую обстановку вернемся к моему сегменту сети. Общая схема сетевых соединений представлена ниже:
Здесь желтой рамкой обведено содержимое моего серверного ящика. Синими линиями обозначены гигабитные линки на витой паре. Красные – 100 Мбит. Зеленая – будущая оптика. Все соединения внутри моего серверного ящика сводятся через неуправляемый восьмипортовый гигабитный коммутатор D-Link DGS-1008TL, который закреплен в верхней части ящика:
Первоначально на его месте был обычный восьмипортовый коммутатор Eline на 100 Мбит. Но с ростом объемов серверов, исходящим наружу трафиком, бэкапом и личными нуждами старый свич оказался загружен на все 100%, и пришлось его отправить на заслуженный отдых. Теперь средняя скорость перегона больших файлов составляет 40-70 Мбайт/сек, и ограничена только производительностью самих дисковых массивов на шине PCI 32.
Четыре порта коммутатора заняты серверами в ящике, остальные четыре спускаются с чердака в квартиру. Пара из них занята домашними компьютерами, остальные зарезервированы на будущее. Также вместе с этими линками в квартиру приходит один кабель от коммутатора провайдера (показан красным). На время отладки моей сети этот кабель позволяет посмотреть как видится моя сеть «из вне». Все кабели идущие от серверного ящика к квартирной патч-панели экранированные, категории 5e. Внутри квартиры и внутри серверного ящика разводка выполнена неэкранированным гибким кабелем пятой категории. Практика показала, что на этих кабелях гигабитная сеть успешно живет и проблем из-за кабеля не наблюдается.
Основным связующим звеном с внешним миром является шлюзовой сервер. В нем три сетевых адаптера: один соединяет шлюз с моей локальной сетью, другой зарезервирован под оптику, а третий идет к коммутатору провайдера. На последнем настроено четыре IP адреса из локальной сети провайдера. Один используется для моих потребительских нужд, на остальных трех сидят однотипные сервисы. Например, FTP и WWW серверы под разные проекты. Гораздо удобнее разнести однотипные сервисы на разные IP, чем объяснять клиентам что у того же FTP может быть нестандартный порт.
В качестве FTP сервера у меня прижился старый добрый WarFTPd версии 1,82. Может, для кого-то он покажется антикварным, но, во-первых, это единственный ftp-сервер который нормально работает с расшаренными сетевыми дисками, а во-вторых, у меня для него давно написаны программулины для разбора и анализа логов. Так что каждое утро на завтрак я получаю с него полную статистику за прошедшие сутки. Также на одном из IP висит Serv-U версии 5,009. Не спорю, что ftp-сервер он хороший, но заставить его работать с сетевыми дисками я не смог: пробовал и виртуальные пути, и через линки с указанием прав доступа. Так что он у меня остался только для работы с локальным диском сервера. Вообще FTP протокол у меня основное средство для раздачи содержимого моей коллекции пользователям. Во-первых, через FTP легко и удобно разграничивать права доступа, а во-вторых, легко контролировать.
Но для совершенно далеких от сетевых технологий пользователей доступ возможен по http. Для раздачи по протоколу http, на сервере используется стандартный виндусовый IIS. С ним никаких существенных проблем нет, правда, долго мучился, подключая PHP. Когда-то был установлен Apache, но после переустановки системы я понял, что без него пока можно обойтись.
Кстати, еще немного о локальной сети и о глобальной. Основное назначение моей сети — это раздача файлов для других пользователей локальных сетей района. Но помимо этого, один из моих локальных IP адресов через маскарадинг переадресуется на реальный IP. То есть фактически моя сеть имеет полноценный выход в Интернет и обратный доступ — из Интернет в локальную сеть. Последнее мне необходимо для контроля сети «извне» — например, с работы.
5. Управление сетью
В обычном режиме доступ к «рабочим столам» серверов из квартиры осуществляется по сети через Remote Administrator 2.2. Но когда хочется залезть в BIOS сервера или посмотреть синий «экран смерти» Windows, здесь Radmin уже бесполезен. На такие случаи у меня есть другое решение. В серверном ящике все устройства сведены на электронный четырехканальный KVM свич Planet KVM-400. А к нему подключен KVM extender ATEN CE-220. Передающая часть этого устройства преобразует сигналы от клавиатуры, мыши и монитора (KVM) в цифровой поток, который передается по обычной экранированной витой паре категории 5 (но это не Ethernet сигнал, поэтому в свич его включать нельзя!). Максимальная дальность удаления приемника от передатчика может быть до 150 метров, у меня же она не превышает 40 метров, и никакого ухудшения изображения при этом не наблюдается.
Приемная часть установлена дома и осуществляет обратное преобразование в традиционную KVM раскладку. Причем к приемному блоку KVM extender'а клавиатура, мышь и монитор подключаются еще через один свич, теперь уже механический. Этот двухпозиционный KVM свич переключает между удаленным управлением серверами и локальной рабочей станцией, с которой осуществляется мониторинг сети.
Помимо этого у меня реализовано и сейчас проходит отладку еще одно средство контроля серверов и управления ими. В каждом сервере установлена дополнительная простенькая плата, которая через транзисторные ключи и оптронные развязки собирает данные об активности Power, HDD и RAID HDD светодиодов. А также там стоит по паре герконовых слаботочных реле (на reset и power). Сигналы от этих плат сведены на отдельный блок в серверном ящике, который через мультиплексоры последовательно опрашивает все светодиоды и отсылает данные в квартиру. Там они обратно преобразуются и через параллельный регистр выводятся на светодиоды. В результате по этим светодиодам я могу судить об активности и состоянии серверов.
А также в последовательном виде с передающей части этого устройства данные поступают на LPT порт шлюзового компьютера. Благодаря этому я могу видеть активность светодиодов даже по сети. Но есть и обратный канал связи. На домашней панели управления размещены кнопки для удаленной перезагрузки, включения/выключения каждого сервера. Включения системы пожаротушения, вентиляции и некоторых других охранных функций. По обратному каналу с таким же временным разделением эти команды поступают в серверный ящик. Также все эти команды доступны и через LPT порт. Связь между блоками четырехпроводная (прием, передача, синхронизация и общий) с гальванической оптронной развязкой. Данная конструкция сейчас на этапе отладки, четкой окончательной схемы не существует, поэтому приводить ее здесь я пока не буду. Отмечу лишь, что электронная часть ее реализована на микросхемах старой доброй 555-й серии.
И все же основное управление сетью осуществляется с домашнего компьютера на платформе ASUS Pundit, который имеет вот такое нетрадиционное расположение:
Дело в том, что дома есть малолетний ребенок, у которого страсть к компьютерам, видимо, уже заложена в генах. Но по причине его малого возраста, он пока отстранен от администрирования сети. А лишить админских прав удалось, только подвесив все узлы домашнего компьютера на недоступной для него высоте:
Кстати, клавиатура и мышь беспроводные, и их приходится прятать повыше при каждом приближении маленького домашнего «вредителя» :-) А совсем недавно я обнаружил, что он забирается на табуретку, затем залезает на стол и выключает монитор! Теперь приходится прятать от него и табуретки.
Вот типичный рабочий экран этого компьютера:
Верхнюю часть занимает консоль мониторинга FTP сервера, а внизу всегда висит график температуры на улице. Датчик DS 18S20 вынесен на улицу и подключен в COM порт через самодельный адаптер MicroLan.
Как и все сервера, этот домашний компьютер также питается от UPS и включен круглосуточно, так как выполняет множество функций:
- на нем живет почта, ICQ и прочие прелести Интернет;
- через него контролируется процесс скачивания по FTP;
- через KVM extender есть прямой доступ к консолям всех серверов;
- через USB адаптер Bluetake BT007X организована точка беспроводного доступа;
- между процессорным блоком и монитором подключен внешний TV тюнер AverMedia TV BOX3 и легким движением руки монитор превращается в полноценный телевизор, из-за чего у нас с супругой иногда происходят творческие разногласия :-)
Но есть ещё одно немаловажное предназначение этого компьютера: хотя доступ на мой серверный чердак ограничен решетками и железными дверями с внушительными замками, можно предположить, что посторонних там не может быть. Однако для большей надежности и самоуспокоения, мною были предприняты дополнительные меры безопасности. Сам серверный чердак, все подходы к нему, а также входная дверь в квартиру просматриваются видеокамерами. Изображение с четырех камер поступает в этот компьютер, где оцифровывается специализированной платой Grand X Guard и пишется на диск. Записанное изображение, возможно, просматривать как с локального компьютера, так и удаленно по сети. Зоны детектирования движения настраиваются. Имеются обширные настройки звуковых уведомлений о наличии движения в охраняемой зоне. А я еще дополнил программу посылкой сообщений на e-mail и sms.
В результате реализации всех описанных в этой статье средств, я имею постоянный полный контроль над сетью из любой точки, где есть Интернет или мобильная связь.
6. Электропитание
Электропитание моего серверного ящика учитывает особенности электроснабжения дома, в котором я проживаю. Отключение электроснабжения у нас не редкость. Регулярно, каждые несколько дней, происходят кратковременные пропадания напряжения на доли секунды, но иногда отключают и на несколько часов. Нередко отключают свет только по отдельным подъездам. Для того чтобы минимизировать простои серверов из-за перебоев в электроснабжения, я реализовал следующую идею: в ящик заводится две разные фазы из двух соседних подъездов. Одна фаза считается основной, другая резервной. Пока на основной фазе есть напряжение, силовое реле включено и его выход коммутируется на основную фазу. При пропадании напряжения реле обесточивается и его выход подключается к резервной фазе. Упрощенная схема представлена ниже.
На время перекоммутации фаз и при тотальных отключениях обеих фаз, оборудование резервируется через UPS PowerMan RealSmart 1500. Контроль UPS осуществляется программой Upsilon 2000, которая запущена на шлюзовом сервере. Программа настроена так, что через пять минут после пропадания напряжения на входе UPS всем серверам (кроме шлюзового и мониторного компьютера) рассылается команда на выключение. Шлюзовой сервер и все вспомогательное оборудование работает до полного истощения батарей. Это необходимо для возможности контроля оборудования «до последней минуты».
Описанный выше коммутатор фаз и вся силовая разводка смонтированы в отдельном закрытом электрощитке:
Обе фазы, подводящие электропитание к ящику, выполнены проводом ПВС 3х2,5. Т.е. реализован примерно трехкратный запас по току. Все электрические кабели за пределами ящика по чердаку протянуты в пластиковой гофре. Внутри ящика основные кабели имеют сечение 2,5 мм , остальные малонагруженные — 1,5 мм . Для коммутации фаз использовано реле РП21-003.УХЛ4. По паспорту оно способно коммутировать ток до 5 А при 220 В на индуктивной нагрузке, что для моих нужд недостаточно. Но, изучив конструкцию реле, я пришел к выводу, что можно увеличить коммутируемый им ток за счет увеличения сечения гибкого центрального контакта, путем напаивания дополнительного проводника сечением 1,5 кв.мм. А контактная группа по внешнему виду и моему субъективному мнению способны выдержать длительное время ток более 20А.
К сожалению, на практике при создании сети происходило не все так гладко, как кажется при прочтении этой оптимистической статьи. Например, были проблемы с местным населением. Дело в том, что по согласованию с РЭУ электропитание сетевого оборудования берётся из электрощитка последнего жилого этажа. По настоянию местного электронадзора в щитке пришлось установить дополнительный автомат на 16 А, и только после него кабель идет в серверную. На кабеле, в соответствии с требованиями электриков, имеются все опознавательные наклейки. Так вот одна «бабка — одинокий божий одуванчик», которой принадлежит электрощиток, повадилась отключать этот автомат. Аргументы у нее были такие:
- Из-за меня у нее счетчик теперь больше накручивает (хотя, разумеется, отвод берется до ее электрического счетчика);
- Из-за этого «антернета» тиливизер сам включается и выключается и мало сериалов показывает;
- Я по ночам хожу по жестяной крыше ее балкона и кричу птичьими голосами;
- Из-за меня у нее крыша протекает;
- И вообще ходют тут всякие террористы…
Другая проблема заключается в том, что уже сейчас UPS нагружен в среднем на 85% и есть опасения, что в моменты пиковой нагрузки в нем может сработать защита от перегрузки, и тогда отключится все! Выход я вижу один – приобретение дополнительного UPS. (Ау, спонсоры, откликнитесь!) Сейчас я присматриваюсь к UPS N-Power Smart-Vision S1500LT. Во-первых, эта модель типа long time. Она не имеет встроенных аккумуляторов и ориентирована на подключение внешних, емкостью до 150 а*ч. На первое время я планирую подключить к ней три старых автомобильных АКБ по 55 а*ч. А во-вторых, у нее для контроля используется такое же ПО Upsilon 2000, что мне удобно для удаленного мониторинга по сети.
Конечно, в существующий серверный ящик такой UPS, да еще три автомобильных АКБ уже никак не поместятся, и я планирую под электроснабжение сварить отдельный новый ящик и перенести в него все электроснабжение моей сети. Распределены UPS будут так: два файловых сервера и резервный останутся на старом UPS, а все остальное будет питаться от нового. В результате автономность наиболее жизненно важных элементов моей сети может увеличиться до нескольких часов (а то и десятков часов, в случае установки новых АКБ на 150 а*ч!). Только необходимо учитывать, что автомобильные кислотные АКБ при заряде выделяют водород и мне придется мудрить отдельную дополнительную вентиляцию для этого ящика, а также средства автономного пожаротушения. Для равномерного распределения нагрузки на подводящие шины, я хочу модернизировать существующую схему на реле и реализовать перекрестное подключение. В этом случае, каждый UPS в нормальном режиме будет подключен через своё реле к своей шине питания. А при пропадании напряжения будет переключаться на противоположную.
7. Вспомогательное оборудование и охрана
Для питания низковольтного вспомогательного оборудования в ящике установлен отдельный компьютерный БП ATX на 300 Вт, который также сидит на UPS. Этот БП включен постоянно, для чего его зеленый провод (управляющий) подключен на массу. В основном от БП мне нужно два напряжения: +12В (вентиляторы, KVM переключатель и KVM extender и пр.) и +5В (консоль удаленного управления серверами, термодатчики). Наиболее жизненно важные потребители, сидящие на питании +12 В (охрана и пожаротушение), дополнительно резервируются с помощью АКБ 12 В, 7.2 а/ч, подключенную через диодную развязку.
На каждую группу потребителей основных питающих напряжений установлена индивидуальная транзисторная защита, что исключает КЗ, если злоумышленник, например, попробует перерезать кабели питания видеокамер.
Для самоуспокоения и успокоения пожарного надзора, в серверном ящике установлен автономный огнетушитель «Допинг 2Т». Он предназначен для тушения возгораний в закрытых электрошкафах объемом до 2 куб. метров, у меня же объем около 1 куб. метра. Огнетушитель может запускаться как самостоятельно через свой термочувствительный хвост, так и через подачу управляющего напряжения 12В с консоли удаленного управления. Для этого случая управление огнетушителем организовано так, что при подаче команды на его срабатывание отключается вся вентиляция и обесточиваются все сервера. Отключение вентиляции, в первую очередь приточной, необходимо, чтобы свежий воздух не поддерживал горение.
Разумеется, такое количество ценного серверного оборудования нельзя было оставлять на чердаке жилого дома, не предприняв особых мер по обеспечению его сохранности. Весь комплекс охранных мер я разделил на два направления: механическая защита (пассивные средства) и электронная защита (активные). На одну лишь электронную охрану полагаться было нельзя, так как ее эффективность напрямую зависит от стабильного и бесперебойного электроснабжения.
Первым делом, на обоих входах на чердак я заменил деревянные полусгнившие люки на стальные, с внутренними сейфовыми замками. Затем укрепил арматурные решетки, ограничивающие доступ из жилой части дома к крыше. А дальше занялся более привычной мне электроникой. Установил на всех дверях и люках герконовые датчики. На самом чердаке поставил инфракрасный датчик движения, совмещенный с включением освещения чердака. Очень удобно, когда залезаешь на чердак с занятыми руками, а свет сам приветливо включается.
Самые большие мои надежды были связаны с системой видеонаблюдения. Оба входа на чердак у меня просматриваются малогабаритными видеокамерами SK-2005 CAS. Непосредственно сам серверный ящик находится под прицелом камеры Sony CV-10А (старое название SPC-10E). Камера с объективом Avenir (автодиафрагма, фокусное расстояние 3.6 мм, крепление С) помещена в термобокс LS-260 (производитель САРОВ-ИНТЕХ), который поддерживает оптимальную температуру для камеры. Ведь зимой на чердаке бывает минусовая температура. Сигналы со всех перечисленных камер по коаксиальному кабелю РК75-4 поступают в серверный ящик на коммутационную панель:
Через эту панель осуществляется питание мини-камер и усиление сигнала для подачи его в квартиру. Для мини-камер я спаял магистральные усилители видеосигнала на основе конструкторов-усилителей, которые предлагает «Мастер-Кит». Усилители необходимы для компенсации затухания на длинных линиях и коррекции АЧХ видеосигнала. Питание +12В на большую часть охранных средств поступает от упомянутого выше вспомогательного БП и резервируется с помощью АКБ. Большая камера обладает фантомным питанием, и ее электропитание осуществляется непосредственно из квартиры. Напряжение +12В ей нужно только для питания термобокса. Также в этом комплексе имеется еще одна видеокамера, которая контролирует вход в квартиру. Сигналы со всех камер поступают в квартиру на другую коммутационную панель. В ней осуществляется расщепление сигнала и согласование по нагрузке для дальнейшей подачи на несколько потребителей. Основными приемниками видеосигналов являются монитор Commax CCM-10Р с коммутатором-мультиплексором на четыре входа и плата для оцифровки видеоизображения Grand X Guard. Подробнее эта плата описана здесь.
8. Ответы на самые популярные вопросы
После публикации первого варианта статьи, меня завалили вопросами. Не всегда умными и не всегда тактичными. Но все же много было актуальных вопросов, касающихся проектирования и практической эксплуатации этой сети. Попробую прямо здесь ответить на некоторые из них.
Это все твое? Сколько это все вместе стоит? Все мое! Собрано в течение многих лет на личные заначки от зарплаты и прочие нетрудовые доходы. А также пожертвования некоторых дружественных компаний.
Зачем это надо было делать? Обладая немалым опытом проектирования подобных систем (но только значительно более «взрослого» класса), я решил попробовать осуществить это самостоятельно, в домашних условиях и с минимальным бюджетом.
В какой сети все это используется и где именно стоит? Хотя я считаю, что все мое оборудование надежно защищено от недоброжелателей, но все же, по соображениям безопасности, нигде не упоминаю точной информации о его размещении, а также где и как отключается охрана. Провайдер «Юнион-Лайн».
Какой марки и модели использовался Автоматический Переключатель Фаз? Марки «обычное реле», модели РП21-003.УХЛ4, но с усиленными контактными группами. Усиливать переключающие контакты пришлось потому, что они по паспорту рассчитаны на максимальный ток 5А. Хотя сами контактные группы по внешнему виду и моему субъективному мнению способны выдержать длительное время ток более 20А. Таким образом, я только увеличил сечение центрального проводника до 2.5 кв.мм
Какой использован софт для записи охранного видеоизображения? Для записи видео, ведения архивов записей, анализа движения и прочих сервисов используется родной софт платы Grand X Guard версии 3.0 от шестнадцатиканальной платы. Кстати, даже четырехканальная плата легко наращивается до 16, так как на плате все элементы уже распаяны. Остается только добавить разъемы и вывести их наружу. Драйвера для всех плат тоже одинаковые. Софт тоже совместим. Правда за полгода его эксплуатации я обнаружил несколько недостатков и удовольствием бы высказал разработчикам этого софта свои пожелания. Но только они не реагируют на мои письма.
Какие именно есть недостатки у этой платы? Недостатки скорее у софта, а не у платы. Например, система распознавания движения, при оптимально настроенной чувствительности, реагирует на любые значительные изменения яркости изображения. Это вызывает ложные срабатывания, например, при вспышках грозы или резком изменении общей освещенности (когда солнце выходит из-за туч). Другая серьезная проблема связана с тем, что программа постоянно держит текущие видеофайлы открытыми. При внезапном завершении работы компьютера (например, через «синий экран») файл остается с пустым заголовком и обычными средствами не открывается, хотя сам видеопоток сохраняется. Чип BT878 позволяет оцифровывать видеосигнал с разрешением 720х576. Но программно разрешение ограничено до 320х288.
Почему RAID контроллеры 3ware с шиной PCI 64 работают на мамках с шиной PCI 32? Учите матчасть! Практически любые платы с шиной PCI 64 можно устанавливать в обычные мамки с шиной PCI 32. Разумеется, при этом производительность будет ниже, но мне и этого пока хватает.
Вместо заключения
На этом описание текущего состояния моей домашней сети завершается. Однако ее развитие постоянно продолжается. По мере совершенствования сети я буду обновлять некоторые разделы описания. Возможно, выложу чертежи ящика и некоторые свои уникальные схемы. Самые последние новости о создании этой сети вы всегда можете прочитать здесь: www.btv.ru/homenet/
