Обзор Northern Storage Suite - системы управления дисковым пространством


Когда всем требуется место на диске, его, как правило, почему-то не хватает. То один займет лишнее пространство, то другой. Положит кто-нибудь набор файлов и забудет удалить, когда они уже ему не нужны. А другому для нужных файлов места не хватает. Каким образом выделить место на общедоступном сервере и ограничить его использование? Каким образом "выписать счет" за использование этого пространства? Как информировать пользователя об исчерпании средств на его счете и блокировании его раздела? Задача сложная, в особенности если общедоступных серверов в сети несколько.

Компания Northern Parklife, Inc. предлагает свое решение этой проблемы. Ею разработана система Northern Storage Suite, в которую входит несколько базовых компонент - Northern Quota Server, Northern Storage Reporter, Northern Storage Portal, Northern Storage Assistant, Northern Storage Chargeback. В качестве базы данных, в которой будет храниться информация, могут быть использованы либо MS SQL Server, либо MSDE. Совокупность этих решений предоставляет полноценный набор функций для управления системами хранения данных, объединяя их в так называемое SRM-решение.

Что обеспечивается этим решением? Централизованное управление множеством серверов хранения данных (при инсталляции продукта устанавливаются мастер-сервер, а также требуемое количество стандартных серверов, управляемых через мастер-сервер). Система выполнена таким образом, что администратор выполняет все настройки на центральном сервере, который далее без вмешательства человека выполняет управление подчиненными ему стандартными серверами. Для доступа к мастер-серверу используется веб-интерфейс как для администратора, так и для конечного пользователя системы. Последние ограничены лишь тем, что их прав достаточно лишь для получения отчетов и справок о состоянии их разделов и счетов. На рабочие места пользователей никакие клиентские приложения не устанавливаются, что существенно упрощает выполнение обновлений программного обеспечения. Исключение составляют лишь клиенты для подсистемы Northern Quota Server, выполненные в виде исполняемого модуля и требующие своей установки на рабочее место пользователя (администратора).

Рассмотрим вкратце возможности, предоставляемые отдельными модулями системы, и начнем с Northern Quota Server. Этот модуль предназначен для управления квотами на использование дискового пространства и предотвращения нецелевого их использования. Ограничения могут быть назначены на личные разделы пользователей, на общедоступные разделы, на разделы (и диски), расположенные на удаленных серверах, либо на размещение в разделах сервера файлов определенного типа (например, мультимедийных, графики и так далее).

Система работает в нескольких режимах. Во-первых, может быть использован постоянный мониторинг процесса записи файлов в контролируемые разделы. В этом случае программа обрабатывает каждый входящий пакет, являющийся частью файла, сравнивает получаемый размер с доступным местом и либо разрешает операцию записи, либо блокирует ее. Во-вторых, может быть использован режим мониторинга дискового пространства по расписанию. Этот вариант удобно использовать для контроля наличия доступного пространства на серверных дисках, чтобы заранее уведомить администратора о появлении проблемы с наличием свободного места (существует возможность уведомления администратора о достижении заполненности диска, к примеру, на 80%).

Кроме того что программа может отслеживать использование диска на отдельных серверах, она может быть использована и для отслеживания использования дисковых массивов на виртуальных серверах (кластерах). Единственным отличием от работы с одним сервером является то, что при работе на кластере Northern Quota Server должна быть установлена как ресурс для всех кластерных групп, включающих тот кластер, использование которого вы будете отслеживать.

Northern Storage Assistant предназначена для максимальной автоматизации работы. В ней органично объединены такие базовые понятия, как события и действия. Действия - это реакция системы на те или иные ситуации. Они могут быть как простыми (например, отправка сообщения о том, что выделенное дисковое пространство использовано полностью), так и сложными (например, обработчики, реагирующие на возможные ошибки пользователей в зависимости от выполняемых теми действий). Действия могут быть связаны не только с событиями, но и со временем, для чего в этом модуле есть собственный планировщик задач.

Northern Storage Chargeback - это модуль, предназначенный для расчетов платежей за использование дискового пространства. Для того чтобы работа этого модуля выполнялась более точно и быстро, рекомендуется устанавливать его на каждый сервер, для которого нужно рассчитывать стоимость использования дискового пространства. При этом модуль обеспечивает учет использования как файловой системы, так и папок MS Exchange. Таким образом, обеспечивается возможность учета работы пользователя как с файлами, так и с почтовой системой (конечно, в том случае, если в качестве почтового сервера используется MS Exchange). Для того чтобы вести учет расходования места на почтовом сервере, модуль Storage Chargeback должен быть установлен там же, поскольку профили почтовой системы могут быть доступны только локально, удаленный доступ к ним невозможен.

Расчет стоимости может выполняться в зависимости от выбранного варианта - либо расчет выполняется для конкретных пользователей и итоговое значение расчета соотносится с каждым, либо это может быть расчет для группы пользователей, либо расчет выполняется для сервера вне зависимости от того, кто им пользуется. И, как уже отмечалось выше, расчет будет проводиться либо на основе использования файловой системы, либо на основе данных о выделенных для пользователей дисковых квотах. В системе может быть определено множество различных типов расценок, которые могут использоваться как для различных групп пользователей, для различных серверов, так и индивидуально для каждого конкретного пользователя. Расчет будет выполняться в соответствии с заданным для него расписанием и сохраняться в базе данных.

Система расчета стоимости не обязательно должна быть линейной - цена за использованный мегабайт может быть различной для различных объемов используемого пространства, а также может быть различной для разных разделов одного и того же сервера.

Кроме того что модуль Storage Chargeback рассчитывает фактические затраты пользователей на использование дисков, он имеет и другое назначение. В нем реализована подсистема анализа изменения предполагаемых затрат. Эта подсистема не выполняет сканирования дисков, не собирает с них никакой информации. Для анализа используются данные, сформированные при выполнении расчетов оплаты. При этом различаются результаты расчетов, связанных с использованием дисков или разделов почтового сервера.

Отчеты. Конечно, какая система может работать без них? В системе Northern Storage Suite есть специальный модуль, работающий на одном сервере с Master Server и отвечающий за формирование всевозможных отчетов. Это - Storage Reporter. Используя информацию, сохраняемую в базе данных, он формирует множество самых разнообразных и необходимых для анализа отчетов. Отчеты формируются для трех уровней: макроуровень, на котором формируются сводные отчеты по всем контролируемым серверам, средний уровень - здесь формируются отчеты по серверам, дискам, типам файлов и группам пользователей и микроуровень, на котором можно получить отчеты по отдельным пользователям, разделам, папкам почтовой системы, отдельным типам файлов.

Отчеты могут формироваться как администратором (в этом случае он получает великолепную систему для анализа использования дисков), так и пользователями, которые хотели бы знать, что же творится в их разделах. Это становится возможным потому, что отчеты можно формировать в каких угодно разрезах - по времени создания файлов и времени их последнего изменения, по типам файлов и их размерам, по дубликатам и времени последнего доступа. Отчеты могут формироваться как по отдельным разделам, так и по всем разделам, используемым одним пользователем или группой.

Остается сказать немного о портале Northern Storage Portal. Это единое окно доступа к системе для администраторов и пользователей. Помимо того что через этот портал пользователи могут получать отчеты об использовании ими дискового пространства и стоимости, здесь же они могут получить помощь от системы в плане оптимизации использования ресурсов, минимизации своих расходов. Через страницу доступа пользователь получает возможность работы со своими файлами - их удалением, копированием, перемещением. С этого же портала уходят письма-уведомления в случае исчерпания лимита дисков, выделенных пользователю, уменьшения остатка средств на счете до установленного минимального порога и так далее.

А администратор через страницу своего доступа получает возможность работы со всеми модулями, входящими в состав системы, может выполнять их настройки, формировать отчеты, запускать дополнительные задачи. Администратор может настроить отображение страниц портала. Сделать это можно за счет локализации текстовой информации, добавления или удаления страниц, доступных для пользователя, а также за счет изменения количества файлов, выводимых на страницах отчета.

Пожалуй, самое сложное в этой системе - ее первоначальная установка и настройка. Подключение к базам данных, формирование топологии размещения модулей, настройка учетных политик. Если эти работы будут выполнены, все остальное осваивается и запускается без особых проблем.





Дополнительно

iXBT BRAND 2016

«iXBT Brand 2016» — Выбор читателей в номинации «Процессоры (CPU)»:
Подробнее с условиями участия в розыгрыше можно ознакомиться здесь. Текущие результаты опроса доступны тут.

Нашли ошибку на сайте? Выделите текст и нажмите Shift+Enter

Код для блога бета

Выделите HTML-код в поле, скопируйте его в буфер и вставьте в свой блог.