Можно сколь угодно долго обсуждать проблему нужности и актуальности сетевых систем хранения данных для индивидуальных пользователей, но для небольших организаций это реальная возможность организовать групповую работу, единственной альтернативой которой остается использование облачной инфраструктуры какого-нибудь провайдера. А облако, как многим известно не понаслышке, грешит меньшей надежностью, большей уязвимостью, сильно зависит от состояния интернет-трафика и некоторых организационных причуд компании, организующей такой сервис. Те, кто регулярно пользуются OneDrive и Яндекс.Диск хотя бы на уровне смартфонов, наверняка сталкивались с проблемами доступа к этим сервисам, внезапными падениями скоростей закачки и отдачи. Конечно всё это может произойти и с собственным сетевым хранилищем, но в этом случае хотя бы ясно, кого и за что винить (и это переносится легче). Эти пространные сентенции мы привели для того, чтобы объяснить, почему производители продолжают выдавать на-гора новые NAS.
24 июля мы представили отчет об испытаниях четырехдискового сетевого накопителя Terramaster TNAS F4-423, а сегодня готовы продолжить тему с еще более вместительным и еще более совершенным шестидисковым устройством того же производителя.
На русскоязычном сайте производителя эта модель классифицируется как NAS для малого и среднего бизнеса, и если исходить из цены, он еще менее привлекателен для установки дома, чем упомянутый выше, но у представителей небольших организаций вызовет существенно больший интерес благодаря реализованным в нем прогрессивным технологическим решениям и целому списку достоинств:
- высокая производительность
- гибкость конфигурации
- низкое потребление и малошумность
- 2,5-гигабитные скорости сетевого обмена
- защита с шифрованием AES256
- развитые службы резервного копирования
- поддержка виртуализации (vSphere, Hyper-V)
Описательную часть начнем со спецификаций устройства.
Технические характеристики
Ниже приводим данные производителя.
| Terramaster TNAS T6-423 | |
|---|---|
| Процессор | Intel Celeron N5095 (4 ядра), 2/2,9 ГГц, TDP 15 Вт, Tmax 105 °C; интегрированная графика Intel UHD Graphics (16 блоков), 450—750 МГц |
| Оперативная память | 4 ГБ DDR4 |
| Дополнительные слоты | 2 (DDR4 SO-DIMM) |
| Максимальный объем памяти | 32 ГБ (в двух слотах по 16 ГБ) |
| Слотов SATA | 6, с поддержкой «горячей замены» |
| Слотов M.2 для SSD | 2 × NVMe 2280, PCIe 3.0 |
| Файловые системы | BTRFS (по умолчанию), EXT4 |
| Поддержка форматов внешних накопителей | EXT3, EXT4, NTFS, FAT32, HFS+ |
| Ethernet | 2 × RJ-45, 2,5 Гбит/с |
| USB | 2 × USB 3.2 Gen2 Type A |
| Видеовыход | HDMI |
| Охлаждение | 2 вентилятора размером 80×80×25 мм |
| Среднее энергопотребление | 39,2 Вт |
| Поддержка массивов | TRAID, JBOD, RAID0, RAID1, RAID5, RAID6, RAID10 |
| Возможность расширения массивов | TRIAD, RAID1,RAID5,RAID6,RAID10 |
| Возможность добавление накопителей к массивам | TRIAD, RAID5, RAID6 |
| Миграция массивов | предусмотрена |
| SSD-кеш | поддерживается |
| «Горячий» резервный накопитель | поддерживается |
| Протоколы | SMB, AFP, NFS, FTP, SFTP, WebDAV |
| Максимальное количество клиентских соединений | 500 |
| TCP/IP | IPv4/IPv6 |
| Сетевые подключения | CIFS/SMB, NFS, FTP, SFTP, HTTPS, SSH, iSCSI, SNMP |
| Агрегация портов | поддерживается |
| DLNA | поддерживается |
| VPN-сервер и клиент | есть |
| Прокси-сервер и клиент | есть |
| Сетевое обнаружение по UPnP и Bonjour | поддерживается |
| DDNS | поддерживается |
| Firewall | поддерживается |
| SSL-сертификаты | поддерживаются |
| Размеры | 226×130×218 мм |
| Вес | 3,9 кг (в заводской конфигурации без накопителей) |
| Гарантия производителя | 2 года |
| Цена с доставкой в Россию | 90 тысяч рублей |
Подытожим: TNAS T6-423 обладает двумя 2,5-гигабитными портами Ethernet, шестью отсеками для жестких дисков или SSD-накопителей с интерфейсом SATA, двумя слотами для твердотельных NVMe-устройств с интерфейсом PCIe 3.0 (до 1 Гбит/с) и двумя разъемами USB 3.2 Gen2 Type-A (10 Гбит/с). Подобно другим NAS компании Terramaster, герой настоящего обзора управляется проприетарной ОС TOS (версии 5.1.41 на момент подготовки обзора), а файловой системой по умолчанию является BTRFS. Выбор EXT4 тоже возможен, но требует отступления от стандартной процедуры установки.
Внешний вид и конструкция
Упаковка аккуратна и привлекательна, хотя проста и лаконична. Ручки для переноски нет. Внутри для сохранности содержимого используются два больших профилированных вкладыша из пенополистирола.
В комплекте поставки имеются сам NAS, адаптер питания с разъемным кабелем, патч-корд, винты и другая монтажная мелочь.
Адаптер питания того же типа, формы и размеров, что у мобильных ПК, способен работать в бытовых электрических сетях 100—240 В 50/60 Гц. Он обеспечивает на выходе 12 В при 10 А (номинальная мощность 120 Вт).
TNAS T6-423 обладает шестью отсеками (интерфейсы SATA) для установки жестких дисков или твердотельных накопителей типоразмеров 3,5 дюйма или 2,5 дюйма.
Корзины для накопителей имеют спереди большие защелки (без замков) и устанавливаются внутри корпуса устройства вертикально по три в два этажа.
Разъемы SATA и питания смонтированы на задней внутренней панели (бекплейне), закрепленной внутри корпуса вертикально.
Сзади заметен крупный блок охлаждения, крышка которого составляет единое целое с задней стенкой устройства. По его периметру (кроме левой стороны) помещаются семь винтов, которыми эта стенка крепится к монтажной раме NAS. Слева расположены видеовыход HDMI, два порта USB 3.2 Gen2 Type-A, две розетки Ethernet 2,5 Гбит/с, а сверху — коаксиальный разъем для подключения адаптера питания.
Вид справа
Вид слева
На правой боковой панели имеются щели для выброса воздуха из внутреннего пространства системного блока. Они представлены двумя группами сообразно двум уровням расположения слотов для накопителей внутри устройства. Левая боковая стенка цельная, без каких-либо деталей.
Сверху никаких подробностей нет, а снизу обращают на себя внимание штрих-код изделия и четыре резиновые опоры.
Корзины металлические, с пластмассовым обрамлением (очевидно, для облегчения скольжения и амортизации). Несомненное достоинство — возможность установки в них накопителей без использования отвертки, хотя лучше все же использовать и винты (требуются всего два с обеих сторон вставляемого жесткого диска.
Системная плата весьма компактная, имеет маркировку «TVI1509X v0.62». Основное место на ней занимают пассивный (но довольно массивный) кулер центрального процессора (представленный одним радиатором), разъемы USB и слот для модуля оперативной памяти.
В конфигурации «из коробки» в этом слоте находится единственный 4-гигабайтный модуль DDR4.
Радиатор CPU крепится с помощью пяти винтов и достаточно легко снимается. В реальной жизни демонтаж не оправдан ничем, кроме праздного интереса, так как центральный процессор распаян на плате и замене не подлежит.
У верхней кромки расположен порт USB, в котором производитель разместил минифлешку с загрузчиком.
Логическим центром TNAS T6-423 является четырехъядерный Intel Celeron N5095, тактовая частота которого составляет до 2 ГГц в стабильном режиме и до 2,9 ГГц при разгоне. Тепловыделение 15 Вт заметно больше, чем у 10-ваттных «атомных» процессоров Celeron, но даже полуторакратный прирост мощности — не слишком высокая цена за существенное превосходство в производительности. Intel Celeron N5095 неплохо адаптирован для работы с пассивным охлаждением; Tmax составляет 105 °C.
На общей подложке с CPU виден отдельный корпус интегрированного видеоакселератора Intel UHD Graphics, который способен на много большее, чем вывод видео на внешний монитор в алфавитно-цифровом режиме.
На стороне системной платы, обращенной наружу (на самом деле это ее изнанка), есть два слота M.2 для NVMe SSD форм-фактора 2280, а также второй слот для модуля оперативной памяти (первый находится с другой стороны). Максимально возможный объем ОЗУ при апгрейде — 32 ГБ (2 × 16 ГБ).
Aptio Setup
На первой вкладке (Main) указан производитель American Megatrends Inc. (AMI), версия аппаратной платформы T1509BF1 и краткие сведения о процессоре и оперативной памяти.
В разделе Advanced позиции имеют по несколько уровней вложения. На самом старшем доступны опции настройки CPU, в том числе, подключение технологии виртуализации Intel.
Двумя уровнями ниже можно отыскать монитор аппаратных ресурсов.
На вкладке Chipset в подразделе System Agent представлены более подробные сведения о памяти и имеются опции ее настройки, в том числе, разгона. Однако NAS должен обеспечивать прежде всего максимальную стабильность, поэтому вряд ли уместно жертвовать ею в угоду небольшому приросту производительности за счет разгона, не способному к тому же отразиться на работе сетевого устройства.
В числе прочего System Agent позволяет определить состояние шины PCI и ее переназначенных линий.
Установка
Для создания массива в составе TNAS T6-423 мы воспользовались шестью жесткими дисками Seagate ST6000NE000 IronWolf, специально предназначенными для сетевых хранилищ (с маркировкой «NAS»).
Согласно паспорту, герой обзора может работать с шестью накопителями по 20 ТБ каждый, то есть теоретический максимум неформатированной емкости хранилища (без резервирования данных) составляет 120 ТБ. Мы использовали шесть дисков по 6 ТБ — для тестирования этого вполне достаточно. Корзины свободно вставляются в отсеки и извлекаются из них. Причем делать это в дальнейшем можно на работающем устройстве. При установке нужно следить за тем, чтобы защелки корзин погрузились в предназначенные для них выемки.
Включаем питание, ждем около трех минут завершения начальной загрузки и открываем в любом браузере страницу https://support.terra-master.com/quickguide/steps?product=T6-423. Пошаговое руководство инструктирует пользователя о том, как правильно установить накопители, а затем предложит загрузить и запустить на клиентском ПК фирменную утилиту TNAS PC или открыть в браузере страницу tnas.local.
Запускаем утилиту TNAS PC для сетевого обнаружения TNAS T6-423.
В начале происходит скачивание и установка начального загрузчика.
Затем — первоначальная инициализация устройства.
Воспользуемся настройками по умолчанию («Дефолт»), поскольку это наиболее простой путь.
Операционную систему можно скачать в процессе установки, но надежнее сделать это предварительно с сайта производителя (раздел Support) и включить заготовленный файл на этапе развертывания системы.
Происходит установка.
Затем NAS перезапускается, и пользователю нужно ввести имя, пароль и проверочный код, получаемый на электронную почту.
Создаем пул хранения (определяем тип массива накопителей) и том.
Система установлена. Начинается синхронизация массива, которая в нашем случае продолжается около 13,5 часов (вне зависимости от выбранного типа файловой системы).
Файловые операции с вновь созданным томом можно производить сразу же, не дожидаясь окончания синхронизации, но для нашего тестирования его все же следует довести до конца. В нашем распоряжении 27,24 ТБ емкости хранилища. Арифметика проста: 6 дисков по 6 ТБ = 36 ТБ; минус 6 ТБ зарезервированных. Остается 30 ТБ, из которых 2,76 ТБ расходуется при разметке тома и установке компонентов операционной системы.
Управление устройством сосредоточено на панели веб-администратора, которая у Terramaster носит название TOS Desktop и вызывается по адресу http://192.168.0.xx:8181/tos/#/desktop.
На странице Control Panel («Панель управления») заглянем в параметры хранилища.
Все накопители в благоприятном состоянии, отформатированы в файловой системе BTRFS и пока пусты.
Они объединены в пул хранения (Storage Pool) под названием TRAID (это эквивалент более понятного RAID5). Продолжается синхронизация массива.
На основе пула хранения создан один общий том (Volume 1) с файловой системой BTRFS. Его полезная емкость составляет 27,24 ТБ.
На панели управления есть опции организации виртуального диска, а также монтирования и размонтирования устройств хранения, подключенных к NAS посредством портов USB. Предусмотрена возможность использования накопителя «горячей замены» (в нашей конфигурации отсутствует). Последним пунктом (по порядку, а не по значению) является гиперкеш (Hypercache) — опция ускорения работы с файлами путем подключения не задействованного в других операциях NVMe-накопителя.
В центре приложений (App Center) имеются ссылки дли скачивания ПО разного назначения из репозитария Terramaster.
Резервное копирование данных реализовано разнообразно, начиная с серверного бэкапа посредством распространенного модуля RSync и проприетарного TerraSync и заканчивая обычным копированием на внешний USB-накопитель. В числе прочего можно организовать централизованное резервное копирование клиентских устройств (загружаемый программный модуль Centralized Backup) — это важно для поддержания состоятельности сетевой инфраструктуры организации.
Удаленный доступ к хранилищу реализован средствами производителя. В качестве «опознавателя» служит идентификационный номер TNAS в закрытой базе данных Terramaster.
Функциональность Terramaster TNAS T6-423 в большинстве случаев не уступает большим системам. Вот главные достоинства, реализованные в устройстве:
- гибкое управление пулами хранения и томами
- поддержка технологии моментальных снимков (снапшотов)
- работа с сетевыми папками, пользователями, группами, правами, подключение к централизованным каталогам, квоты для пользователей и групп
- поддержка всех распространенных протоколов сетевого доступа к данным
- расширенные функции безопасности (межсетевой экран, защита от перебора паролей, TLS/SSL)
- сервисы мониторинга и уведомлений
- безопасный удаленный доступ
- управление питанием, контроль температуры, настройка режима работы системы охлаждения
Отдельно отметим хорошо организованную поддержку пользователя внутри ОС TOS.
Сервисная поддержка обеспечивается в соответствии с тремя уровнями приоритета с временем реакции 24, 48 и 78 часов.
Тестирование
Если использовать диск традиционным образом, то после его назначения (с буквой) можно грубо оценить производительность средствами популярной утилиты CrystalDiskMark.
Для полноты картины мы проводили аналогичные испытания RAID5 в файловой системе EXT4, специально создав том на ее основе взамен BTRFS.
Результаты для файловых систем обоих типов почти одинаковые; сколько-нибудь значимые отличия видны лишь в количестве операций ввода-вывода при случайном чтении, но это совершенно не принципиально.
При монтаже сетевого логического устройства из каждого пула хранения формировался один том максимального объема с папкой общего доступа. Для тестирования скоростей работы TNAS в сетях 2,5 GbE и 1 GbE использовались клиентские ПК с соответствующими LAN-адаптерами, ОС Windows 11 и пакетом Intel NAS Performance Test (далее Intel NASPT) с нашим оригинальным набором шаблонов.
В главной части испытаний нас интересовали не отдельно взятые скорости чтения и записи NAS в сетевой среде (они определяются известными и закономерными факторами), а способность некоторых улучшений предоставить дополнительный выигрыш в этих показателях. К числу таких улучшений относятся, во-первых, кеширование, а во-вторых, агрегация портов.
Хранилищем кеша (Hyper Cache) выступал SSD-накопитель Netac ТМ7000-t вместимостью 4 ТБ. Оговоримся, что конфигурацию из единственного кэширующего накопителя нельзя считать приемлемой для постоянно работающего NAS, поскольку риск потери данных при отказе SSD очень велик. В соответствии с принятой практикой следует использовать отказоустойчивый пул хранения — два SSD в составе массива RAID1 (зеркалирование). Однако при тестировании работы системы выбранный нами ущербный вариант вполне допустим.
Balanced
Read-only
Read-write
Кэширование возможно в трех вариантах: 1) сбалансированном, 2) только для чтения, 3) одновременно для чтения и записи. Мы предпочли третий, поскольку он предусматривает оптимизацию операций обоих типов.
Длительность создания Hyper Cache зависит от занятого данными пространства логического тома.
В нашем случае том был практически пустым, поэтому создание кеша заняло менее минуты.
При агрегации портов мы использовали вариант балансировки нагрузки, хотя отдавали себе отчет в том, что его эффективность можно увидеть лишь при очень значительном сетевом трафике с множеством клиентов, одновременно обращающихся к NAS. Правильнее было использовать динамическую агрегацию портов, но мы не располагали нужным маршрутизатором с поддержкой стандарта 802.3ad и LACP (Link Aggregation Control Protocol).
| 1 × 2,5 Гбит/с, без кеша | 1 × 2,5 Гбит/с, с кешем | 2 × 2,5 Гбит/с, без кеша | 2 × 2,5 Гбит/с, с кешем | |
|---|---|---|---|---|
| read_rand_32 | 83,6 | 118,9 | 67,1 | 79,3 |
| read_seq_01_32_files | 292,9 | 291,7 | 293,3 | 287,3 |
| read_seq_32 | 248,2 | 272,9 | 271,5 | 246,3 |
| rw_rand_32 | 17,4 | 40,1 | 19,1 | 26 |
| rw_seq_32 | 279,6 | 279,5 | 281,8 | 278,5 |
| write_rand_32 | 11,1 | 19,6 | 11,4 | 15,8 |
| write_seq_01_32_files | 200,1 | 202,1 | 204,3 | 203,8 |
| write_seq_32 | 255,3 | 254,8 | 258,5 | 217,1 |
| 1 × 1 GbE, без кеша | 1 × 1 GbE, с кешем | 2 × 1 GbE, без кеша | 2 × 1 GbE, с кешем | |
|---|---|---|---|---|
| read_rand_32 | 40,8 | 50,8 | 42,2 | 118,8 |
| read_seq_01_32_files | 118,1 | 118 | 118,1 | 118,1 |
| read_seq_32 | 114,8 | 114,4 | 114,8 | 114,2 |
| rw_rand_32 | 20 | 27 | 23,9 | 34,8 |
| rw_seq_32 | 150,4 | 150,1 | 152,6 | 149,3 |
| write_rand_32 | 13,5 | 15,9 | 16,4 | 31,8 |
| write_seq_01_32_files | 100,8 | 98,5 | 101,5 | 97,1 |
| write_seq_32 | 109,3 | 101,7 | 110,2 | 106,2 |
При последовательных операциях TNAS T6-423 демонстрирует хорошие скорости, приближающиеся к 300 МБ/с в 2,5-гигабитной и превышающие 110 МБ/с в одногигабитной сетях. Влияние кеширования и агрегации портов с балансировкой нагрузки не дает ощутимого прироста в скоростях файловых операций, а в ряде случаев даже приводит к понижению производительности. Это объясняется тем, что для эффективной работы кеш нуждается в «приобретении опыта», то есть выявлении тех блоков, которые наиболее часто востребованы при обращениях к логическому устройству. Что касается агрегации портов, то здесь все ясно: речь идет именно о балансировке нагрузки, а она минимальная.
Следует также упомянуть, что при проведении испытательных прогонов средствами Intel NASPT с использованием пула хранения TRAID (BTRFS) каждый раз после проведения сеанса измерений с задействованием кеша на томе соответствующего SSD-накопителя образовывалось огромное количество «мусора данных», из-за чего даже простое выключение NAS требовало предварительной очистки этого мусора, и процесс требовал по 7-9 часов.
Вероятно, дело в том, что несмотря на продолжающееся совершенствование, BTRFS до сих пор недостаточно стабильна именно при работе с массивами RAID5/6, и происходит это во многом из-за одного несовершенства этой файловой системы — выраженной фрагментации файлов. BTRFS, как известно, должна производить дефрагментацию самостоятельно (и без размонтирования томов), но этого почему-то не происходит.
Нам представлялось уместным сравнить быстродействие файловых операций с массивом TRAID в BTRFS и RAID5 с классической для linux файловой системой EXT4.
| TRAID, 1 × 2,5 GbE | RAID5, 1 × 2,5 GbE | TRAID, 2 × 2,5 GbE | RAID5, 2 × 2,5 GbE | |
|---|---|---|---|---|
| read_rand_32 | 83,6 | 101 | 67,1 | 100,6 |
| read_seq_01_32_files | 292,9 | 293,6 | 293,3 | 294,4 |
| read_seq_32 | 248,2 | 272,5 | 271,5 | 277,1 |
| rw_rand_32 | 17,4 | 17,8 | 19,1 | 19,7 |
| rw_seq_32 | 279,6 | 290,8 | 281,8 | 287,4 |
| write_rand_32 | 11,1 | 11,7 | 11,4 | 11,1 |
| write_seq_01_32_files | 200,1 | 233,7 | 204,3 | 240,8 |
| write_seq_32 | 255,3 | 286,3 | 258,5 | 276,8 |
Мы предприняли также испытания внешнего накопителя SSD SanDisk Extreme (2 ТБ) в неразборном корпусе с интерфейсом USB 3.2 Gen2, подключенного к TNAS T6-423 через внешний порт USB 3.2 Gen2 (пропускная способность 10 Гбит/с). В первой серии определяли показатели производительности при обращении к устройству по 2,5-гигабитной сети, с помощью Intel NASPT и нашего комплекта шаблонов.
| Тест | SanDisk Extreme 2 ТБ |
|---|---|
| read_rand_32 | 262,5 |
| read_seq_01_32_files | 291,3 |
| read_seq_32 | 267,3 |
| rw_rand_32 | 148,4 |
| rw_seq_32 | 303,9 |
| write_rand_32 | 114,3 |
| write_seq_01_32_files | 241,2 |
| write_seq_32 | 269,1 |
Полученные скорости с накопителем SanDisk Extreme заметно страдают из-за ограничений трафика LAN.
Во второй серии мы определяли скорости копирования и восстановления данных средствами самого TNAS T6-423 (BTRFS с пулом хранения TRAID). Использовались набор файлов данных Intel NASPT объемом 224 ГБ и пакет резервного копирования RSync Backup.
| Тест | SanDisk Extreme 2 TB |
|---|---|
| Бекап с с TRAID на USB | 474 |
| Восстановление с USB на TRAID | 422 |
Здесь мы были вправе ожидать более высоких значений. Впрочем, в конечном счете все зависит от того, насколько удачно могут «договориться» друг с другом интерфейсы USB в коробке накопителя и на системной плате NAS. В любом случае, полученные нами скорости резервного копирования и восстановления превышают возможности 2,5-гигабитной сети.
Заключение
Если другие NAS с поддержкой 1- и 2,5-гигабитных сетевых подключений еще можно считать недешевым развлечением для домашнего пользователя, то Terramaster TNAS T6-423 — несомненно профессиональный инструмент. Это весьма продвинутый технологически современный шестидисковый сетевой накопитель, поддерживающий объем хранения до 120 ТБ и позволяющий организовать работу всех востребованных корпоративных сервисов вплоть до облака и интернет-коммерции с задействованием MySQL и шифрования. Хорошие возможности подключений обещает наличие двух 2,5-гигабитных портов Ethernet, двух портов USB 3.2 Gen2, двух слотов NVMe для SSD-накопителей. Всё это заключено в очень небольшой корпус с высокоэффективным, но при этом мало шумящим охлаждением. Установить и настроить систему можно за полчаса, и в этом неплохо помогает онлайн-инструкция. В ходе наших испытаний Terramaster TNAS T6-423 показал высокие скорости файловых операций. Конечно, цена этого устройства и без дисков достаточно высока (90 тысяч рублей на момент публикации обзора), но это все-таки решение не для дома, а для организации, и к тому же одно из наиболее совершенных.
Благодарим компанию Terramaster за предоставленный на тест сетевой накопитель
