Компания ПРОСОФТ совместно с ОАО «Научно-исследовательский институт вычислительных комплексов им. М.А.Карцева» (НИИВК) и компанией FASTWEL завершила работы по созданию высокопроизводительной универсальной мультипроцессорной системы (УМС), предназначенной для решения прикладных вычислительных задач, требующих параллельных вычислений. Система построена на базе 24 двухъядерных процессоров Intel Core, объединенных высокоскоростным интерконнектом реального времени Infiniband.
Отличительными особенностями данной системы являются рекордные значения плотности вычислений и использование высокоскоростной сети обмена данными между вычислительными узлами с низкими уровнями задержки сигнала. В качестве вычислительных узлов были использованы 1U-серверы компании Intel с двумя двухъядерными процессорами Intel Xeon серии 5100, работающими при пониженном напряжении питания и, соответственно, с пониженными значениями рассеиваемой тепловой мощности. Это позволило создать компактное решение, в котором все компоненты системы — вычислительные узлы, коммутаторы Gigabit Ethernet, коммутаторы Infiniband и система бесперебойного питания – размещаются в одной стандартной закрытой 19-дюймовой стойке, в качестве которой был использован новый шкаф для электронного оборудования Schroff VARISTAR. Шкаф имеет пылебрызгозащитное исполнение (степень защиты IP54), что позволяет использовать мультипроцессорную систему не просто вне специально подготовленных кондиционированных помещений, а непосредственно в производственных помещениях без предъявления каких-либо требований к их обустройству.
Другой отличительной особенностью выбранной архитектуры является возможность гибкого масштабирования и наращивания возможностей системы. Архитектура вычислительных узлов и характеристики используемых чипсетов позволяют добиться удвоения вычислительной мощности без существенного увеличения теплового бюджета системы и с сохранением объемных характеристик.
Вычислительные узлы объединены двумя различными типами сетей, предназначенными для обмена данными в процессе вычислений и обмена обслуживающей информацией — сеть Gigabit Ethernet и Infiniband, каждая из которых коммутируется соответствующим коммутатором сети. Использование сети Infiniband позволяет практически в 10 раз повысить скорость обмена данных между узлами и в 20-30 раз понизить задержки при передаче данных. Результаты реальных тестов, проведенных на УМС, определили значения скорости обмена по сети Infiniband в диапазоне от 700 до 1000 МБ/с с латентностью в диапазоне 3-4 мс.
Максимальная теоретическая вычислительная мощность текущей конфигурации составляет 447 ГФлопс при энергопотреблении 4,5 кВт. Таким образом, благодаря оптимизации архитектуры кластера по мощности и использованию низковольтных версий процессоров, достигнуто высокое значение вычислительной плотности 75 ГФлопс/кВт. При этом общая архитектура построения УМС позволяет провести замену двухъядерных процессоров на четырехъядерные с ростом теоретической мощности до 890 ГФлопс.
Технические характеристики:
- Число вычислительных узлов: 12
- Число процессоров/ядер: 24/48
- Конструктив узла: 1U
- Тип процессора: два низковольных двухъядерных процессора Intel Xeon 5138 (2,33 ГГц) с двухканальной системной шиной частотой 1333 ГГц, 40 Вт/процессор
- Теоретическая пиковая производительность: 447 ГФлопс
- Производительность на тесте Linpack: 340 ГФлопс, 76 % от теоретической
- Тип ведущей сети обмена данных и скорость: Infiniband 10 Гбит/с
- Задержка при передаче пакетов данных по ведущей сети: 3-4 мкс
- Альтернативная сеть обмена данных: Gigabit Ethernet
- Вспомогательная сеть: Gigabit Ethernet
- Оперативная память узла: 4 ГБ FBDIMM DDR2 667 MГц, расширяемая до 64 ГБ
- Дисковая память узлов: 2 SATA Диска по 80 ГБ
- Операционная система: Red Hat Enterprise Linux 4
- Среда параллельного программирования: Intel MPI Library 3.0
- Компиляторы и библиотеки: GNU (gcc/g77), Intel C++ Compiler for Linux 10.0, Intel Fortran Compiler for Linux 10.0; Intel Math Kernel Library Cluster Edition 9.1
- Система питания и конструктив:
- Количество монтажных шкафов вычислительного кластера: 1
- Занимаемая площадь: 0,6 м2
- Потребляемая мощность вычислительного кластера: 4,5 кВт
- Система охлаждения: воздушная принудительная с защитой от внешних воздействий IP54