Производитель Gemini APU заявляет о 100-кратно большей скорости в сравнении с CPU Xeon для БД (перевод статьи Chris Mellor)

В статье приведен краткий обзор нейросетевого процессора Gemini APU от GSI Technology и его сравнение с наиболее популярными процессорами для машинного зрения.

Автор: Chris Mellor
Перевод: Евгений Павлюкович

Поиск похожих объектов является основной задачей в анализе БД. Ввиду большого объема неструктурированной информации достичь необходимой скорости на традиционных процессорах с последовательным вычислением в ядрах практически невозможно.

В основе решения этой задачи лежит принцип побитового анализа миллионов или даже миллиардов характеристических векторов различных объектов, предварительно записанных в БД, с целью поиска похожих. Примеры задач: распознавание лиц, определение последовательности ДНК, молекулярный поиск в хемоинформатике и разработка лекарств, алгоритм криптографического хеширования SHA-1, обработка естественного языка (NLP). Библиотека FAISS от Facebook^* является хорошим примером реализации такой задачи.

Традиционно для поиска похожих объектов используются Xeon CPU и GPU. Однако, они не предназначены для этого и имеют узкую шины данных к памяти.

Xeon CPU может выполнять только последовательный поиск одной записи в каждом ядре.  Для выполнения поиска CPU подгружает небольшую порцию данных из памяти, и каждое ядро сравнивает новый объект с объектами из этой порции. Однако,  если необходимо распознать объекты по изображению, БД может содержать миллиарды записей, в которой поиск займет очень много времени. Кроме этого, CPU потребляет много электроэнергии.

Несмотря на то, что в Nvidia GPU ядер значительно больше, нам все равно придется долго ждать результатов сравнения, особенно, когда БД приближается к миллиарду объектов.

Изложенную выше проблему озвучил производитель микросхем памяти GSI Technology из Кремниевой долины США, который разработал технологию параллельной обработки, предназначенную исключительно для поиска похожих объектов. Компания заявляет, что их ассоциативный процессор Gemini APU выполняет поиск сходств в приложениях c большой БД в сотни раз быстрее, чем Xeon CPU. Энергопотребление при этом на 70% меньше.

Вычислительные блоки APU распределены непосредственно в массиве ячеек памяти, благодаря чему они могут работать параллельно. Таким образом, нет необходимости в перемещении данных из внешней памяти в процессор, как это происходит в Xeon CPU, где данные постоянно мигрируют из кэша L3 в L2 и L1.

Процессор Gemini APU по своей сути является вычислительным модулем, предназначенным для разгрузки основного процессора сервера от выполнения большого количества однотипных операций, освобождая его для более сложных задач. Gemini APU выполняет поиск в БД значительно быстрее, чем х86 процессор.

Согласно информации, предоставленной GSI, для распознавания лица в БД из 1 млрд. записей четырем процессорам Gemini APU понадобилось всего 1.25 мс. При этом длина характеристических векторов была довольно большой и содержала 768 бит, хешированных из 96 признаков лица. Для решения этой же задачи серверу на базе Xeon CPU без APU потребовалось 125 мс.

Компания утверждает, что 1U сервер с шестнадцатью Gemini APU процессорами выполняет 5.4 млн. хеширований за одну секунду для алгоритма SHA-1 256-бит. Этот результат лучше, чем у 4U сервера с восьмью модулями Nvidia V100. При этом потребляемая мощность сервера с Gemini APU в два ниже.

Архитектура Gemini APU состоит из ячеек SRAM памяти и двух миллионов псевдопроцессоров для выполнения математических функций. SRAM – это сверхоперативное запоминающее устройство, которое значительно быстрее, но и дороже, чем DDR память.

GSI интегрировала двоичные вычислительные блоки в линии чтение-изменение-запись SRAM памяти, что позволило всем псевдопроцессорам работать параллельно.

В процессоре Gemini APU данные напрямую подаются из памяти в рядом расположенные вычислительные блоки, а объект поиска загружается сразу во все псевдопроцессоры. Затем выполняется одновременный поиск расстояний Хэмминга* во всех двух миллионах псевдопроцессорах. Благодаря тому, что внутри Gemini APU содержится настолько много псевдопроцессоров, его скорость значительно выше, чем у 28 ядерного Xeon, выполняющего ту же самую работу.

Процессор Gemini может обрабатывать два миллиона двоичных вычислений на частоте 400 МГц c полосой пропускания памяти 26 ТБ/с. В то время как Xeon 8280 может обрабатывать 28х2х512 бит на частоте 2.7 ГГц с 1 TБ/c. шиной данных к памяти.

Таблица 1. – Сравнительная таблица вычислителей, опубликованная GSI в официальных документах.

Nvidia A100 GPU может вычислять 104х4096 бит данных на частоте 1.4 ГГц и обеспечивает шину к памяти 7 ТБ/с, которая значительно уже шины Gemini APU.

Когда компьютер выполняет поиск, он обрабатывает запросы, представленные в виде бинарных векторов. Задача заключается в поиске таких же или похожих векторов из БД. Степень похожести определяться количеством отличных друг от друга бит.

Например, у нас есть два вектора одинаковой длины 1101 1001 и 1001 1101. Сложив их, мы получим новый вектор 0100 0100. Новый вектор содержит две единицы, соответственно расстояния Хэмминга равно 2. Очевидно, что чем меньшая длина векторов, тем большая вероятность того, что они будут похожими. Такой метод применяется для распознавания лиц, геномов, активных молекулярных веществ, а также в алгоритме хеширования SHA-1 и во многих других задачах.

• * — Компания Meta (социальные сети Instagram и Facebook) - признана экстремистской организацией на территории Российской Федерации

Источник: DPU maker claims 100x speedup vs. Xeon for big data similarity search