Ускоритель поиска признаков увеличивает возможности ИИ (перевод статьи Sally Ward-Foxton)

Производитель памяти GSI Technology с помощью своего нейросетевого ускорителя Gemini (ASIC) может существенно увеличить скорость поиска признаков в приложениях ИИ с большой БД.

Автор: Sally Ward-Foxton
Перевод: Евгений Павлюкович
Впервые опубликовано: EETimes.com

Согласно общеизвестному алгоритму работы нейронных сетей после предварительной подготовки данных необходимо выделить признаки объектов, а затем на их основании выполнить поиск похожих объектов и отнести их к определенному классу. Задачу поиска признаков можно делегировать процессору Gemini от GSI Technology, который справится с ней значительно быстрее, чем любой другой процессор.

«Вместо того, чтобы обучать нейросеть распознавать объекты, мы используем ее для выделения их признаков, — сказал EETimes George Williams, директор по ИИ направлению GSI Technology. — Затем получившийся вектор признаков сравнить с аналогичными векторами из БД. Наш процессор предназначен для их сравнения. На выходе пользователь получит TOP-K наиболее похожих векторов». На рисунке 1 представлена технология для распознавания лиц (Изображение: GSI Technology).

Эта технология лучше всего подходит к тем приложениям, в которых поиск выполняется в огромных промаркированных БД, таких как распознавание лиц. Вместо того чтобы использовать последние слои обученной сети для классификации объектов, GSI предлагает использовать слой с признаками объектов, который содержит меньшее, но достаточное количество семантических данных для дальнейшего распознавания объекта. Затем процессор Gemini выполняет сравнение извлеченных характеристических векторов с векторами, предварительно записанными и промаркированными в БД. На выходе процессора получаем индексы наиболее похожих лиц. БД при этом храниться в самом процессоре.

«Предложенная технология обладает целым рядом значительных преимуществ, – сказал Mark Wright, директор по маркетингу GSI Technology. — Поскольку теперь пользователь может получить результат значительно быстрее, он может использовать эту технологию в приложениях реального времени. Раньше достичь необходимой вычислительной скорости было технически невозможно, поскольку пользователю необходимо было постоянно подгружать данные в вычислитель, а это занимало значительное время».

Второе преимущество в том, что пользователю не нужно переобучать нейросеть при добавлении новых объектов в БД, что особенно востребовано в приложениях с обновлением БД в режиме реального времени. Например, для поиска потерявшегося ребенка по видеокамерам в супермаркете достаточно всего лишь добавить его фото в БД.

В таблице 1 указана скорость одновременного поиска от 1 до 1000 объектов в БД размером от 384 тыс. до 10 млн. Каждый объект представлен в виде вектора длиной 32-бит с плавающей точкой и содержит 256 признаков. Для каждого запроса алгоритм ищет 25 наиболее похожих объектов из БД (К=25). Для записи большой БД в процессор используется нейросетевой алгоритм хеширования. БД еще большего размера могут быть обработаны в нескольких процессорах Gemini.

Таблица 1 — Распознавание лиц с помощью одного процессора Gemini APU, установленного на одной PCIe карте.

Алгоритмы поиска подобия такие, как поиск ближайшего соседа, приближенный ближайший сосед и К-ближайших соседей значительно увеличивают возможности приложений с большой БД.

«За последние несколько лет произошел прорыв в технологии поиска подобия, — сказал Williams. — Эти алгоритмы широко используются сейчас, например, онлайн распознавание объектов в eBay основано на поиске подобия среди миллиарда объектов. По этой причине e-commerce компании как никто другой заинтересованы в этой технологии».

Как сказал Williams, поиск по изображению и тексту все чаще выполняется с помощью ИИ, а именно – по характеристическим векторам. Вместо того чтобы искать по ключевым словам, поисковые движки используют NLP модели для извлечения признаков и выполнения поиска. Социальне медиа также заинтересованы в использовании алгоритмов поиска по подобию. С их помощью рекомендательные системы предлагают новые товары на основании того, что может нравится покупателю.

IP ядро APU было приобретено GSI вместе с компанией MikaMonu в 2015. Затем оно было интегрировано в технологию производства SRAM памяти, что стало началом нового направления развития компании.

Процессор Gemini изготовлен по технологии APU. APU разработана для эффективного хранения и поиска в огромной БД. Вычислительные ядра интегрированы в матрицу ячеек SRAM памяти, что позволяет очень эффективно выполнять вычисления в огромном массиве данных.

«Кроме поиска подобия процессор также отлично выполняет алгоритмы на базе булевых операций, таких как манипуляция с данными», — сказал Wright. Эта возможность будет полезна в криптографии.

Процессор Gemini имеет 4 ядра. Каждое ядро состоит из 16 полубанков памяти, каждый из которых разделен на 16 секций. Каждая секция является комбинацией ячеек SRAM памяти и программируемых логических элементов. Всего в процессоре более 2 млн. таких логических элементов, интегрированных в 48 млн. 10Т SRAM ячеек и 96 Мбит L1 кэша. Вычислительная мощность составляет 25 TOPS (для 8-бит вычислений). Процессор производится на фабрике TSMC по технологии 28нм HPC++.

Благодаря своей архитектуре процессор обладает чрезвычайно низкой задержкой вычислений, широкой полосой пропускания и низким энергопотреблением (тепловой пакет одного процессора не превышает 60 Вт).  Для хранения датасетов, которые не поместились во внутреннюю память процессора, на плате имеются слоты для подключения 16 ГБ DRAM. Кроме этого, несколько плат Gemini могут быть легко подключены в сеть для масштабирования вычислительной мощности.

Кроме распознавания лиц процессор хорошо подходит для ряда других задач, например для классификации РЧ сигналов. Принцип работы аналогичен: с помощью нейронной сети извлекаются бинарные вектора признаков сигналов, формируется БД из разных типов сигналов, сигналы необходимо промаркировать и записать в процессор Gemini. Поиск подобия выполняется с помощью алгоритма KNN (K-ближайших соседей). Как и в других задачах, процессор Gemini увеличивает скорость поиска, что особенно хорошо заметно при работе с большими БД.

Другой пример, команда инженеров GSI выиграла соревнование Министерства обороны Израиля по распознаванию человека от животного с помощью нейронной сети и доплеровского радара. В настоящее время команда работает над оптимизацией алгоритма и его реализацией на процессоре Gemini.

Еще один пример использования поиска подобий в ИИ является обработка естественного языка (NLP) для семантического поиска (например, поиск текстов с одинаковым смыслом). Здесь ИИ выполняет поиск семантики, а непосредственный поиск может быть ускорен с помощью процессора Gemini.

GSI также имеет успешную историю интеграции Gemini APU в приложение для хемоинформатики, а именно для поиска активных молекулярных структур в многомиллионной БД. Применив Gemini исследователи смогли использовать более низкий порог подобия в сравнении с архитектурой на базе CPU.

Wright говорит о том, что GSI уже обладает опытом производства космических микросхем, и в ближайшее время ожидается появление процессора Gemini в радиационно-стойком исполнении. В настоящее время процессор Gemini и оценочная PCIe плата поставлены на производство и готовы к отгрузке.

Источник: Similarity Search Accelerator Boosts AI Applications