Новый метод улучшения картинки для VR-очков экономит до 78% энергии

Исследовательская группа из Швейцарии представила инновационный подход к технологии суперразрешения (Super Resolution, SR), специально оптимизированный для устройств пространственных вычислений, включая очки виртуальной, дополненной и смешанной реальности.

Новый метод решает критическую проблему современных AR/VR систем — необходимость обработки изображений высокого разрешения при ограниченных вычислительных ресурсах портативных устройств. Традиционные алгоритмы суперразрешения, использующие глубокие сверточные нейронные сети, эффективно восстанавливают детали изображения, но требуют значительных вычислительных мощностей.

Ключевое новшество предложенного подхода заключается в избирательном применении алгоритмов разной сложности к различным участкам изображения. Система сначала анализирует кадр с помощью перцептивной модели, имитирующей особенности человеческого зрения, включая чувствительность к контрасту и эффекты маскировки. Затем, основываясь на этом анализе, для каждого участка изображения выбирается оптимальный по соотношению качество/производительность метод обработки.

Технически решение реализовано через иерархическую структуру алгоритмов: от простой бикубической интерполяции до сложных нейросетевых моделей VDSR (Very Deep Super-Resolution) и EDSR (Enhanced Deep Residual Network for Single Image Super-Resolution) с различной глубиной. Для VDSR применено «ветвление» внутри сети, позволяющее динамически регулировать сложность вычислений.

Практические испытания с участием людей подтвердили эффективность метода. При двукратном увеличении разрешения вычислительные затраты снижаются на 50% для VDSR и на 78% для EDSR, а при четырехкратном — на 37% и 77% соответственно. При этом затраты на работу самой перцептивной модели составляют менее 1% от общих вычислительных ресурсов.

Разработанный метод является платформонезависимым и может быть интегрирован в различные устройства пространственных вычислений, что делает его особенно ценным для развития следующего поколения AR/VR технологий.

Источник: Голографика