Новая разработка Reality Proxy позволяет взаимодействовать с предметами на расстоянии через очки AR

Международная группа исследователей из Университетов Нью-Йорка, Миннесоты и компании Google представила инновационную разработку Reality Proxy — интерфейс смешанной реальности, позволяющий взаимодействовать с физическими объектами, находящимися вне зоны досягаемости пользователя.

Система преодолевает ограничения традиционного взаимодействия с окружающей средой, где манипуляции возможны только с предметами на расстоянии вытянутой руки. Reality Proxy использует комплекс технологий: камеры очков смешанной реальности, алгоритмы машинного обучения, навигационные данные и пользовательский ввод для создания интерактивных цифровых копий удалённых объектов.

Технически система работает следующим образом: когда пользователь фокусирует внимание на удалённом объекте, Reality Proxy формирует его виртуальную копию в масштабе «кукольного домика», с которой можно взаимодействовать непосредственно. Например, можно выбрать книгу на дальней полке и начать её чтение в цифровом формате, не подходя к ней физически.

Потенциальные применения технологии включают управление роями дронов путём выделения их виртуальной рамкой (аналогично выбору юнитов в стратегических играх), навигацию с возможностью детального просмотра удалённых участков маршрута, а также дистанционное управление устройствами интернета вещей через универсальный протокол без необходимости использования специализированных приложений.

Исследователи подчёркивают, что ключевое преимущество разработки — сохранение естественной ментальной модели прямого манипулирования объектами при значительном расширении эффективной зоны взаимодействия и повышении его точности. Система позволяет пользователю оставаться на месте в физическом пространстве, но при этом получать доступ и управлять объектами, находящимися на значительном удалении.