Новая технология позволяет использовать стены и столы как сенсорный экран в AR

Исследователи из Университета Тохоку разработали технологию FingerTinting, которая позволяет использовать стены, столы и другие твердые поверхности как сенсорные панели в дополненной реальности. Система определяет момент нажатия по изменению цвета кожи на кончике пальца, возникающему при контакте с опорой, и не требует внешних датчиков, перчаток или ручных контроллеров.

Решение рассчитано на работу с уже имеющейся AR-гарнитурой, оснащенной встроенной камерой. Камера фиксирует палец пользователя во время касания поверхности, после чего алгоритм компьютерного зрения и модели машинного обучения распознают участок контакта и сопоставляют его с виртуальным интерфейсом, закрепленным на реальном объекте. После этого AR-приложение получает команду о нажатии в нужной точке.

Разработчики сообщили, что технология предназначена для размещения виртуальных кнопок, панелей управления и клавиатур непосредственно на физических поверхностях в окружающем пространстве. В отличие от интерфейсов, которые требуют взаимодействия с элементами, «висящими» в воздухе, новый подход использует опору, что позволяет вводить команды при реальном касании.

В основе метода лежит эффект побледнения кожи под давлением, известный в физиологии как кратковременное уменьшение видимого кровенаполнения тканей при прижатии пальца к твердому основанию. Именно этот визуальный признак система использует как основной маркер касания. По данным авторов, технология не нуждается в специальных метках на поверхности и может работать с обычными объектами внутри помещения.

О разработке сообщил руководитель проекта Гуанхань Чжао вместе с коллегами. Результаты были представлены на 33-й конференции IEEE Conference on Virtual Reality and 3D User Interfaces, которая прошла в марте 2026 года в Южной Корее. FingerTinting рассматривается как способ ввода для AR-сценариев, где требуется взаимодействие с виртуальными элементами через реальные поверхности без дополнительного оборудования.

Источник: New Atlas