Исследователи из Техаса разработали AR-систему для быстрой работы с текстом на любых предметах

В университете Далласа подошли по-новому к работе с текстом в дополненной реальности. Теперь печатать можно прямо на любом предмете, который удобно держать в руке. Появившаяся система PropType позволяет использовать знакомые объекты, например, кофейную чашку или книгу, как виртуальную клавиатуру.

Для пользователей дополненной реальности одной из главных трудностей был набор текста в воздухе: быстро печатать неудобно, пальцы устают, а тактильных ощущений нет. Новый подход решает эту задачу за счёт проекции раскладки букв прямо на поверхности предметов. Неважно, изогнута ли банка или плоская крышка, система подстраивает клавиши под форму выбранного объекта. При этом каждое прикосновение ощущается так, словно вы нажимаете настоящую кнопку.

Исследователи наблюдали, как шестнадцать участников держат различные вещи во время эксперимента, изучали, как пальцы двигаются и как ладонь охватывает предмет. Эти данные помогли придумать разные варианты расположения клавиш, чтобы печатать было удобно в любой ситуации. Позже добавить свою раскладку сможет и сам пользователь — для этого создан редактор, где можно поменять размер и расположение кнопок.

Разработка стала возможна благодаря изысканиям в области искусственного осязания. Под руководством доктора Кима в лаборатории обнаружили, если совместить тепло и вибрацию, мозг воспринимает их как одно ощущение владельца предмета. Это открывает путь для реалистичных имитаций прикосновений в виртуальных и учебных приложениях, где важно создать ощущение реального взаимодействия с объектами.

Появление подобных решений связано с тем, что обычные цифровые клавиатуры не всегда подходят для работы в дополненной реальности. Технология призвана сделать подобные устройства более простыми и удобными для обычных пользователей и специалистов.