Смарт-часы научили отслеживать движения руки через звуковые волны

Ученые Корнеллского университета совместно с Корейским институтом передовых технологий создали систему WatchHand, которая превращает стандартные смарт-часы в устройство для трехмерного отслеживания движений руки. Разработка использует встроенные динамик и микрофон носимого гаджета без установки дополнительного оборудования.

Технология работает по принципу сонара. Динамик смарт-часов излучает неслышимые для человека звуковые волны, которые отражаются от поверхности руки и возвращаются обратно к микрофону устройства. Алгоритм машинного обучения анализирует полученный эхо-профиль и определяет положение пальцев и запястья в трехмерном пространстве. Вся обработка данных происходит непосредственно на смарт-часах без передачи информации в облачные сервисы.

Система прошла испытания с участием 40 человек. В ходе четырех исследований было накоплено около 36 часов данных о различных жестах. Тестирование проводилось на нескольких моделях смарт-часов в разных условиях, включая шумную обстановку и различные положения руки. WatchHand продемонстрировала стабильную работу при отслеживании движений пальцев и поворотов запястья.

Разработчики видят применение технологии в управлении компьютерами жестами, системах дополненной и виртуальной реальности, а также в создании вспомогательных инструментов для людей с ограниченной подвижностью. Система позволяет использовать руку как устройство ввода, что снижает необходимость в клавиатурах и сенсорных экранах.

На текущем этапе WatchHand функционирует только на смарт-часах с операционной системой Android. Технология теряет точность, когда пользователь находится в движении. Результаты исследования будут представлены на конференции ACM CHI по человеческому фактору в вычислительных системах.