Умная перчатка научит вас играть на пианино и управлять роботом

Пост опубликован в блогах iXBT.com, его автор не имеет отношения к редакции iXBT.com
| Рассуждения | Оффтопик

Вы наверняка знаете, что люди различаются по типам восприятия информации. Некоторые лучше запоминают то, что видят или слышат, а другие — то, что ощущают. Для таких людей осязание играет важную роль в обучении и освоении новых навыков. Более того, чтобы научиться играть на музыкальном инструменте или проводить хирургическую операцию, нужно не только смотреть и слушать, но и чувствовать, как двигать руками и пальцами.

Однако, в отличие от видео и аудио, осязание очень сложно записать и передать. Как можно дистанционно научить кого-то играть на пианино или управлять роботом, если нельзя дать ему почувствовать, как нажимать на клавиши или захватывать предметы? Как можно создать реалистичный опыт в виртуальной реальности, если нельзя ощутить текстуру, температуру или давление объектов?

(a) Полноразмерная перчатка из текстиля (iv) со встроенными тактильными датчиками (ii) и вибротактильными датчиками (iii) разрабатывается в цифровом виде и автоматически изготавливается с помощью цифровой вышивальной машины (i). Используя эти перчатки со встроенными сенсорными и тактильными возможностями, мы демонстрируем передачу физического взаимодействия между людьми для развития навыков (b) и передачу физического взаимодействия между людьми и роботами для дистанционного управления (c)
Автор: Luo, Y., Liu, C., Lee, Y.J. et al. Adaptive tactile interaction transfer via digitally embroidered smart gloves. Nat Commun15, 868 (2024). https://doi.org/10.1038/s41467-024-45059-8 Источник: www.nature.com

На эти вопросы попытались ответить исследователи из Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (CSAIL) и других организаций. Они разработали уникальную технологию, которая позволяет встраивать тактильные датчики и гаптические приводы в текстиль. Тактильные датчики способны регистрировать силу, давление и положение пальцев, а гаптические приводы — вибрировать в соответствии с полученными данными.

Используя цифровую швейную машину, исследователи смогли создать умную перчатку, которая может не только захватывать, но и воспроизводить и передавать осязательные инструкции. Кроме того, они разработали простого агента машинного обучения, который адаптируется к тому, как разные пользователи реагируют на тактильную обратную связь, оптимизируя их опыт.

Чтобы продемонстрировать возможности своего изобретения, исследователи провели несколько экспериментов в разных областях. Один из них был посвящен обучению игре на пианино. Сначала эксперт, надевший умную перчатку, записал простую мелодию, нажимая на клавиши. Затем агент машинного обучения преобразовал эту последовательность в гаптическую обратную связь, которая поступала в перчатки учеников. Ученики, держа руки над клавиатурой, чувствовали вибрацию на пальцах, соответствующих нужным клавишам. Таким образом, они могли повторить мелодию, не смотря на ноты или экран.

Другие эксперименты были связаны с играми на ноутбуке. В одной из них участники должны были следовать по узкому извилистому пути, чтобы достичь цели, а в другой — собирать монеты и поддерживать баланс своего автомобиля на пути к финишу. В обоих случаях перчатка давала им тактильные подсказки, когда и как двигать рукой. Исследователи обнаружили, что участники получали самые высокие игровые очки с оптимизированной гаптикой, в отличии от результатов без нее.

Еще одно применение умной перчатки — робототехническая телеоперация. Исследователи обнаружили, что их перчатки могут передавать ощущения силы роботизированным рукам, помогая им выполнять более деликатные задачи по захвату. Например, они научили робота, как держать разные типы хлеба не деформируя их. Таким образом, они показали, что человек может точно управлять роботом на расстоянии, передавая ему свои тактильные навыки.

(a) Обзор системы дистанционного управления, включающей параллельный захват, оснащенный тактильными датчиками (i), и пользователя, одетого в полноразмерную перчатку, интегрированную с вибротактильными блоками на большом и указательном пальцах (ii). Визуальная система отслеживает вышитые зеленые и красные цветные блоки для измерения расстояния. (b) Дистанционно управляемый захват булочки для хот-дога, гавайского хлеба и мягкой пластиковой коробки без визуальной обратной связи и с дополнительной передачей тактильной информации через тактильную обратную связь. Графики показывают синхронизированное измерение расстояния при манипуляциях с пальцами пользователя и управлении параллельным захватом, нормализованное давление, полученное от параллельного захвата, и сопоставленную тактильную обратную связь с пользователем. Благодаря тактильной обратной связи пользователь, как правило, управлял захватом дистанционно таким образом, чтобы объекты надежно захватывались с меньшим давлением и меньшими деформациями. (c) Количественные измерения фактической ширины объектов и расстояния между захватами во время дистанционного захвата в различных сценариях. Расстояния захвата, которые меньше фактической ширины объекта, подразумевают деформацию объекта. Столбцы погрешности показывают стандартные отклонения (SD) между измерениями.
Автор: Luo, Y., Liu, C., Lee, Y.J. et al. Adaptive tactile interaction transfer via digitally embroidered smart gloves. Nat Commun15, 868 (2024). https://doi.org/10.1038/s41467-024-45059-8 Источник: www.nature.com

Наконец, умная перчатка может создать более реалистичный опыт в виртуальной реальности. Нося перчатку, пользователь может ощущать текстуру, температуру или давление виртуальных объектов, что делает игры или тренировки более погружающимися. Например, перчатка может помочь хирургам, пожарным или пилотам обучаться в виртуальной среде, где точность имеет первостепенное значение.

Умная перчатка — это удивительное изобретение, которое открывает новые горизонты для обучения, робототехники и виртуальной реальности. Она позволяет передавать осязание, которое является одним из самых важных и сложных чувств человека. Она также адаптируется к индивидуальным особенностям восприятия каждого пользователя, делая обратную связь более эффективной. Она легко изготавливается и носится, не создавая дискомфорта или помех. Она является первым шагом к созданию персонализированных агентов искусственного интеллекта, которые могут помогать людям в выполнении сложных задач и обучении новым навыкам.

1 комментарий

A
Не научит никакая перчатки играть на фортепиано. Так же как не научит никакая система «подсвечивания клавиш, которые надо нажимать».

Добавить комментарий

Сейчас на главной

Новости

Публикации

Обзор тонкого ноутбука Ninkear N15 Air с процессором Intel N95

Недавно Ninkear выпустили свой новый ноутбук под названием N15 Air, основными достоинствами которого стали компактность и низкая цена, но также в рекламных материалах выделяют хорошую автономность...

Обзор приложения от Beeline — Семья рядом: держим контроль за детьми и близкими

Приложение «Семья рядом» от Билайн — это удобный инструмент для отслеживания местоположения членов семьи и обеспечения их безопасности. Оно использует данные GPS, Wi-Fi и сотовых вышек...

Солнечный «мох»: что это такое, и почему он такой горячий?

Солнце — источник жизни на Земле, гигантский ядерный реактор, который мы привыкли считать чем-то постоянным и неизменным. Но эта звезда полна загадок, одна из которых —...

Два кита: сравнительный обзор ЦАПов KiwiEars Allegro и FosiAudio DS2

Как многие из вас догадываются, бюджетный сегмент ЦАПов, не важно мобильных или стационарных, условно делится на две равные части: музыкальные и техничные. К музыкальным можно причислить KiwiEars...

Почувствуй себя стилистом! Обзор премиального фена Dreame AHD9 Hair Miracle

На днях был представлен Dreame AHD9 Hair Miracle — флагман компании, который обязан завоевать внимание на рынке. Это устройство оснащено мощным электромотором с 130000 об/мин, имеет 4...