Умная перчатка научит вас играть на пианино и управлять роботом

Вы наверняка знаете, что люди различаются по типам восприятия информации. Некоторые лучше запоминают то, что видят или слышат, а другие — то, что ощущают. Для таких людей осязание играет важную роль в обучении и освоении новых навыков. Более того, чтобы научиться играть на музыкальном инструменте или проводить хирургическую операцию, нужно не только смотреть и слушать, но и чувствовать, как двигать руками и пальцами.

Однако, в отличие от видео и аудио, осязание очень сложно записать и передать. Как можно дистанционно научить кого-то играть на пианино или управлять роботом, если нельзя дать ему почувствовать, как нажимать на клавиши или захватывать предметы? Как можно создать реалистичный опыт в виртуальной реальности, если нельзя ощутить текстуру, температуру или давление объектов?

На эти вопросы попытались ответить исследователи из Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (CSAIL) и других организаций. Они разработали уникальную технологию, которая позволяет встраивать тактильные датчики и гаптические приводы в текстиль. Тактильные датчики способны регистрировать силу, давление и положение пальцев, а гаптические приводы — вибрировать в соответствии с полученными данными.

Используя цифровую швейную машину, исследователи смогли создать умную перчатку, которая может не только захватывать, но и воспроизводить и передавать осязательные инструкции. Кроме того, они разработали простого агента машинного обучения, который адаптируется к тому, как разные пользователи реагируют на тактильную обратную связь, оптимизируя их опыт.

Чтобы продемонстрировать возможности своего изобретения, исследователи провели несколько экспериментов в разных областях. Один из них был посвящен обучению игре на пианино. Сначала эксперт, надевший умную перчатку, записал простую мелодию, нажимая на клавиши. Затем агент машинного обучения преобразовал эту последовательность в гаптическую обратную связь, которая поступала в перчатки учеников. Ученики, держа руки над клавиатурой, чувствовали вибрацию на пальцах, соответствующих нужным клавишам. Таким образом, они могли повторить мелодию, не смотря на ноты или экран.

Другие эксперименты были связаны с играми на ноутбуке. В одной из них участники должны были следовать по узкому извилистому пути, чтобы достичь цели, а в другой — собирать монеты и поддерживать баланс своего автомобиля на пути к финишу. В обоих случаях перчатка давала им тактильные подсказки, когда и как двигать рукой. Исследователи обнаружили, что участники получали самые высокие игровые очки с оптимизированной гаптикой, в отличии от результатов без нее.

Еще одно применение умной перчатки — робототехническая телеоперация. Исследователи обнаружили, что их перчатки могут передавать ощущения силы роботизированным рукам, помогая им выполнять более деликатные задачи по захвату. Например, они научили робота, как держать разные типы хлеба не деформируя их. Таким образом, они показали, что человек может точно управлять роботом на расстоянии, передавая ему свои тактильные навыки.

Наконец, умная перчатка может создать более реалистичный опыт в виртуальной реальности. Нося перчатку, пользователь может ощущать текстуру, температуру или давление виртуальных объектов, что делает игры или тренировки более погружающимися. Например, перчатка может помочь хирургам, пожарным или пилотам обучаться в виртуальной среде, где точность имеет первостепенное значение.

Умная перчатка — это удивительное изобретение, которое открывает новые горизонты для обучения, робототехники и виртуальной реальности. Она позволяет передавать осязание, которое является одним из самых важных и сложных чувств человека. Она также адаптируется к индивидуальным особенностям восприятия каждого пользователя, делая обратную связь более эффективной. Она легко изготавливается и носится, не создавая дискомфорта или помех. Она является первым шагом к созданию персонализированных агентов искусственного интеллекта, которые могут помогать людям в выполнении сложных задач и обучении новым навыкам.