Инженеры создали автономный шестой палец с камерой: он сам понимает, когда нужно схватить предмет
Многие повседневные действия требуют участия обеих рук, но нагрузка между ними распределяется неравномерно. Когда человек откручивает крышку пластиковой бутылки, на весу размешивает сахар в чашке или зачерпывает ложкой еду из глубокой миски, одна рука выполняет точную работу, а вторая просто удерживает предмет на месте. Если одна рука занята, повреждена или отсутствует, выполнить эти простые операции становится крайне сложно.
Инженеры давно пытаются решить эту проблему с помощью дополнительных роботизированных пальцев. Такое устройство надевается на кисть и работает в паре с пальцами человека: механизм берет на себя фиксацию предмета, позволяя выполнять сложные двуручные действия одной рукой. Однако до сих пор подобные разработки оставались неудобными для реальной жизни. Они получались либо слишком громоздкими и тяжелыми, либо требовали от человека постоянного ручного управления с помощью педалей или дополнительных датчиков.
Группа исследователей из Калифорнийского университета в Сан-Диего (UCSD) и швейцарской компании Sudo AI под руководством Хао Су представила систему EgoThumb. Это носимый механический большой палец, который работает полностью самостоятельно. Устройство оснащено небольшой камерой, направленной внутрь ладони, и управляется программой искусственного интеллекта. Палец сам видит, к какому предмету тянется рука, в нужный момент захватывает его, надежно удерживает во время работы и отпускает, когда человек возвращает предмет на стол. Все чертежи для 3D-печати, схемы сборки и программный код разработчики выложили в открытый доступ.
Содержание
- Почему существующие робопальцы неудобны в быту
- Как устроен механический палец и его приводы
- Камера на ладони и обработка изображения
- Как систему обучали работать без команд человека
- Проверка в деле: четыре задачи, чужие руки и новые комнаты
- Что выводит систему из строя: проверочные отключения
- Ограничения прототипа и значение разработки
Почему существующие робопальцы неудобны в быту
При создании дополнительного механического пальца инженеры всегда сталкиваются с двумя техническими препятствиями: как сделать устройство легким и как передавать ему команды.
Чтобы палец мог крепко удерживать полную чашку или бутылку, ему нужны достаточно мощные электромоторы. В большинстве существующих прототипов эти моторы встраивают прямо в суставы самого механического пальца. Из-за этого устройство получается крупным и тяжелым. Лишний вес на самой кисти быстро утомляет руку при длительном ношении. Кроме того, толстым механическим пальцем со встроенными моторами физически невозможно подцепить мелкие бытовые предметы или просунуть его в узкое пространство.
Некоторые разработчики убирают моторы с кисти на предплечье, а усилие к суставам передают через натяжные тросы. Это делает сам палец легким и компактным, но создает проблему с точностью движений. В традиционных тросовых конструкциях мотор тянет трос только в одну сторону — чтобы согнуть палец. А разгибается он обратно за счет обычной пружины. Из-за пружинного возврата механизм теряет жесткость, и точно контролировать угол наклона каждого сустава становится невозможно.
Вторая проблема связана с управлением. Дополнительный палец должен точно знать, когда именно нужно сжаться и разжаться. В большинстве проектов этим управляет сам человек. Например, в известных существующих прототипах датчики управления размещают в обуви под пальцами ног. Чтобы схватить предмет на столе, человек должен в нужный момент нажать большим пальцем ноги на кнопку в ботинке и удерживать ее, пока работает рукой. Это требует постоянной концентрации внимания и отвлекает от самой задачи.
Другой способ управления — закрепить датчики движения на живых пальцах человека. Когда человек начинает сгибать свои пальцы, робопалец автоматически повторяет это движение. Но у такой системы нет зрения: она чувствует только сгибание суставов, но не видит окружающих предметов. Если человек просто сожмет руку в воздухе или потянется к предмету под нестандартным углом, устройство сработает невпопад, так как оно не понимает, находится ли предмет внутри ладони.
Создатели системы EgoThumb устранили оба недостатка: они изменили конструкцию тросового привода и заменили ручное управление на автоматическое распознавание ситуации по видеокамере.
Как устроен механический палец и его приводы
Конструкция EgoThumb разделена на две отдельные части: легкий пластиковый палец, который крепится на кисть, и блок с моторами, который надевается выше — на предплечье.
Сам палец состоит из трех пластиковых звеньев, напечатанных на обычном 3D-принтере из распространенного пластика PLA. На внутреннюю сторону пальца, которая непосредственно касается предметов, наклеен слой мягкого силикона. Силикон не дает гладким предметам выскальзывать и позволяет плотнее прижимать их без риска повредить. Устройство крепится к руке у основания ладони с помощью двух регулируемых ремешков на липучках: один обхватывает запястье, а второй проходит через промежуток между большим и указательным пальцами. Благодаря мягким ремешкам устройство плотно сидит на руках разного размера и не смещается во время работы.
Механический палец имеет три подвижных сустава, которые по своему расположению соответствуют суставам большого пальца человека:
- Нижний сустав (у самого основания ладони) поворачивается в диапазоне до 180 градусов поперек ладони. Это движение выводит механический палец на позицию напротив живых пальцев человека.
- Средний сустав отвечает за основное сгибание пальца и поворачивается на угол до 84 градусов.
- Верхний сустав (у кончика пальца) довершает захват и может сгибаться на угол до 141 градуса.
Все три сустава сделаны как простые одиночные шарниры, которые двигаются только в одной плоскости. У живого большого пальца человека нижний сустав может вращаться в нескольких направлениях, но для задач надежного захвата и удержания предметов такая сложность не нужна, поэтому инженеры намеренно упростили конструкцию ради прочности и надежности.
Блок приводов закреплен на предплечье и содержит три электромотора (модели Dynamixel XL430). Вместо возвратных пружин инженеры применили двухтросовую систему управления: к каждому из трех суставов идут сразу по два независимых троса. Один трос принудительно сгибает сустав, а второй так же принудительно его разгибает. Внутри блока на предплечье тросы наматываются на специальные катушки с храповым механизмом (зубчатым фиксатором). Этот механизм позволяет быстро натягивать тросы при сборке и не дает им провисать со временем. Поскольку и сгибание, и разгибание контролируются моторами напрямую, система может удерживать палец под любым нужным углом с высокой точностью — встроенные в моторы датчики отслеживают поворот с точностью до сотых долей градуса.
От предплечья к кисти все шесть тросов проходят внутри тонких пластиковых трубок из фторопласта (тефлона). У этого материала очень скользкая внутренняя поверхность, поэтому тросы двигаются внутри почти без трения. Но главное свойство этих трубок — они легко изгибаются в стороны, но совершенно не сжимаются и не растягиваются по своей длине.
Это решает важную механическую проблему: когда человек работает рукой, он постоянно сгибает и поворачивает запястье. Если бы тросы шли открыто, любой изгиб запястья менял бы их натяжение, и механический палец сгибался бы сам по себе при каждом движении руки. Жесткие трубки сохраняют длину пути каждого троса постоянной при любом положении запястья. В результате движения кисти человека никак не влияют на натяжение тросов, и палец двигается только тогда, когда этого хотят электромоторы.
Камера на ладони и обработка изображения
Чтобы механический палец работал без команд человека, он должен видеть рабочую зону. Размещать камеру на столе или на голове человека неэффективно: когда рука тянется к предмету и поворачивается, она сама закрывает предмет от внешней камеры.
Разработчики установили миниатюрную видеокамеру прямо у основания механического пальца с внутренней стороны кисти. Объектив направлен вдоль ладони в сторону кончиков пальцев. У такого расположения есть важное преимущество: камера двигается вместе с рукой, и обзор никогда не перекрывается. В кадр одновременно попадают три главных объекта: сам механический палец, живые пальцы человека и предмет, с которым нужно взаимодействовать.
В устройстве используется камера с двумя техническими особенностями:
- Сверхширокоугольный объектив с углом обзора 220 градусов. Он позволяет видеть все пространство вокруг ладони, даже когда предмет находится почти вплотную к руке.
- Мгновенное считывание кадра. Обычные веб-камеры считывают картинку построчно сверху вниз, из-за чего при быстрых движениях руки изображение на видео искажается и размазывается. В EgoThumb стоит сенсор, который фиксирует весь кадр целиком в один момент времени, сохраняя четкость контуров при движении.
Камера снимает цветное видео с разрешением 320 на 240 точек (пикселей). Прежде чем отправить эту картинку в управляющую программу, система автоматически обрезает каждый кадр до квадрата размером 224 на 224 точки, смещая зону обрезки в правый нижний угол.
Эта простая операция выполняет важную роль: в верхнюю и левую части исходного кадра обычно попадает фон комнаты (стены, мебель, посторонние предметы на столе), а в правом нижнем углу находятся пальцы и сам захватываемый предмет. Обрезка кадра заранее отсекает визуальный шум окружающей обстановки. При этом разработчики не тратят время компьютера на то, чтобы программно выпрямлять закругленную картинку от широкоугольной линзы, и не используют сложные программы для расчета трехмерной модели кисти. Алгоритм получает обрезанный кадр в исходном виде и сразу принимает решение о движении моторов.
Как систему обучали работать без команд человека
Поскольку заранее прописать в программе правила для всех возможных движений руки невозможно, инженеры использовали метод обучения на примерах. Сначала человек вручную управляет механическим пальцем и показывает ему, как правильно хватать и держать предметы, а программа запоминает связь между картинкой с ладонной камеры и движениями моторов.
Для этапа обучения разработчики собрали временный ножной пульт управления. На полу разместили четыре датчика нажатия — под большими пальцами левой и правой ноги оператора.
- Нажимая левым пальцем ноги на два левых датчика, человек управлял сгибанием и разгибанием среднего и верхнего суставов робопальца. Чтобы оператору было проще контролировать движение, эти два сустава программно связали между собой: верхний сустав всегда сгибался ровно на две трети от угла поворота среднего сустава.
- Нажимая правым пальцем ноги на два правых датчика, оператор поворачивал нижний сустав у основания ладони.
Сигналы с ножных датчиков считывал отдельный микрокомпьютер Raspberry Pi (50 раз в секунду). Во время обучения человек выполнял рукой нужную работу, одновременно управляя шестым пальцем с помощью ног, а компьютер записывал видео с ладонной камеры и точные углы поворота всех трех моторов. Для каждого из четырех тестовых заданий демонстратор записал по 50 успешных повторений.
Как только обучающие записи были собраны, ножной пульт полностью отключили от системы. На этапе самостоятельной работы управление пальцем взял на себя алгоритм искусственного интеллекта (так называемая диффузионная политика управления).
Работает эта система следующим образом:
- Закрепленный на руке микрокомпьютер Raspberry Pi считывает текущие углы поворота моторов 60 раз в секунду и получает кадры с камеры 20 раз в секунду.
- Эти данные по локальной сети без задержек передаются на стационарный компьютер с мощной видеокартой, где запущена нейросеть.
- Программа берет два последних кадра с камеры, пропускает их через блок распознавания изображений, добавляет к ним данные о текущем положении суставов пальца и рассчитывает плавную цепочку команд для моторов сразу на 8 шагов вперед.
- Команды возвращаются на микрокомпьютер на руке, и моторы приводят палец в движение.
Расчет движений сразу на несколько шагов вперед позволяет избежать резких рывков и дрожания: механический палец двигается плавно и предсказуемо, подстраиваясь под скорость приближения руки к предмету.
Проверка в деле: четыре задачи, чужие руки и новые комнаты
Чтобы проверить, насколько хорошо механический палец справляется со своей ролью в реальных условиях, исследователи провели серию испытаний на четырех бытовых задачах разной сложности:
- Подъем кубика. Пользователь подносит правую руку к твердому кубику на столе. Робопалец самостоятельно сгибается, прижимает кубик к ладони, после чего человек поднимает его над столом.
- Откручивание крышки. Человек подносит руку к закрытой бутылке. Механический палец обхватывает и зажимает корпус бутылки, позволяя поднять ее со стола. Пока робопалец держит бутылку на весу, человек своими свободными пальцами той же руки берется за крышку и откручивает ее. Затем человек ставит бутылку обратно на стол, и робопалец сам разжимается.
- Размешивание чая. В пальцах человека уже зажата палочка для размешивания. Он подносит эту же руку к пустой чашке, стоящей в отмеченной красной зоне стола. Робопалец сам прижимает чашку к ладони. Человек поднимает чашку, той же рукой размешивает палочкой внутри, переносит чашку в синюю зону на столе и ставит ее, после чего робопалец отпускает захват.
- Перекладывание шарика ложкой. Самое сложное задание, требующее высокой точности и долгого удержания. На столе в красной зоне стоит чашка, внутри которой лежит маленький шарик. Человек подходит к ней, держа в руке ложку. Робопалец захватывает чашку, человек поднимает ее и наклоняет в воздухе. Одновременно с этим он с помощью ложки в той же руке достает из наклоненной чашки шарик и перекладывает его в другую емкость, стоящую рядом. После этого человек переносит чашку в синюю зону и ставит на стол, а робопалец разжимается.
Каждую задачу тестировали по 10 раз в разных условиях, чтобы ответить на три главных вопроса.
1. Будет ли устройство работать на руках других людей?
Обучающие записи делались на руке только одного человека. У других людей ширина ладони, длина пальцев, форма кисти и оттенок кожи отличаются, поэтому на видео с камеры рука выглядит иначе. Чтобы проверить, не собьет ли это программу с толку, устройство по очереди надели два новых испытателя, которые не участвовали в обучении.
Результаты показали, что смена человека почти не влияет на работу устройства. У исходного демонстратора палец успешно справился с четырьмя задачами в 90% случаев. У первого нового пользователя средняя успешность составила 92,5%, а у второго — 87,5%. Кубик все трое поднимали со стопроцентной надежностью, а сложное задание с перекладыванием шарика ложкой выполняли в 90-100% случаев.
Причина такой стабильности кроется в конструкции крепления камеры. Поскольку камера жестко прикручена к основанию самого механического пальца, этот палец в кадре всегда находится на одном и том же месте, независимо от того, на чью руку надет ремешок. Программа научилась обращать внимание не на то, как именно выглядит кожа или форма руки владельца, а на то, как сближаются пальцы с предметом и в какой момент нужно замкнуть захват.
2. Что произойдет, если переставлять предметы шире по столу?
В базовых тестах предметы ставили в пределах небольших квадратов размером 10 на 10 сантиметров. Затем исследователи усложнили задачу и в несколько раз увеличили зоны на столе, где могли случайно стоять предметы и куда их нужно было переносить (до прямоугольников 50 на 10 и 30 на 25 сантиметров). В задаче с шариком также сдвинули в сторону емкость, куда нужно было переложить шарик.
В этих расширенных зонах простые задачи по-прежнему выполнялись надежно: подъем кубика сработал в 100% попыток у всех участников, а откручивание крышки бутылки — в среднем в 73% случаев. Размешивание чая удалось выполнить в 53% попыток. А вот в самой сложной задаче с перекладыванием шарика ложкой успешность упала до 17%.
Исследователи объясняют это падение двумя факторами. Во-первых, когда рука сильно смещается по столу, в объектив камеры попадают новые участки поверхности и края стола, что меняет картинку. Во-вторых, задача с шариком состоит из длинной цепочки действий: схватить, поднять, наклонить под правильным углом, достать ложкой шарик, выровнять, перенести и поставить. Если из-за непривычного положения чашки палец в самом начале возьмет ее чуть менее удобно, ошибка накопится, и человек просто не сможет дотянуться ложкой до шарика внутри наклоненной чашки.
3. Сможет ли палец работать в совершенно незнакомых комнатах?
Чтобы проверить зависимость от освещения и окружающей обстановки, авторы провели отдельный эксперимент на задаче с размешиванием чая. Они собрали расширенную базу примеров — 105 записей в девяти разных местах (рабочие столы, лаборатории, складские помещения с коробками на фоне).
После этого систему протестировали в двух комнатах, где проходило обучение, и в двух совершенно новых помещениях с другим светом и мебелью, которых программа никогда раньше не видела. В знакомых комнатах палец успешно выполнил задачу в 80-100% случаев, а в совершенно новых помещениях — в 67% и 73% случаев. При этом исследователи проверили, как меняется точность, если обучать программу на 25, 50, 75 и 105 примерах. Графики показали прямую закономерность: чем больше разнообразных комнат программа видела при обучении, тем увереннее она игнорирует незнакомый фон и выделяет только саму чашку и руку.
Что выводит систему из строя: проверочные отключения
Чтобы точно доказать, какие именно программные решения обеспечивают работу пальца, инженеры провели два дополнительных теста на задаче с откручиванием крышки бутылки (где полная версия системы показывала 70% успеха). В этих тестах они по очереди отключали две внутренние функции программы.
Отказ от обрезки кадра. В первом тесте разработчики перестали обрезать видео с камеры до квадрата 224 на 224 точки и подавали в нейросеть полный кадр размером 320 на 240 точек со всем окружающим фоном. В результате система полностью потеряла работоспособность — успешность упала с 70% до 0%. Без принудительной обрезки края кадра программа начинает ориентироваться на случайные предметы в комнате, путается в лишних деталях и перестает точно определять момент, когда нужно зажать бутылку.
Отказ от синхронизации времени. Во втором тесте инженеры отключили алгоритм выравнивания задержек. Дело в том, что все части системы работают с разной частотой: камера делает снимки 20 раз в секунду, датчики моторов считываются 60 раз в секунду, а пересылка данных на компьютер и расчет движений в нейросети занимают дополнительные доли секунды. В обычном режиме специальный программный модуль точно высчитывает, в какой именно момент времени был сделан кадр, сопоставляет его с положением моторов в ту же миллисекунду и делает поправку на время расчетов компьютера.
Когда эту точную синхронизацию отключили и начали просто сопоставлять картинку с последним известным положением мотора напрямую, успешность также упала с 70% до 0%. Без точного согласования во времени движения пальца начинают отставать от движений руки человека или опережать их, из-за чего надежно схватить предмет становится невозможно.
Ограничения прототипа и значение разработки
Авторы работы открыто перечисляют технические ограничения текущей версии EgoThumb, которые предстоит решить в будущих моделях:
- Габариты камеры. Сенсор с широкоугольным объективом заметно выступает над поверхностью ладони, что может мешать при некоторых хватах и снижает удобство повседневного ношения. Системе требуется более плоская, встроенная в корпус камера.
- Скорость съемки. Частота 20 кадров в секунду хорошо подходит для плавных, размеренных действий вроде удержания чашки или бутылки. Однако если человек начнет двигать рукой быстро, кадры начнут размываться, и система не успеет среагировать.
- Привязка к стационарному компьютеру. Микрокомпьютер на руке отвечает только за сбор данных и вращение моторов, а сама нейросеть работает на внешнем ПК. Чтобы устройство стало по-настоящему переносным, вычисления нужно перенести на компактный носимый процессор.
- Сложные многоступенчатые задачи. Как показал тест с перекладыванием шарика на большом столе, одного алгоритма, который просто переводит картинку в движения моторов, недостаточно для длинных цепочек действий в меняющемся пространстве. Для таких задач потребуется двухуровневая программа: один блок должен планировать общие этапы работы, а второй — управлять моторами.
Несмотря на эти ограничения прототипа, проект EgoThumb показывает важный практический результат для всей области носимой робототехники и протезирования. Долгое время считалось, что для успешной работы дополнительной конечности нужно найти способ подключить ее к человеку — через ножные педали, датчики мышечного напряжения на коже или сложные нейроинтерфейсы. Все эти методы заставляют человека учиться управлять новым механизмом, как внешним прибором.
Инженеры из Калифорнии и Цюриха продемонстрировали другой путь. Если снабдить носимое устройство собственным зрением с удачного ракурса и обучить его на нескольких десятках наглядных примеров, необходимость в прямых командах отпадает. Механический палец сам наблюдает за действиями руки, понимает задачу из окружающей обстановки и вовремя берет на себя свою часть работы, не требуя от человека никаких дополнительных усилий.
Источник: arXiv





1 комментарий
Добавить комментарий