Система HEAPGrasp позволила роботам распознавать и брать прозрачные предметы по силуэтам

Пост опубликован в блогах iXBT.com, его автор не имеет отношения к редакции iXBT.com

Исследователи Токийского научного университета представили систему машинного зрения HEAPGrasp, которая позволяет роботам распознавать и захватывать стеклянные, зеркальные и прозрачные объекты, используя только обычную RGB-камеру вместо специализированных датчиков глубины.

Прозрачные и отражающие материалы — стекло, полированный металл, прозрачный пластик — искажают сигналы стандартных трёхмерных сенсоров, из-за чего роботы не могут корректно определить форму и положение таких предметов. На практике это приводит к необходимости ручного вмешательства оператора и снижению скорости автоматизированных линий.

HEAPGrasp решает эту задачу иным путём. Камера снимает объект с нескольких ракурсов, после чего алгоритм семантической сегментации на основе глубокого обучения классифицирует каждый пиксель изображения и отделяет предмет от фона. Далее применяется метод Shape from Silhouette: трёхмерная модель объекта восстанавливается по совокупности контуров, полученных с разных точек обзора. Поскольку метод опирается исключительно на силуэты, а не на данные о глубине, прозрачность и блики не влияют на результат.

Автор: Tokyo University of Science Источник: interestingengineering.com

Для сокращения времени обработки в систему встроен модуль планирования траектории камеры, также основанный на глубоком обучении. Он определяет оптимальный маршрут съёмки, минимизируя лишние перемещения.

В ходе испытаний на реальном роботе в 20 сценариях с комбинациями прозрачных, непрозрачных и отражающих объектов HEAPGrasp продемонстрировала 96-процентную успешность захвата. Перемещение камеры сократилось на 52 %, а время выполнения операции — на 19 % по сравнению с существующими методами. Система совместима с уже установленным роботизированным оборудованием и может применяться в логистике, пищевой промышленности и на производствах, где задействованы смешанные материалы.

Источник: Interesting Engineering

Другое
Автор не входит в состав редакции iXBT.com (подробнее »)

Сейчас на главной

Новости

Публикации

В США два года пасли овец рядом с солнечной электростанцией, и животные смогли увеличить число пчёл на участках

Группа учёных из Корнеллского университета в США провела исследование и изучила, как выпас скота на территории солнечных электростанций влияет на насекомых. Учёные смогли получить обнадёживающие...

Как AirTag находит потерянный чемодан, если в нём нет GPS, Wi-Fi и интернета?

Представьте ситуацию: вы прилетели в другой город, а ваш чемодан по ошибке отправился совсем в другую сторону. Открываете приложение «Локатор» на iPhone, смотрите на карту и видите, что багаж с...

Что случится со Вселенной, если в космосе возникнет хотя бы одна точка настоящей пустоты

В повседневной жизни пустотой принято считать пространство, в котором нет никаких предметов и веществ, включая воздух. Однако с точки зрения современной науки создать абсолютную пустоту невозможно....

На Южной Георгии уничтожили крыс на территории более 100 тысяч гектаров — птицы начали возвращаться туда, где не размножались поколениями

Когда первые охотники на тюленей добрались до Южной Георгии в конце XVIII века, вместе с людьми на берег сошёл пассажир, которому здесь раньше не было места. Бурые крысы попадали на остров с...

Как ведут себя тигры в дикой природе: охота, территория, общение и семейная жизнь полосатых хищников

Тигр — один из самых крупных и скрытных хищников планеты. Его образ часто связывают с одиночеством, бесшумной охотой и огромной силой. Но за привычным представлением о полосатом хищнике...

Зачем Нидерланды насыпали в море полуостров из 21,5 млн кубометров песка и дали ему размываться

В 2011 году на голландском берегу Северного моря появился огромный песчаный крюк. Его край выдавался в море примерно на километр. Уже через полгода вода отвоевала у выступа около ста метров....