Система HEAPGrasp позволила роботам распознавать и брать прозрачные предметы по силуэтам

Пост опубликован в блогах iXBT.com, его автор не имеет отношения к редакции iXBT.com

Исследователи Токийского научного университета представили систему машинного зрения HEAPGrasp, которая позволяет роботам распознавать и захватывать стеклянные, зеркальные и прозрачные объекты, используя только обычную RGB-камеру вместо специализированных датчиков глубины.

Прозрачные и отражающие материалы — стекло, полированный металл, прозрачный пластик — искажают сигналы стандартных трёхмерных сенсоров, из-за чего роботы не могут корректно определить форму и положение таких предметов. На практике это приводит к необходимости ручного вмешательства оператора и снижению скорости автоматизированных линий.

HEAPGrasp решает эту задачу иным путём. Камера снимает объект с нескольких ракурсов, после чего алгоритм семантической сегментации на основе глубокого обучения классифицирует каждый пиксель изображения и отделяет предмет от фона. Далее применяется метод Shape from Silhouette: трёхмерная модель объекта восстанавливается по совокупности контуров, полученных с разных точек обзора. Поскольку метод опирается исключительно на силуэты, а не на данные о глубине, прозрачность и блики не влияют на результат.

Автор: Tokyo University of Science Источник: interestingengineering.com

Для сокращения времени обработки в систему встроен модуль планирования траектории камеры, также основанный на глубоком обучении. Он определяет оптимальный маршрут съёмки, минимизируя лишние перемещения.

В ходе испытаний на реальном роботе в 20 сценариях с комбинациями прозрачных, непрозрачных и отражающих объектов HEAPGrasp продемонстрировала 96-процентную успешность захвата. Перемещение камеры сократилось на 52 %, а время выполнения операции — на 19 % по сравнению с существующими методами. Система совместима с уже установленным роботизированным оборудованием и может применяться в логистике, пищевой промышленности и на производствах, где задействованы смешанные материалы.

Источник: Interesting Engineering

Другое
Автор не входит в состав редакции iXBT.com (подробнее »)

Сейчас на главной

Новости

Публикации

«Аполлон-11» уже летел к Луне. Зачем Коллинз развернул корабль на 180°?

Чуть больше трёх часов прошло со старта «Аполлона-11», когда Майкл Коллинз отвёл командно-служебный корабль «Колумбия» от третьей ступени и развернул его на пол-оборота. Впереди по курсу была Луна,...

У «Титаника» было три винта. Почему задний ход давали только два?

На ходовых испытаниях у Белфаста «Титаник» разогнали примерно до двадцати узлов. Когда лайнер поравнялся с буем, инженер верфи подал знак капитану. Тот скомандовал полный назад. Два бортовых винта...

Физик собрал цифровую чёрную дыру на микросхеме и измерил утечку одного бита

На обычном лабораторном столе лежит компактная отладочная плата KV260. К её разъёмам подключены два небольших преобразователя напряжения, двухканальный генератор сигналов и осциллограф. Генератор...

На сейшельский остров вернули гигантских черепах, и они смогли распространить 11 000 семян за два месяца

На Сейшельских островах началась реализация проекта, который показывает процесс восстановления экосистемы после возвращения ключевого вида. Героем эксперимента стала гигантская альдабрская...

Оптика «глаз лобстера»: как устроен рентгеновский телескоп миссии BepiColombo

Изучение химического состава Меркурия с орбиты долгое время оставалось одной из сложнейших задач в планетологии. Посадка на горячую поверхность планеты, ближайшей к Солнцу, требует огромных затрат...

Долгожданное IPO Антропика, а также скукоживание «пузыря AI»: главное за неделю

Самые интересные новости финансов и технологий в России и мире за неделю: Антропик всосал с рынка рекордные $117 млрд, остальные активы (акции, крипта, золото) рухнули на ~8-10%...