Система HEAPGrasp позволила роботам распознавать и брать прозрачные предметы по силуэтам

Пост опубликован в блогах iXBT.com, его автор не имеет отношения к редакции iXBT.com

Исследователи Токийского научного университета представили систему машинного зрения HEAPGrasp, которая позволяет роботам распознавать и захватывать стеклянные, зеркальные и прозрачные объекты, используя только обычную RGB-камеру вместо специализированных датчиков глубины.

Прозрачные и отражающие материалы — стекло, полированный металл, прозрачный пластик — искажают сигналы стандартных трёхмерных сенсоров, из-за чего роботы не могут корректно определить форму и положение таких предметов. На практике это приводит к необходимости ручного вмешательства оператора и снижению скорости автоматизированных линий.

HEAPGrasp решает эту задачу иным путём. Камера снимает объект с нескольких ракурсов, после чего алгоритм семантической сегментации на основе глубокого обучения классифицирует каждый пиксель изображения и отделяет предмет от фона. Далее применяется метод Shape from Silhouette: трёхмерная модель объекта восстанавливается по совокупности контуров, полученных с разных точек обзора. Поскольку метод опирается исключительно на силуэты, а не на данные о глубине, прозрачность и блики не влияют на результат.

Автор: Tokyo University of Science Источник: interestingengineering.com

Для сокращения времени обработки в систему встроен модуль планирования траектории камеры, также основанный на глубоком обучении. Он определяет оптимальный маршрут съёмки, минимизируя лишние перемещения.

В ходе испытаний на реальном роботе в 20 сценариях с комбинациями прозрачных, непрозрачных и отражающих объектов HEAPGrasp продемонстрировала 96-процентную успешность захвата. Перемещение камеры сократилось на 52 %, а время выполнения операции — на 19 % по сравнению с существующими методами. Система совместима с уже установленным роботизированным оборудованием и может применяться в логистике, пищевой промышленности и на производствах, где задействованы смешанные материалы.

Источник: Interesting Engineering

Другое
Автор не входит в состав редакции iXBT.com (подробнее »)

Сейчас на главной

Новости

Публикации

Марс влажнее, чем думали: Curiosity нашел признаки современной жидкой воды у поверхности

Атмосфера современного Марса более чем на 95 процентов состоит из углекислого газа и постоянно меняется в объеме в зависимости от времени года. Каждую зиму на том полюсе планеты, который отвернут...

A4TECH Bloody MS98 Plus — обзор механической клавиатуры с горячей заменой магнитных свитчей

Сегодня на обзоре новая модель MS98 Plus от A4Tech Bloody со съемными магнитным свитчами. 98 в названии говорит нам о формате клавиатуры, но клавиш здесь 99, т.к. сюда добавили еще фирменную...

Как радиация разрушает электронику и почему всего одна частица может вывести спутник из строя

В открытом космосе, внутри ядерных реакторов и в медицинских центрах лучевой терапии электронные приборы работают под постоянным воздействием радиации. Самая опасная ситуация для такой...

Сколько рук у осьминога: почему учёные считают их не щупальцами, а чем-то гораздо более необычным?

Осьминог — одно из самых удивительных беспозвоночных на планете. Его восемь длинных гибких конечностей способны одновременно удерживать добычу, исследовать морское дно, открывать...

Как кассета без ленты передавала музыку с телефона в старую автомагнитолу

Вставляешь в старую автомагнитолу кассету, протягиваешь провод к телефону и нажимаешь «Play». В динамиках играет музыка, хотя внутри кассеты нет магнитной ленты. Магнитола при этом работает в...

Зачем в Чикаго зажигают огонь между рельсами перед проходом поезда

На зимних кадрах из Чикаго пригородный поезд Metra проходит над полосой огня. Низкие языки пламени тянутся вдоль рельса, подсвечивают снег и остаются на месте, когда вагоны уходят дальше. Огонь...