Система HEAPGrasp позволила роботам распознавать и брать прозрачные предметы по силуэтам

Исследователи Токийского научного университета представили систему машинного зрения HEAPGrasp, которая позволяет роботам распознавать и захватывать стеклянные, зеркальные и прозрачные объекты, используя только обычную RGB-камеру вместо специализированных датчиков глубины.

Прозрачные и отражающие материалы — стекло, полированный металл, прозрачный пластик — искажают сигналы стандартных трёхмерных сенсоров, из-за чего роботы не могут корректно определить форму и положение таких предметов. На практике это приводит к необходимости ручного вмешательства оператора и снижению скорости автоматизированных линий.

HEAPGrasp решает эту задачу иным путём. Камера снимает объект с нескольких ракурсов, после чего алгоритм семантической сегментации на основе глубокого обучения классифицирует каждый пиксель изображения и отделяет предмет от фона. Далее применяется метод Shape from Silhouette: трёхмерная модель объекта восстанавливается по совокупности контуров, полученных с разных точек обзора. Поскольку метод опирается исключительно на силуэты, а не на данные о глубине, прозрачность и блики не влияют на результат.

Для сокращения времени обработки в систему встроен модуль планирования траектории камеры, также основанный на глубоком обучении. Он определяет оптимальный маршрут съёмки, минимизируя лишние перемещения.

В ходе испытаний на реальном роботе в 20 сценариях с комбинациями прозрачных, непрозрачных и отражающих объектов HEAPGrasp продемонстрировала 96-процентную успешность захвата. Перемещение камеры сократилось на 52 %, а время выполнения операции — на 19 % по сравнению с существующими методами. Система совместима с уже установленным роботизированным оборудованием и может применяться в логистике, пищевой промышленности и на производствах, где задействованы смешанные материалы.

Источник: Interesting Engineering