Система HEAPGrasp позволила роботам распознавать и брать прозрачные предметы по силуэтам

Пост опубликован в блогах iXBT.com, его автор не имеет отношения к редакции iXBT.com

Исследователи Токийского научного университета представили систему машинного зрения HEAPGrasp, которая позволяет роботам распознавать и захватывать стеклянные, зеркальные и прозрачные объекты, используя только обычную RGB-камеру вместо специализированных датчиков глубины.

Прозрачные и отражающие материалы — стекло, полированный металл, прозрачный пластик — искажают сигналы стандартных трёхмерных сенсоров, из-за чего роботы не могут корректно определить форму и положение таких предметов. На практике это приводит к необходимости ручного вмешательства оператора и снижению скорости автоматизированных линий.

HEAPGrasp решает эту задачу иным путём. Камера снимает объект с нескольких ракурсов, после чего алгоритм семантической сегментации на основе глубокого обучения классифицирует каждый пиксель изображения и отделяет предмет от фона. Далее применяется метод Shape from Silhouette: трёхмерная модель объекта восстанавливается по совокупности контуров, полученных с разных точек обзора. Поскольку метод опирается исключительно на силуэты, а не на данные о глубине, прозрачность и блики не влияют на результат.

Автор: Tokyo University of Science Источник: interestingengineering.com

Для сокращения времени обработки в систему встроен модуль планирования траектории камеры, также основанный на глубоком обучении. Он определяет оптимальный маршрут съёмки, минимизируя лишние перемещения.

В ходе испытаний на реальном роботе в 20 сценариях с комбинациями прозрачных, непрозрачных и отражающих объектов HEAPGrasp продемонстрировала 96-процентную успешность захвата. Перемещение камеры сократилось на 52 %, а время выполнения операции — на 19 % по сравнению с существующими методами. Система совместима с уже установленным роботизированным оборудованием и может применяться в логистике, пищевой промышленности и на производствах, где задействованы смешанные материалы.

Источник: Interesting Engineering

Другое
Автор не входит в состав редакции iXBT.com (подробнее »)

Сейчас на главной

Новости

Публикации

Законы физики не постоянны? Радикальная теория объяснила 165 галактик без темной материи

Звезды и облака холодного газа на окраинах спиральных галактик движутся вокруг центра гораздо быстрее, чем позволяет тяготение одного лишь видимого вещества. По классическим законам механики...

Что мы потеряли без радиоточки и нужна ли она сегодня

В советское время проводное радио было привычной деталью в большинстве городских квартир. Небольшой динамик на стене кухни или в прихожей служил не только источником новостей и музыки, но и частью...

Лицензия из ФРГ и швейцарский ротор: как кассетная «Вильма-204» сменила правила в советском аудио

Вильнюсский приборостроительный завод начал серийный выпуск кассетного магнитофона-приставки «Вильма-204-стерео» в 1984 году, зафиксировав первые технические условия на модель в апреле 1983 года....

Как правильно собрать чемодан, чтобы вещи не мялись и все поместилось

Сборы в поездку часто приводят к 2 проблемам: чемодан закрывается с огромным усилием, а одежда после дороги покрывается глубокими складками. Чаще всего причина заключается в привычке укладывать...

Обзор блока питания Formula V Line FV-750GM с режимом Hybrid Fan Mode

Компания Formula V Line активно развивается на российском рынке. Команда разработчиков занимается корпусами, блоками питания и системами охлаждения, и с каждым годом представляет всё более...

✦ ИИ  Земля за десять долларов: история заброшенных ранчо в пустыне Мохаве

Если свернуть с калифорнийского шоссе 62 восточнее национального парка Джошуа-Три, откроется долина Уондер-Вэлли, занимающая площадь почти 400 квадратных километров. На первый взгляд эта часть...