Microsoft создала систему для обучения роботов пространственному планированию

Microsoft совместно с группой академических исследователей представила GroundedPlanBench — тестовую платформу для систем искусственного интеллекта, которая проверяет способность роботов одновременно планировать последовательность действий и определять точное расположение объектов для их выполнения.

Существующие робототехнические системы разделяют эти процессы на два этапа: сначала визуально-языковая модель формирует план на естественном языке, затем вторая модель преобразует его в конкретные действия. Такое разделение вызывает ошибки даже при выполнении простых задач. Робот может выбрать неправильный объект среди нескольких одинаковых или повторять одно действие многократно.

GroundedPlanBench содержит более 1000 задач, построенных на реальных сценариях работы роботов. Платформа привязывает каждое базовое действие — захват, перемещение, открытие, закрытие — к конкретному объекту или месту на изображении. Задачи варьируются от прямых инструкций до общих формулировок, требующих интерпретации.

Параллельно команда создала метод обучения Video-to-Spatially Grounded Planning (V2GP). Система анализирует видеозаписи работы роботов, определяет моменты взаимодействия с объектами, идентифицирует их и отслеживает положение. На основе этого подхода исследователи создали более 40000 планов — от одноэтапных до последовательностей из 26 шагов.

Модели, обученные на этих данных, показали улучшение в выборе действий и привязке к объектам, сократили повторяющиеся ошибки. Тестирование подтвердило преимущество объединенного подхода перед традиционными системами с раздельным планированием и определением местоположения.