Робот под управлением GPT-4 играет на воображаемой гитаре и притворяется призраком

В данной статье мы рассмотрим, как большая языковая модель GPT-4 позволяет управлять движениями гуманоидного робота Alter3 посредством инструкций на естественном языке. Такой подход обладает рядом преимуществ по сравнению с традиционным программированием робота, а также демонстрирует потенциал для создания более интеллектуальных, адаптивных и «осознанных» роботических сущностей.

Alter3 — это третье поколение гуманоидного робота, разработанного в лаборатории Икегами в Токийском университете. Он состоит из 43 подвижных суставов, которые воспроизводят человеческое мышечно-скелетное движение. Он способен выполнять сложные движения верхней части тела, включая выражения лица. Он не имеет ног, но может имитировать ходьбу. Он также оснащен камерой, которая дает ему возможность «видеть» людей.

До недавнего времени для того, чтобы заставить Alter3 делать какие-то действия, нужно было написать специальный код для каждого сценария. Это был трудоемкий и скучный процесс, который ограничивал возможности робота. Но теперь ученые используют GPT-4 для того, чтобы создать мост между языком и движением.

GPT-4 — это большая языковая модель, которая обучена на огромном корпусе текстов на разных языках. Она может генерировать текст по любой теме, а также понимать смысл и контекст входных данных. Ученые использовали GPT-4 для того, чтобы научить ее преобразовывать инструкции на естественном языке в код Python, который запускает движок Android, управляющий роботом.

Таким образом, теперь можно просто сказать роботу, что ему нужно сделать, и он выполнит это. Причем он спокойно может имитировать сложные движения, такие как бросок мяча, поедание попкорна, игра на воображаемой гитаре и т. д. Он даже может показывать эмоции, например, удивление или смущение, если он сделал что-то не так.

Alter3 не просто повторяет действия, которые ему говорят. Он запоминает их и улучшает со временем. Он также может учиться, наблюдая за реакциями людей. Это похоже на то, как новорожденные дети подражают взрослым. Ученые сравнивают такую способность обучения с «zero-shot» обучением, когда модель может справляться с новыми задачами без дополнительных данных.

Использование GPT-4 в робототехнике открывает новые горизонты для сотрудничества человека и робота. Роботы становятся более интеллектуальными, адаптивными и «осознанными». Они могут понимать человеческий язык и выражать себя через движение.