Робот Emo научился копировать выражение лица человека до того, как оно появится

Исследователи из Колумбийского университета разработали робота-гуманоида Emo, способного синхронизировать выражение своего лица с мимикой собеседника до того, как тот завершит эмоциональную реакцию.

Робот оснащён 26 двигателями и гибкой силиконовой оболочкой, обеспечивающей точный контроль над лицевыми мышцами. В глаза Emo встроены RGB-камеры высокого разрешения для восприятия изображения в реальном времени. Система работает на основе двойной нейронной сети: первая модель отвечает за собственную мимику робота, вторая прогнозирует выражение лица человека.

Прогностическая модель обучена на наборе данных из 970 видеозаписей с участием 45 добровольцев. Система анализирует едва заметные изменения в выражении лица человека и предсказывает целевую эмоцию. Обратная модель генерирует двигательные команды в пять раз быстрее предыдущих аналогов — со скоростью 8000 кадров в секунду.

Робот формирует выражение лица за 0,002 секунды, тогда как человеку в среднем требуется 0,841 секунды для проявления эмоции. Тестирование на 2354 командах показало точность прогнозирования 72,2% с положительной прогностической ценностью 80,5%.

Система также синхронизирует движения губ с аудиозаписью речи и работает с 11 языками, включая французский, китайский и арабский, не входившими в обучающую выборку. Emo является усовершенствованной версией платформы Eva, имевшей только 10 приводов.

Источник: Interesting Engineering