Робот Emo научился копировать выражение лица человека до того, как оно появится

Пост опубликован в блогах iXBT.com, его автор не имеет отношения к редакции iXBT.com

Исследователи из Колумбийского университета разработали робота-гуманоида Emo, способного синхронизировать выражение своего лица с мимикой собеседника до того, как тот завершит эмоциональную реакцию.

Робот оснащён 26 двигателями и гибкой силиконовой оболочкой, обеспечивающей точный контроль над лицевыми мышцами. В глаза Emo встроены RGB-камеры высокого разрешения для восприятия изображения в реальном времени. Система работает на основе двойной нейронной сети: первая модель отвечает за собственную мимику робота, вторая прогнозирует выражение лица человека.

Прогностическая модель обучена на наборе данных из 970 видеозаписей с участием 45 добровольцев. Система анализирует едва заметные изменения в выражении лица человека и предсказывает целевую эмоцию. Обратная модель генерирует двигательные команды в пять раз быстрее предыдущих аналогов — со скоростью 8000 кадров в секунду.

Автор: Creative Machines Lab Источник: interestingengineering.com

Робот формирует выражение лица за 0,002 секунды, тогда как человеку в среднем требуется 0,841 секунды для проявления эмоции. Тестирование на 2354 командах показало точность прогнозирования 72,2% с положительной прогностической ценностью 80,5%.

Система также синхронизирует движения губ с аудиозаписью речи и работает с 11 языками, включая французский, китайский и арабский, не входившими в обучающую выборку. Emo является усовершенствованной версией платформы Eva, имевшей только 10 приводов.

Источник: Interesting Engineering

Автор не входит в состав редакции iXBT.com (подробнее »)

Сейчас на главной

Новости

Публикации

У Sharp тоже была своя консоль: вот что умела Twin Famicom AN-500B

1 июля 1986 года на японском рынке начались розничные продажи комбинированной игровой консоли Sharp Twin Famicom в модификации AN-500B. Заводской ценник устройства составлял 32 000 иен. При...

Почему гранёные стаканы не лопаются от кипятка, а современные трескаются?

Наверняка многие помнят старые гранёные стаканы, в которые наливали кипяток прямо из чайника. Они годами стояли на кухнях, переживали десятки чаепитий и редко доставляли хлопоты. А вот современная...

Сдвиньте Луну на 69 секунд — и Ньютон превратится в Эйнштейна: главная проблема в поисках гравитационных аномалий

Дважды в сутки притяжение Луны и Солнца деформирует твердую оболочку Земли. Мы привыкли замечать приливы по уровню моря у береговой линии, однако каменная порода континентов также поднимается и...

Как работал первый беспроводной пульт для телевизора: Zenith Space Command 1956 года

Представьте себе гостиную 1956 года в США. По телевизору идёт реклама, и вам лень вставать, чтобы переключить канал. В руках у вас не привычный пластиковый коробок с батарейками, а тяжёлый...

7 подарков, которые не стоит дарить маме на День матери, даже если они кажутся хорошей идеей

Выбирать подарок маме всегда непросто. Хочется найти что-то полезное, красивое и запоминающееся, чтобы человек действительно обрадовался, а не просто вежливо улыбнулся. Но некоторые привычные...

Что было особого в усилителе «Радиотехника У-101» и почему он был так популярен

В 1980-х, если зайти в советскую квартиру с приличным «стерео», с высокой вероятностью, под виниловой вертушкой стоял усилитель с надписью RRR (серебристая или черная передняя панель) и...