Робот Emo научился копировать выражение лица человека до того, как оно появится

Пост опубликован в блогах iXBT.com, его автор не имеет отношения к редакции iXBT.com

Исследователи из Колумбийского университета разработали робота-гуманоида Emo, способного синхронизировать выражение своего лица с мимикой собеседника до того, как тот завершит эмоциональную реакцию.

Робот оснащён 26 двигателями и гибкой силиконовой оболочкой, обеспечивающей точный контроль над лицевыми мышцами. В глаза Emo встроены RGB-камеры высокого разрешения для восприятия изображения в реальном времени. Система работает на основе двойной нейронной сети: первая модель отвечает за собственную мимику робота, вторая прогнозирует выражение лица человека.

Прогностическая модель обучена на наборе данных из 970 видеозаписей с участием 45 добровольцев. Система анализирует едва заметные изменения в выражении лица человека и предсказывает целевую эмоцию. Обратная модель генерирует двигательные команды в пять раз быстрее предыдущих аналогов — со скоростью 8000 кадров в секунду.

Автор: Creative Machines Lab Источник: interestingengineering.com

Робот формирует выражение лица за 0,002 секунды, тогда как человеку в среднем требуется 0,841 секунды для проявления эмоции. Тестирование на 2354 командах показало точность прогнозирования 72,2% с положительной прогностической ценностью 80,5%.

Система также синхронизирует движения губ с аудиозаписью речи и работает с 11 языками, включая французский, китайский и арабский, не входившими в обучающую выборку. Emo является усовершенствованной версией платформы Eva, имевшей только 10 приводов.

Источник: Interesting Engineering

Автор не входит в состав редакции iXBT.com (подробнее »)

Сейчас на главной

Новости

Публикации

Сдвиньте Луну на 69 секунд — и Ньютон превратится в Эйнштейна: главная проблема в поисках гравитационных аномалий

Дважды в сутки притяжение Луны и Солнца деформирует твердую оболочку Земли. Мы привыкли замечать приливы по уровню моря у береговой линии, однако каменная порода континентов также поднимается и...

Как работал первый беспроводной пульт для телевизора: Zenith Space Command 1956 года

Представьте себе гостиную 1956 года в США. По телевизору идёт реклама, и вам лень вставать, чтобы переключить канал. В руках у вас не привычный пластиковый коробок с батарейками, а тяжёлый...

7 подарков, которые не стоит дарить маме на День матери, даже если они кажутся хорошей идеей

Выбирать подарок маме всегда непросто. Хочется найти что-то полезное, красивое и запоминающееся, чтобы человек действительно обрадовался, а не просто вежливо улыбнулся. Но некоторые привычные...

Что было особого в усилителе «Радиотехника У-101» и почему он был так популярен

В 1980-х, если зайти в советскую квартиру с приличным «стерео», с высокой вероятностью, под виниловой вертушкой стоял усилитель с надписью RRR (серебристая или черная передняя панель) и...

Обзор термофена FNIRSI SAG-55 для пайки печатных плат и ремонта SMD, BGA компонентов

При ремонте современной электроники обычного паяльника часто оказывается недостаточно. Особенно когда приходится менять многоконтактные разъемы, демонтировать микросхемы, восстанавливать дорожки на...

Советский приемник «Селга»: «открытое море» в кармане

Впервые этот миниатюрный радиоприемник попался в руки в середине 1970-х, когда я был еще подростком. Устройство, которое принес отец, сразу привлекло мое внимание двумя неоспоримыми плюсами:...