Робот Emo научился копировать выражение лица человека до того, как оно появится

Пост опубликован в блогах iXBT.com, его автор не имеет отношения к редакции iXBT.com

Исследователи из Колумбийского университета разработали робота-гуманоида Emo, способного синхронизировать выражение своего лица с мимикой собеседника до того, как тот завершит эмоциональную реакцию.

Робот оснащён 26 двигателями и гибкой силиконовой оболочкой, обеспечивающей точный контроль над лицевыми мышцами. В глаза Emo встроены RGB-камеры высокого разрешения для восприятия изображения в реальном времени. Система работает на основе двойной нейронной сети: первая модель отвечает за собственную мимику робота, вторая прогнозирует выражение лица человека.

Прогностическая модель обучена на наборе данных из 970 видеозаписей с участием 45 добровольцев. Система анализирует едва заметные изменения в выражении лица человека и предсказывает целевую эмоцию. Обратная модель генерирует двигательные команды в пять раз быстрее предыдущих аналогов — со скоростью 8000 кадров в секунду.

Автор: Creative Machines Lab Источник: interestingengineering.com

Робот формирует выражение лица за 0,002 секунды, тогда как человеку в среднем требуется 0,841 секунды для проявления эмоции. Тестирование на 2354 командах показало точность прогнозирования 72,2% с положительной прогностической ценностью 80,5%.

Система также синхронизирует движения губ с аудиозаписью речи и работает с 11 языками, включая французский, китайский и арабский, не входившими в обучающую выборку. Emo является усовершенствованной версией платформы Eva, имевшей только 10 приводов.

Источник: Interesting Engineering

Автор не входит в состав редакции iXBT.com (подробнее »)

Сейчас на главной

Новости

Публикации

Под Холмом фараонов в Египте скрыто крупное сооружение. Заметить его смогли только из космоса

Большинство известных памятников Древнего Египта находятся в засушливых пустынных районах и построены из камня, который хорошо сохраняется тысячелетиями. В дельте Нила условия совершенно иные, и...

✦ ИИ  900 миллионов галактик и 1,7 петабайта данных: телескоп «Евклид» показал первую часть самой большой 3D-карты Вселенной

Европейский космический телескоп «Евклид» выложил первый архив наблюдений за 13 месяцев работы. Внутри — 15 тысяч кандидатов в гравитационные линзы и миллионы квазаров.

Вспышка на четыре кадра: как Flashcube автоматически готовил новую лампу после снимка

В середине 1960-х любительская съёмка со вспышкой требовала почти отдельного ритуала. После кадра фотограф снимал перегоревшую одноразовую лампу, ставил новую, проверял контакты и только потом мог...

Телевизор на запястье: как Seiko TV-001 в 1982 году обогнала смарт-часы на сорок лет

1982 год. На дворе — эпоха кассетных магнитофонов, аркадных автоматов и только-только зарождающейся персональной компьютерной революции. Именно в этот момент японская компания Seiko, уже...

Пытаетесь скрыть правду? Как глаза и зрачки выдают ложь перед живым собеседником

Принято считать, что во время обмана человек часто отводит взгляд, суетливо переводит глаза с предмета на предмет и чаще моргает. Экспериментальные данные показывают обратную картину: когда человек...

Почти все живые черноногие хорьки происходят от семи животных — спустя десятилетия биологи вернули потерянные гены клонами из клеток 1988 года

В 1981 году считавшийся исчезнувшим черноногий хорёк неожиданно нашёлся снова. Небольшую популяцию обнаружили возле Мититси в Вайоминге, и сначала казалось, что вид получил второй шанс без помощи...