Представлено носимое устройство, преобразующее движения губ в речь

Специалисты Кембриджского университета представили устройство Revoice, которое преобразует беззвучные движения губ и невнятную речь пациентов после инсульта в полноценные предложения. Разработка выполнена в форме тканевого ожерелья, которое надевается на шею.

Устройство состоит из текстильной основы со встроенными сверхчувствительными датчиками и двух систем искусственного интеллекта. Датчики фиксируют вибрации мышц гортани при беззвучном произнесении слов и измеряют частоту сердечных сокращений пользователя. Собранные данные передаются на обработку в две ИИ-системы, работающие в режиме реального времени.

Первая система анализирует движения гортани и определяет, какие слова произносит человек без звука. Вторая система использует показатели пульса и контекстную информацию для определения эмоционального состояния пациента. Учащенное сердцебиение система интерпретирует как признак стресса. На основе этих данных ИИ дополняет короткие фразы до развернутых предложений, соответствующих ситуации и настроению человека.

В испытаниях приняли участие пять пациентов с дизартрией после инсульта. Устройство продемонстрировало низкий процент ошибок при распознавании слов и формировании предложений. Во время тестирования пациент беззвучно произнес фразу «Мы едем в больницу», которую Revoice расширила до полного предложения с уточнением причины поездки из-за позднего времени.

Устройство можно стирать как обычную одежду. Разработка находится на стадии прототипа и требует дополнительных испытаний перед началом широкого применения.

Источник: designboom