Яндекс запустил интерактивные субтитры для видео на четырёх языках

В Яндекс Браузере для компьютеров появились интерактивные субтитры к видео на четырёх языках — английском, французском, немецком и испанском. Субтитры можно включить как на языке оригинала, так и на русском. Интерактивные субтитры с подсветкой по словам дополнят функцию закадрового перевода видео и пригодятся, когда неудобно смотреть видеоконтент со звуком.

Опция подсветки по словам поможет не терять смысл сказанного, что особенно важно для тех, кто изучает язык и пока еще не владеет им достаточно уверенно. При клике на неизвестное слово пользователь не отрываясь от процесса получит мгновенный перевод.

«Мы стремимся к тому, чтобы пользователям был доступен качественный контент на разных языках. И, конечно, мы хотим сделать продукт максимально удобным: например, не всегда есть возможность смотреть видео со звуком — поэтому мы сделали интерактивные субтитры и добавили перевод. Мы учитываем потребности наших пользователей: те, кому удобнее воспринимать информацию на родном языке, могут включить и русские субтитры к видеороликам. В дальнейшем мы планируем добавить новые пары языков», — сказал руководитель приложения Яндекс, Яндекс Браузера и главной страницы Яндекса Дмитрий Тимко.

Чтобы включить субтитры на русском или иностранном языке, нужно навести курсор на окно воспроизведения и во всплывающем блоке «Перевести видео» выбрать в настройках активацию субтитров. Сейчас опция доступна в Яндекс Браузере на компьютере.

Как работает технология, и почему субтитры максимально соответствуют оригинальной речи? Здесь на помощь приходят нейросети. Перевод делается в несколько этапов. Сначала Яндекс распознаёт речь, превращает её в текст и с помощью нейронных сетей разбивает на предложения. Уже на первом этапе нейросеть отмечает, где начало и конец каждого слова на видео. Благодаря этому слово на экране подсвечивается именно в тот момент, когда оно произносится. Опция доступна для роликов на YouTube.