Этот разрабатываемый ИИ будет создавать видео с помощью текста

Runway Research только что объявила о своей будущей генеративной модели искусственного интеллекта Gen-2, которая дает креативщикам возможность преобразовывать слова в видео.

Модель генерации видео Runaway Gen-2 обучается на «внутреннем наборе данных из 240 млн изображений и пользовательском наборе данных из 6,4 млн видеоклипов».

Runway выглядит как довольно мощная эволюция инструмента Gen-1, который многие уже используют для раскадровки и подготовки визуальных эффектов. Он похож на генератор видео с искусственным интеллектом в Meta*, хотя модель Gen-2, похоже, добавила несколько действительно интересных режимов.

Вскоре инструмент позволит вам создавать видео только с помощью текста. Мало того, есть несколько других режимов, которые компания добавляет к своему множеству инструментов для редактирования видео, в том числе тот, который будет работать, передавая алгоритму видеоклип, и который он может перерабатывать в других стилях и т. д.

Один захватывающий пример в видео-тизере показывает панорамный снимок нескольких книг, стоящих на столе. Модель Gen-2 превратила его в сцену ночного города, где книги превратились в небоскребы, и, хотя это не самый реалистичный снимок, он выглядит мощным инструментом для визуализации идей.

В сопроводительном исследовательском документе этот процесс описан гораздо подробнее. Он прошел долгий путь с момента замысла, и из тизерного видео ясно, что фактор реализма в его продукции значительно увеличился, хотя еще предстоит пройти долгий путь развития.

Как говорится на странице Runway: «Мы верим, что методы глубокого обучения, применяемые к аудиовизуальному контенту, навсегда изменят искусство, творчество и инструменты дизайна».

Когда вы зарегистрируетесь в Runaway, вам будет предложено получить бесплатный план плюс и некоторые платные версии, хотя, похоже, сейчас нет возможности воспользоваться моделью Gen-2. Согласно каналу в Discord, компания, скорее всего, запустит Gen-2 как открытую платную бета-версию.

* — Компания Meta (социальные сети Instagram и Facebook) — признана экстремистской организацией на территории Российской Федерации

Источник: This upcoming AI will make a video from just a written prompt