Tencent представила ИИ-модель для создания 3D-видео из статичных фотографий

Компания Tencent разработала новую технологию искусственного интеллекта под названием HunyuanWorld-Voyager (Voyager AI), которая позволяет преобразовывать статичные фотографии в короткие трехмерные видеоролики. Система анализирует одиночное изображение и создает на его основе двухсекундные клипы с эффектом перемещения в трехмерном пространстве.

Технология работает путем извлечения данных о глубине из фотографии и преобразования их в трехмерные облака точек, что позволяет реконструировать сцену с сохранением геометрической согласованности. Пользователи могут задавать различные движения виртуальной камеры, включая панорамирование, масштабирование и изменение направления обзора.

Для обучения модели Voyager AI использовалась база данных из более чем 100 тысяч видеозаписей различного происхождения — от реальных съемок до сцен из игровых движков. Это позволило системе освоить принципы управления виртуальной камерой и корректного отображения трехмерного пространства.

Несмотря на то, что отдельные клипы ограничены двумя секундами, их можно объединять в более продолжительные последовательности длительностью до нескольких минут. Однако при сложных и длительных движениях камеры могут накапливаться ошибки в отображении.

Основным техническим ограничением технологии являются высокие требования к аппаратному обеспечению. Для обработки изображений даже в разрешении 540p требуется видеокарта с памятью не менее 60 ГБ, что существенно ограничивает доступность технологии для массового пользователя.

Voyager AI представляет значительный прогресс в области создания видеоконтента с помощью искусственного интеллекта, хотя пока не обеспечивает полностью интерактивный трехмерный опыт.