Stability AI выпускает модель ИИ, которая может рендерить 3D-видео из 2D-изображений

Пост опубликован в блогах iXBT.com, его автор не имеет отношения к редакции iXBT.com

В понедельник Stability AI выпустила новую модель рендеринга 3D-видео, получившую название Stable Video 3D (SV3D). Модель искусственного интеллекта (ИИ) генерирует видео, но в отличие от популярных генераторов видео, таких как Sora OpenAI, Runway AI и Pika 1.0, она не требует ввода текста. Основная задача SV3D — получить входное изображение и превратить 2D-фотографию в 3D-модель. Компания обнародовала новую модель искусственного интеллекта для коммерческого и свободного использовании.

Объявление было сделано на официальном аккаунте Stability AI на X (ранее известном как Twitter) в сообщении говорится: «Сегодня мы выпускаем Stable Video 3D, генеративную модель, основанную на Stable Video Diffusion. Эта новая модель развивает область 3D-технологий, обеспечивая значительно улучшенное качество и возможность просмотра нескольких изображений». Объявление было сделано всего через месяц после того, как компания, занимающаяся искусственным интеллектом, анонсировала Stable Diffusion 3, которая повышает производительность в многопредметных заданиях.

Создать 3D-изображение из фото теперь проще чем когда бы то ни было.
Создать 3D-изображение из фото теперь проще чем когда бы то ни было.
Автор: Nigel Hoare Источник: unsplash.com

Модель Stable Video 3D AI доступна в двух разных вариантах — SV3D_u и SV3D_p. Первый способен генерировать орбитальные видео на основе одного входного изображения, но не использует настройку камеры. Это означает, что хотя объекты 2D-изображения будут преобразованы в 3D-рендеринг, никакого движения камеры не будет. Более функциональный вариант — SV3D_p, который поддерживает как одиночные изображения, так и орбитальные изображения, что также позволяет создавать полностью визуализированные 3D-видео вдоль заданных траекторий камеры.

По мнению компании, модель искусственного интеллекта решает проблемы несогласованности, с которыми сталкиваются модели старшего поколения, такие как Stable Zero123. SV3D использует Neural Radiance Fields (NeRF) и представления сетки для улучшения качества и согласованности визуализированного видео. «Кроме того, чтобы уменьшить проблему встроенного освещения, Stable Video 3D использует модель разделенного освещения, которая оптимизирована совместно с 3D-формой и текстурой», — говорится в подробном сообщении на официальном сайте в блоге Stability AI.

Stable Video 3D теперь доступен как для коммерческого, так и для некоммерческого использования. Для коммерческого использования пользователям потребуется членство в Stability AI, стоимость которого начинается от 20 долларов США в месяц для уровня Professional. Для некоммерческого использования пользователи могут загрузить свои сгенерированные модели на Hugging Face.

Источник: gadgets360.com

Сейчас на главной

Новости

Публикации

Пятимерный «черный Сатурн»: физик нашел необычное решение уравнений Эйнштейна при абсолютном нуле

В нашем четырехмерном пространстве-времени (три пространственных измерения и время) черные дыры в пустом пространстве подчиняются строгому правилу единственности. Независимо от того, из какого...

Квантовый предсказатель кризисов и аварий: как новый алгоритм находит редчайшие события с вероятностью 99,2%

В 2005 году небольшая группа трейдеров обратила внимание на рост просрочек по высокорисковым ипотечным кредитам в США. Это было ранним признаком мирового финансового кризиса 2008 года, однако...

В 1980-х фильмы продавали на пластинках. Как игла считывала картинку?

У кассеты с фильмом есть катушки, у видеодиска RCA SelectaVision была спиральная канавка. Пластинку даже не требовалось брать в руки. Её задвигали в плеер прямо в плоском футляре, вытаскивали...

В Северной Америке жили «верблюды-вампиры»: как столетняя коллекция музея открыла новый род травоядных с клыками

О древних животных люди чаще всего судят по динозаврам. Однако после их исчезновения на Земле на протяжении миллионов лет жили десятки тысяч видов необычных млекопитающих, о которых широкой...

Какие приборы в квартире на самом деле накручивают счётчик и на чём экономить абсолютно бесполезно

В большинстве квартир борьба за снижение счетов за электричество выглядит одинаково: домочадцы методично выдёргивают из розеток зарядные устройства для смартфонов, выключают телевизор кнопкой на...

Как датский астроном случайно открыл скорость света по спутнику Юпитера Ио — и почему об этом спорили полвека

До конца 17 века большинство учёных считали, что свет распространяется мгновенно. Считалось, что его скорость бесконечна: если зажечь огонь, свет в ту же долю секунды окажется в любой точке...