Новый ИИ-алгоритм Adobe позволит за 5 секунд создавать 3D-модели из двухмерных рисунков

Пост опубликован в блогах iXBT.com, его автор не имеет отношения к редакции iXBT.com

Индустрия развлечений требует огромного количества контента для удержания внимания современных зрителей. Новая технология, разработанная Adobe и использующая ИИ-алгоритмы, может оказать большую помощь в быстром автоматизированном создании 3D-моделей.

Автор: Adobe Источник: research.adobe.com

Использовав большой набор данных для тренировки ИИ-алгоритма, исследователи Adobe совместно с учёными Австралийского национального университета создали технологию, буквально позволяющую творить чудеса. Так называемая Большая реконструкционная модель (Large Reconstruction Model или LRM) может «предсказывать» форму 3D-модели, взяв за основу двухмерное изображение — на это уйдёт всего 5 секунд.

Раньше модели для генерирования 3D-изображений тренировались на небольших наборах данных, ориентированных только на одну категорию изображений. LRM, напротив, имеет масштабируемую архитектуру с 500 млн параметров и тренировалась на 1 млн 3D-объектов, доступных пользователям датасетов Objaverse и MVImgNet.

Комбинация производительной модели и огромного числа данных для тренировки обеспечивает алгоритмам возможность эффективной генерации контента. Как сообщают в Adobe, модель могла генерировать высококачественные 3D-«реконструкции» на основе тестовых изображений, в том числе картинок, созданных с помощью ИИ-сервисов вроде DALL-E и Stable Diffusion. По данным разработчиков, LRM является большим прорывом в «реконструкции» 3D-моделей по одному 2D-изображению. ИИ-алгоритм при этом обеспечивает детальную геометрию по видео или картинке, сохраняя даже сложные текстуры вроде древесной.

Автор: Adobe Источник: yiconghong.me

Потенциал технологии огромен, поскольку она может применяться в самых разных бизнес-нишах, включая дизайн, развлечения и игры. Для дизайнеров и 3D-художников значительно упрощается процесс моделирования и сокращается время, необходимое на создание контента для видеоигр и анимации.

Очень важно, что внедрение LRM приведёт к «демократизации» процесса 3D-моделирования, поскольку создавать детальные трёхмерные модели за считанные секунды смогут даже обычные пользователи. Хотя у LRM ещё есть недочёты вроде размытых текстур у «скрытых» частей изображения, перспективы технологии, вероятно, просто фантастические. В сети уже появилась страница с образцами того, что можно создавать с помощью нового инструмента прямо сейчас.

Источник: TechSpot

Автор не входит в состав редакции iXBT.com (подробнее »)
Об авторе
2016-kv@rambler.ru

4 комментария

Добавить комментарий

1
Ну тут как раз ничего нового, я таких фотосканов трехмерных на Скетчфабе уже навидался с 2018 года.
По сути берется стек фотографий и по нему выпиливается модель, причем с наложенной текстурой.
Криво и косо, а уж мусорных полигонов огромное множество, но если не рассматривать такую модель в микроскоп, то получается весьма годный объект. И народу такое заходит, чем криворучные поделки.
s
Ой ну хватит эту пургу писать. Нейронки даже картинки не всегда правильно делают, а 3д модели и подавно, все демонстрации что делали до сих пор выглядят как какашки имеют кучу полигонов, а компании пытаются посадить на веб сервисы чтобы деньги грести. Но любой человек знакомый 3д моделирование скажет что это все фигня. Даже фотограметрия не может создавать нормальные реалистичные модели и требуют последующие ручную доработку, исправление дырок, ретопологию а для игр ещё целый пайплайн по запеканию нормалей. Так что не гоните чушь если сами не шарите в этом. Эти модели не годятся ни для геймдева ни для офлайн рендеринга, это просто мусор. Советую зайти ещё на shutterstock в раздел нейроных сетей и посмотреть работы например поискать котиков и потом говорить что нейронки что то умеют в 3д и показывать пингвинчиков) вы ещё шарик попросите её сделать. Ну и зайтите на любой сервис по продажи моделей и там поищите пингвинчиков можно даже бесплатных а потом сравните с нейронкой
GunmenCreek
Ещё полгода назад нейросети людям руки из разных мест рисовали с 7-8 пальцами. Всё будет.
s
Они и сейчас рисуют, но фотокалаж это одно, а 3д совсем другое, потенциал в картинках сразу был виден, но 3д модели там шлак полнейший, как и нвидиа ещё рекламирует свой алгоритм nerf, все рассказывают как круто, но по факту хуже обычной фотограметрии в realitycapture, так ещё топовую карту требуют.

Добавить комментарий

Сейчас на главной

Новости

Публикации

В Северной Америке жили «верблюды-вампиры»: как столетняя коллекция музея открыла новый род травоядных с клыками

О древних животных люди чаще всего судят по динозаврам. Однако после их исчезновения на Земле на протяжении миллионов лет жили десятки тысяч видов необычных млекопитающих, о которых широкой...

Какие приборы в квартире на самом деле накручивают счётчик и на чём экономить абсолютно бесполезно

В большинстве квартир борьба за снижение счетов за электричество выглядит одинаково: домочадцы методично выдёргивают из розеток зарядные устройства для смартфонов, выключают телевизор кнопкой на...

Как датский астроном случайно открыл скорость света по спутнику Юпитера Ио — и почему об этом спорили полвека

До конца 17 века большинство учёных считали, что свет распространяется мгновенно. Считалось, что его скорость бесконечна: если зажечь огонь, свет в ту же долю секунды окажется в любой точке...

В 1980-х компьютерные программы передавали по радио. Как их записывали на кассету?

В эфире стихал голос ведущего, и из приёмника шёл резкий писк. Дома его записывали на обычный магнитофон. При повторном прослушивании запись звучала примерно так же. На экране одного домашнего...

Как менялся рост людей за 7000 лет: почему прогресс делал жителей Евразии ниже

В XI веке в Китае распространились новые скороспелые сорта риса. Они позволяли собирать более обильные урожаи с тех же полей. Параллельно в стране развивались оросительные системы,...

Зачем у старой «Волги» слева от педалей была ещё одна кнопка?

На полу ГАЗ‑21 рядом со сцеплением легко пропустить круглую кнопку. Стоит нажать её носком, и на панели может зажечься контрольная лампочка. Но одно и то же нажатие давало разные результаты в...