Новый ИИ-алгоритм Adobe позволит за 5 секунд создавать 3D-модели из двухмерных рисунков

Пост опубликован в блогах iXBT.com, его автор не имеет отношения к редакции iXBT.com

Индустрия развлечений требует огромного количества контента для удержания внимания современных зрителей. Новая технология, разработанная Adobe и использующая ИИ-алгоритмы, может оказать большую помощь в быстром автоматизированном создании 3D-моделей.

Автор: Adobe Источник: research.adobe.com

Использовав большой набор данных для тренировки ИИ-алгоритма, исследователи Adobe совместно с учёными Австралийского национального университета создали технологию, буквально позволяющую творить чудеса. Так называемая Большая реконструкционная модель (Large Reconstruction Model или LRM) может «предсказывать» форму 3D-модели, взяв за основу двухмерное изображение — на это уйдёт всего 5 секунд.

Раньше модели для генерирования 3D-изображений тренировались на небольших наборах данных, ориентированных только на одну категорию изображений. LRM, напротив, имеет масштабируемую архитектуру с 500 млн параметров и тренировалась на 1 млн 3D-объектов, доступных пользователям датасетов Objaverse и MVImgNet.

Комбинация производительной модели и огромного числа данных для тренировки обеспечивает алгоритмам возможность эффективной генерации контента. Как сообщают в Adobe, модель могла генерировать высококачественные 3D-«реконструкции» на основе тестовых изображений, в том числе картинок, созданных с помощью ИИ-сервисов вроде DALL-E и Stable Diffusion. По данным разработчиков, LRM является большим прорывом в «реконструкции» 3D-моделей по одному 2D-изображению. ИИ-алгоритм при этом обеспечивает детальную геометрию по видео или картинке, сохраняя даже сложные текстуры вроде древесной.

Автор: Adobe Источник: yiconghong.me

Потенциал технологии огромен, поскольку она может применяться в самых разных бизнес-нишах, включая дизайн, развлечения и игры. Для дизайнеров и 3D-художников значительно упрощается процесс моделирования и сокращается время, необходимое на создание контента для видеоигр и анимации.

Очень важно, что внедрение LRM приведёт к «демократизации» процесса 3D-моделирования, поскольку создавать детальные трёхмерные модели за считанные секунды смогут даже обычные пользователи. Хотя у LRM ещё есть недочёты вроде размытых текстур у «скрытых» частей изображения, перспективы технологии, вероятно, просто фантастические. В сети уже появилась страница с образцами того, что можно создавать с помощью нового инструмента прямо сейчас.

Источник: TechSpot

Автор не входит в состав редакции iXBT.com (подробнее »)
Об авторе
2016-kv@rambler.ru

4 комментария

Добавить комментарий

1
Ну тут как раз ничего нового, я таких фотосканов трехмерных на Скетчфабе уже навидался с 2018 года.
По сути берется стек фотографий и по нему выпиливается модель, причем с наложенной текстурой.
Криво и косо, а уж мусорных полигонов огромное множество, но если не рассматривать такую модель в микроскоп, то получается весьма годный объект. И народу такое заходит, чем криворучные поделки.
s
Ой ну хватит эту пургу писать. Нейронки даже картинки не всегда правильно делают, а 3д модели и подавно, все демонстрации что делали до сих пор выглядят как какашки имеют кучу полигонов, а компании пытаются посадить на веб сервисы чтобы деньги грести. Но любой человек знакомый 3д моделирование скажет что это все фигня. Даже фотограметрия не может создавать нормальные реалистичные модели и требуют последующие ручную доработку, исправление дырок, ретопологию а для игр ещё целый пайплайн по запеканию нормалей. Так что не гоните чушь если сами не шарите в этом. Эти модели не годятся ни для геймдева ни для офлайн рендеринга, это просто мусор. Советую зайти ещё на shutterstock в раздел нейроных сетей и посмотреть работы например поискать котиков и потом говорить что нейронки что то умеют в 3д и показывать пингвинчиков) вы ещё шарик попросите её сделать. Ну и зайтите на любой сервис по продажи моделей и там поищите пингвинчиков можно даже бесплатных а потом сравните с нейронкой
GunmenCreek
Ещё полгода назад нейросети людям руки из разных мест рисовали с 7-8 пальцами. Всё будет.
s
Они и сейчас рисуют, но фотокалаж это одно, а 3д совсем другое, потенциал в картинках сразу был виден, но 3д модели там шлак полнейший, как и нвидиа ещё рекламирует свой алгоритм nerf, все рассказывают как круто, но по факту хуже обычной фотограметрии в realitycapture, так ещё топовую карту требуют.

Добавить комментарий

Сейчас на главной

Новости

Публикации

Как дикие кабаны переживают зиму и почему глубокий снег опаснее сильного мороза

С кабаном получается довольно странная история. Взрослый секач может весить больше сотни килограммов, легко переворачивает лесную подстилку своим рылом и уверенно пробирается через густые заросли....

Имба для зумера: 6 гаджетов на ноябрьских распродажах

Ноябрь — настоящее испытание для психики. Темнеет всё раньше, приходится наматывать на себя всё больше слоёв одежды. До новогодних каникул ещё далеко, а со всех сторон тебя атакуют...

Новый способ добычи кислорода из лунного грунта без плавки поможет обеспечить базы на Луне

Создание долговременных баз на Луне упирается в проблему снабжения. Один из самых востребованных ресурсов на спутнике — кислород. Он нужен не только для дыхания экипажа, но и в...

Кактусы опунция вырабатывают солнечное электричество: как ночной фотосинтез создает ток даже после 15 месяцев засухи

Современное сельское хозяйство активно переходит на системы удаленного контроля. Беспроводные датчики на полях отслеживают влажность почвы, температуру воздуха и состояние растений, позволяя...

28 тасманийских дьяволов переселили на остров ради спасения вида — вскоре там исчезли гнездящиеся короткохвостые буревестники

В ноябре 2012 года на остров Марию у восточного побережья Тасмании выпустили 15 тасманийских дьяволов. Ещё 13 привезли годом позже. Все животные были свободны от трансмиссивной опухоли...

Клетке хомяка перенесли целый геном водоросли: чужие хромосомы встроились в ее ДНК и пережили 155 поколений

Бактерии регулярно обмениваются генами напрямую, без размножения и смены поколений. Такой механизм называется горизонтальным переносом генов и позволяет микроорганизмам быстро приобретать новые...