Новый ИИ-алгоритм Adobe позволит за 5 секунд создавать 3D-модели из двухмерных рисунков

Пост опубликован в блогах iXBT.com, его автор не имеет отношения к редакции iXBT.com

Индустрия развлечений требует огромного количества контента для удержания внимания современных зрителей. Новая технология, разработанная Adobe и использующая ИИ-алгоритмы, может оказать большую помощь в быстром автоматизированном создании 3D-моделей.

Автор: Adobe Источник: research.adobe.com

Использовав большой набор данных для тренировки ИИ-алгоритма, исследователи Adobe совместно с учёными Австралийского национального университета создали технологию, буквально позволяющую творить чудеса. Так называемая Большая реконструкционная модель (Large Reconstruction Model или LRM) может «предсказывать» форму 3D-модели, взяв за основу двухмерное изображение — на это уйдёт всего 5 секунд.

Раньше модели для генерирования 3D-изображений тренировались на небольших наборах данных, ориентированных только на одну категорию изображений. LRM, напротив, имеет масштабируемую архитектуру с 500 млн параметров и тренировалась на 1 млн 3D-объектов, доступных пользователям датасетов Objaverse и MVImgNet.

Комбинация производительной модели и огромного числа данных для тренировки обеспечивает алгоритмам возможность эффективной генерации контента. Как сообщают в Adobe, модель могла генерировать высококачественные 3D-«реконструкции» на основе тестовых изображений, в том числе картинок, созданных с помощью ИИ-сервисов вроде DALL-E и Stable Diffusion. По данным разработчиков, LRM является большим прорывом в «реконструкции» 3D-моделей по одному 2D-изображению. ИИ-алгоритм при этом обеспечивает детальную геометрию по видео или картинке, сохраняя даже сложные текстуры вроде древесной.

Автор: Adobe Источник: yiconghong.me

Потенциал технологии огромен, поскольку она может применяться в самых разных бизнес-нишах, включая дизайн, развлечения и игры. Для дизайнеров и 3D-художников значительно упрощается процесс моделирования и сокращается время, необходимое на создание контента для видеоигр и анимации.

Очень важно, что внедрение LRM приведёт к «демократизации» процесса 3D-моделирования, поскольку создавать детальные трёхмерные модели за считанные секунды смогут даже обычные пользователи. Хотя у LRM ещё есть недочёты вроде размытых текстур у «скрытых» частей изображения, перспективы технологии, вероятно, просто фантастические. В сети уже появилась страница с образцами того, что можно создавать с помощью нового инструмента прямо сейчас.

Источник: TechSpot

Автор не входит в состав редакции iXBT.com (подробнее »)
Об авторе
2016-kv@rambler.ru

4 комментария

Добавить комментарий

1
Ну тут как раз ничего нового, я таких фотосканов трехмерных на Скетчфабе уже навидался с 2018 года.
По сути берется стек фотографий и по нему выпиливается модель, причем с наложенной текстурой.
Криво и косо, а уж мусорных полигонов огромное множество, но если не рассматривать такую модель в микроскоп, то получается весьма годный объект. И народу такое заходит, чем криворучные поделки.
s
Ой ну хватит эту пургу писать. Нейронки даже картинки не всегда правильно делают, а 3д модели и подавно, все демонстрации что делали до сих пор выглядят как какашки имеют кучу полигонов, а компании пытаются посадить на веб сервисы чтобы деньги грести. Но любой человек знакомый 3д моделирование скажет что это все фигня. Даже фотограметрия не может создавать нормальные реалистичные модели и требуют последующие ручную доработку, исправление дырок, ретопологию а для игр ещё целый пайплайн по запеканию нормалей. Так что не гоните чушь если сами не шарите в этом. Эти модели не годятся ни для геймдева ни для офлайн рендеринга, это просто мусор. Советую зайти ещё на shutterstock в раздел нейроных сетей и посмотреть работы например поискать котиков и потом говорить что нейронки что то умеют в 3д и показывать пингвинчиков) вы ещё шарик попросите её сделать. Ну и зайтите на любой сервис по продажи моделей и там поищите пингвинчиков можно даже бесплатных а потом сравните с нейронкой
GunmenCreek
Ещё полгода назад нейросети людям руки из разных мест рисовали с 7-8 пальцами. Всё будет.
s
Они и сейчас рисуют, но фотокалаж это одно, а 3д совсем другое, потенциал в картинках сразу был виден, но 3д модели там шлак полнейший, как и нвидиа ещё рекламирует свой алгоритм nerf, все рассказывают как круто, но по факту хуже обычной фотограметрии в realitycapture, так ещё топовую карту требуют.

Добавить комментарий

Сейчас на главной

Новости

Публикации

Фотоаппарат Sony записывал до 40 снимков на дискету. Зачем в камеру встроили дисковод?

У цифровой Sony Mavica конца девяностых был отсек, куда целиком уходила обычная компьютерная дискета. После кадра внутри раздавалось знакомое жужжание, а рядом с прорезью загоралась лампочка. С...

Тепловизор без единой линзы: физика лицевой ямки гремучника и алгоритм деконволюции

В лицевой части черепа ямкоголовой змеи находится парное углубление глубиной около 5-6 мм с круглым входным отверстием диаметром от 1,5 мм до 3 мм. Анатомически этот парный орган повторяет...

Телефон Nokia 5510: выглядел странно, работал ещё страннее

В начале двухтысячных мобильная индустрия не боялась смелых экспериментов с форм-факторами. Nokia 5510 стал одним из самых необычных их воплощений. Он выпускался под самоироничным слоганом...

A4TECH Bloody GR220 — обзор игровых наушников с подключением по радиоканалу, по Bluetooth и по проводу

Сегодня на обзоре новая модель беспроводных наушников A4Tech Bloody GR220 с возможностью подключения и по USB. Для подключения «по воздуху» здесь сразу два варианта: это радиоканал и по Bluetooth....

Король вечеринок: обзор акустической системы W-KING D20

W-KING D20 — портативная колонка, которая нацелена на то, чтобы быть основой вечеринки. У нее есть достаточно мощности, подключение микрофонов и гитары. Хватит ли ее пения на вечер,...

Магнитофоны как искусство: 10 самых красивых кассетных дек за всю историю аудио

Во время расцвета компакт-кассеты деки были не просто источниками звука. Они становились центральным элементом аудиостойки, с подсветкой индикаторов, видимым движением ленты, тактильными клавишами...