Обзор новой нейросети от Microsoft: 3D модель из фотографии
Совсем недавно компания Microsoft представила новую нейросеть, которая способна сгенерировать 3D-объект из обычной фотографии. Сервис называется Trellis, которая является бесплатным сервисом и доступна для всех пользователей. Главная особенность, что она работает в обычном браузере и не требует скачивания.
Сервис очень простой в использовании, и в этом посте я хочу продемонстрировать его возможности. Берём изображение с игрушечной собакой на сером фоне.
Дальше всё предельно просто. Нужно в окно загрузить ваше изображение и нажать на вкладку Generate. Создание 3D-модели происходит быстро. Примерно 1-2 минуты, и изображение готово.
На видео можно увидеть результат, который был получен на этом сайте. Чтобы получить готовый файл в формате GLB, необходимо нажать на кнопку «Extract GLB», расположенную ниже. Стоит отметить, что на модель накладывается цвет, создавая впечатление, будто её отсканировали с помощью 3D-сканера.
Закинув модель в Blender, получаем низкополигональную модель собачки. Она в целом похожа на игрушечную собаку. Сервис сам распознал, что это собака, и дорисовал самостоятельно спину.
Дальше я решил быстренько обработать модель в Meshmixer, и вот что из этого получилось. В целом для создания макета собаки и дальнейшей покраски сойдет. Стоит учесть, что собака относительно сложный объект, так как шерсть тяжело смоделировать.
Теперь возьму что-то полегче, и это детская игрушка в виде кнопочного телефона. Результат получился весьма удовлетворительный.
На видео можно подробно посмотреть получившийся результат.
Вот, наверное, самое интересное и, на удивление, с весьма впечатляющим результатом. Я прошу нейросеть создать изображение вот с такой простой формулировкой: «Игрушечная машинка в виде джипа». Получаем красивый детализированный джип без каких-либо изъянов. То есть изображение получилось очень реалистичным.
Вот получившийся результат, и он превзошел мои ожидания. Кстати, отмечу, что если сгенерировать одно и то же изображение, всегда можно получить разный результат. На видео один результат, а ниже на фотографии с джипом будет второй вариант модели.
Вот так вот выглядит машинка в программе Blender. Получаем опять относительно низкополигональную машинку, но с весьма явными чертами джипа. Если открыть изображение с наложением текстур, то выглядит всё довольно неплохо и напоминает графику из видеоигр 2000-х годов. Лицевая часть джипа получалась весьма качественной. Заднюю часть кузова сервис попытался дорисовать и даже понял, что это джип, и добавил туда запасное колесо. С задним бампером получились явные проблемы.
Ну, а теперь более простое задание, и интересно, как справится с простыми вещами по типу обычной стеклянной бутылки с молоком.
Вот видео результат сгенерированной модели.
Открываем модель и получаем в целом реалистичную бутылку. Конечно, создать такую бутылку в любом редакторе можно за пару минут, но факт есть факт. Нижняя часть получилась как дно у настоящей бутылки.
Подведя итог, можно сказать, что этот сервис не сможет помочь создать супер крутые проекты, но для кого-то может оказаться весьма полезным. Для себя я не вижу применения в области моделирования, но если только вам не сказали в садике у ребенка сделать игрушку в виде уточки и у вас дома есть 3D-принтер на котором вы напечатаете её.
Также стоит учесть, что есть ограничения на количество запросов в заданный период времени. Чтобы увеличить количество запросов, необходимо пройти простую регистрацию.
Изображение в превью:
Автор: YandexART
Источник: ya.ru