Обзор новой нейросети от Microsoft: 3D модель из фотографии

Совсем недавно компания Microsoft представила новую нейросеть, которая способна сгенерировать 3D-объект из обычной фотографии. Сервис называется Trellis, которая является бесплатным сервисом и доступна для всех пользователей. Главная особенность, что она работает в обычном браузере и не требует скачивания.

Сервис очень простой в использовании, и в этом посте я хочу продемонстрировать его возможности. Берём изображение с игрушечной собакой на сером фоне.

Дальше всё предельно просто. Нужно в окно загрузить ваше изображение и нажать на вкладку Generate. Создание 3D-модели происходит быстро. Примерно 1-2 минуты, и изображение готово.

На видео можно увидеть результат, который был получен на этом сайте. Чтобы получить готовый файл в формате GLB, необходимо нажать на кнопку «Extract GLB», расположенную ниже. Стоит отметить, что на модель накладывается цвет, создавая впечатление, будто её отсканировали с помощью 3D-сканера.

Закинув модель в Blender, получаем низкополигональную модель собачки. Она в целом похожа на игрушечную собаку. Сервис сам распознал, что это собака, и дорисовал самостоятельно спину.

Дальше я решил быстренько обработать модель в Meshmixer, и вот что из этого получилось. В целом для создания макета собаки и дальнейшей покраски сойдет. Стоит учесть, что собака относительно сложный объект, так как шерсть тяжело смоделировать.

Теперь возьму что-то полегче, и это детская игрушка в виде кнопочного телефона. Результат получился весьма удовлетворительный.

На видео можно подробно посмотреть получившийся результат.

Вот, наверное, самое интересное и, на удивление, с весьма впечатляющим результатом. Я прошу нейросеть создать изображение вот с такой простой формулировкой: «Игрушечная машинка в виде джипа». Получаем красивый детализированный джип без каких-либо изъянов. То есть изображение получилось очень реалистичным.

Вот получившийся результат, и он превзошел мои ожидания. Кстати, отмечу, что если сгенерировать одно и то же изображение, всегда можно получить разный результат. На видео один результат, а ниже на фотографии с джипом будет второй вариант модели.

Вот так вот выглядит машинка в программе Blender. Получаем опять относительно низкополигональную машинку, но с весьма явными чертами джипа. Если открыть изображение с наложением текстур, то выглядит всё довольно неплохо и напоминает графику из видеоигр 2000-х годов. Лицевая часть джипа получалась весьма качественной. Заднюю часть кузова сервис попытался дорисовать и даже понял, что это джип, и добавил туда запасное колесо. С задним бампером получились явные проблемы.

Ну, а теперь более простое задание, и интересно, как справится с простыми вещами по типу обычной стеклянной бутылки с молоком.

Вот видео результат сгенерированной модели.

Открываем модель и получаем в целом реалистичную бутылку. Конечно, создать такую бутылку в любом редакторе можно за пару минут, но факт есть факт. Нижняя часть получилась как дно у настоящей бутылки.

Подведя итог, можно сказать, что этот сервис не сможет помочь создать супер крутые проекты, но для кого-то может оказаться весьма полезным. Для себя я не вижу применения в области моделирования, но если только вам не сказали в садике у ребенка сделать игрушку в виде уточки и у вас дома есть 3D-принтер на котором вы напечатаете её.

Также стоит учесть, что есть ограничения на количество запросов в заданный период времени. Чтобы увеличить количество запросов, необходимо пройти простую регистрацию.