Нейросеть, создающая реалистичные пейзажи по наброскам: Nvidia Canvas

Сейчас нейросетями пользоваться стало гораздо проще, иногда необходимо просто загрузить фотографию и с помощью одной кнопки получить результат. В Canva достаточно сделать пару мазков кистью на уровне трехлетнего ребенка, чтобы получить фотореалистичное место, которого не существует. На скриншоте ниже не фотошоп, а реальный результат обработки набросков

Есть два варианта работы с данным движком:

1. Использование приложения

2. Использование сайта

Я начну с первого как с самого удобного, ведь тут результат получается "на лету", можно использовать слои, сохранять и открывать проекты, а так же экспортировать результат в PSD формате для обработки в более продвинутых редакторах. Единственная проблема с которой можно столкнуться, это отказ программы запускаться если используется видеокарта без RTX.  Переходим на официальный сайт и скачиваем последнюю бета версию

Инсталлятор такой же, как у драйверов от нвидиа, установка в пару кликов, дополнительных пунктов в настройках нет

Интерфейс на английском языке, но интуитивно понятен. Слева инструменты, рисовать можно кистью либо линиями если нужны прямые участки, так же имеется заливка для быстрой смены одного материала другим, еще есть ластик и пипетка для клонирования цвета(материала). Справа выбор материала, для каждого имеется свой цвет, со временем запоминаешь какая иконка что значит, но есть и всплывающие подсказки если подержать курсор неподвижно на интересующем. Программа постоянно обновляется и количество материалов выросло до 20 штук, среди них есть: небо, облака, холмы, скалы, вода, грязь, туман, снег, река, море, цветы(луг), мелкая трава, сухая трава, кусты, деревья, камни, песок, гравий, земля и каменная стена, которая в отличие от камней чаще преобразуется в отвесные скалы. 

Выбираем кисть, мазюкаем нужный материал на холсте и моментально получаем результат, для которого можно выбрать до 10 вариаций в 9 стилях, после чего сохранить для дальнейшего редактирования или экспортировать результат в pdf либо в png

Максимум что требуется от пользователя это представить что он хочет увидеть и сделать наброски, правки можно вносить как на основном холсте, так и на финальном, в этом случае трансформация происходит в реальном времени. Выглядит слишком хорошо чтобы быть правдой? Я записал видео с тремя набросками, на каждый из которых потратил максимум несколько минут

Стили позволяют изменить время года и суток, вариации заметно меняют внешний вид пейзажа. Вот результат изменения стилей с использованием одного варианта

Но если для каждого стиля выбрать свой вариант, можно подобрать максимально реалистичное изображение

Ну и еще несколько примеров, сложно было выбирать из 90 вариантов, оставил по минимуму

И последний, чтобы не затягивать публикацию

Второй вариант: использование сервиса GauGAN2 Beta

Если у Вас не работает программа, переходите на этот сайт. Интерфейс очень похож, но тут разработчики в тестовом режиме добавили более 30 материалов, часть из который дают не особо реалистичные, но местами интересные результаты

Если же использовать аналогичные Canvas получается очень похоже, вот попытался повторить скетч, правда линии местами получились толще, так что устье реки вышло другое. Единственный минус, это время обработки. Для старта нужно нажать кнопку компиляции и ожидать секунд 10, при применении фильтров немного дольше. По этой же причине нельзя править готовое изображение в режиме реального времени

В прошлой моей публикации, посвященной нейросети Meitu Ai Art, несколько пользователей возмутились тем, как легко люди сливают свои фотографии непонятно куда попало, так что думаю это неплохая альтернатива для знакомства с миром машинного обучения, главное не пытаться восстанавливать по памяти секретные объекты )