В ходе меропориятия GPU Technology Conference (GTC 2019) компания Nvidia показала впечатляющую разработку, а именно нейросеть GauGAN, названную в честь художника Поля Гогена.
Данная разработка позволит всем желающим превратить схематические изображения, подобные тем, что рисуют дети в Paint, в реалистичные изображения, которые местами даже можно назвать очень реалистичными. Источник уже успел окрестить разработку «MS Paint поколения искусственного интеллекта».
GauGAN использует обучаемую нейросеть, которая позволяет буквально за мгновения преобразовать условный эскиз с заданными характеристиками в красивое изображение. Для обучения Nvidia использовала более миллиона фотографий из Flickr. Даже на ранней стадии все выглядит очень впечатляюще, как показано в следующем ролике.
В редакторе есть базовые инструменты, вроде ручки, карандаша и заливки. Достаточно нарисовать замкнутую линию и придать ей свойство облака, после чего оно не просто появится на небе, а будет отражаться в озере или море. Все просчитывается и корректируется с учетом реалистичных отражений. Морской пейзаж с красивыми камнями, водопад, поле с цветами — все можно «нарисовать» за считанные секунды, а затем заменить траву на снег, после чего GauGAN сам заменит небо на зимнее, а также уберет листву с деревьев. Причем разработчики утверждают, что система случайных чисел гарантирует разные результаты даже для эскизов, очень похожих друг на друга.
Пока что GauGAN работает только с природой, но нейросеть вполне можно обучить для того, чтобы использовать ее при проектировке зданий, разработке самоуправляемых машин и в прочих областях. В Nvidia считают, что GauGAN позволит архитекторам, дизайнерам и разработчикам игр ускорить процесс создание моделей и их редактирование.
В демо-версии границы между объектами не идеальны, но разработчики обещают улучшить этот момент.