Настоящий графический некстген от нейросетей

Из тех игроков, которые застали игровую индустрию 90-ых и нулевых, многие уже смирились с тем, что такой же скорости развития технологий в ближайшее время уже не будет. Будут понемногу увеличивать размер и детализацию игровых миров, понемногу повышать качество картинки. Но уже не будет такой игры, которая выйдет и удивит всех качеством визуальной части. А термин «фотореалистичная графика» сегодня уже в принципе попал в категорию заезженных маркетинговых шаблонов, на который никто не обращает внимание.

Но что если окажется, что это была лишь небольшая передышка? А следующий технологический скачок в индустрии будет связан не столько с железом, сколько с программной частью. Для начала, предлагаю посмотреть следующий ролик, который не так давно выложила одна команда разработчиков.

Многие сегодня уже слышали о технологии DLSS от компании NVidia, в которой нейросети достраивают картинку меньшего разрешения до большего. В представленной на видео технологии логика похожая, но разработчики пошли дальше. Вместо того, что бы просто повышать качество картинки, они накладывают на неё множество фильтров. Эти фильтры симулируют различные артефакты и особенности, которые появляются при реальной видеосъёмке. Вместо того, что бы пытаться сделать в игре фотореалистичные объекты, разработчики предлагают сделать фотореалистичным сам видеоряд при постобработке.

И лично у меня результат работы этой нейросети вызвал тот самый вау-эффект, который я не испытывал уже лет 10. Действительно возникает ощущение, что смотришь обычное видео с не самого качественного, но реального видеорегистратора. При этом, если пройти на сайт проекта можно увидеть, что было создано несколько нейросетей, которые обучались на разных массивах видеоизображений и теперь способны по-разному производить постобработку.

Тут стоит конечно сказать и о недостатках, которые заметны особенно на видео. Во-первых, ещё встречаются артефакты постобработки, когда нейросети существенно и неправдоподобно меняют отдельные участки изображения. Однако, данные сети всё же являются лишь прототипами и не претендуют на немедленное внедрение. Их требуется ещё доработать, прежде чем внедрять в реальные проекты. Во-вторых, некое чувство фальши всё ещё не пропадает, когда смотришь на движущиеся объекты. Но это уже вызвано физикой игры, которая не соответствует реальной. То есть, объекты в игре имеют другую инерцию, двигаются слишком резко. Но данную проблему со стороны визуальной части уже не решить, нужно дорабатывать именно физический движок.

Но по итогу, у некоторых читателей может возникнуть вопрос — ну сделали такую нейросеть, а дальше что? Внедрение их в другие игры наверное требует больших усилий и никто этим не будет заниматься. На самом деле, данное предположение как раз таки и неверно. По большому счёту, эту нейросеть не требуется даже внедрять в игры. Она осуществляет постобработку видеопотока и никак не зависит от объектов или особенностей самой игры. Равно как и DLSS, вторую версию которой компания NVidia сделала уже полностью независимой от графического движка. При этом, стоит отметить и то, что представленную нейросеть можно обучать на совершенно разных наборах видеоизображений, тем самым добиваясь разных видеофильтров. 

Не стоит забывать и о том, что компания NVidia на DLSS 2.0 тоже не остановилась и на сегодняшний день продолжает работу в данном направлении. Задача повышения качества изображения самая тривиальная для нейросетей, её было проще всего реализовать. Но есть ещё множество других задач, которые такие нейросети способны решать. И многие команды разработчиков решением этих задач занимаются. Представленная в данной статье работа лишь одна из первых, но она уже показывает чего можно добиться используя нейросети.

Вместо того, что бы тратить ресурсы на ручную проработку детальной игровой сцены, с помощью нейросетей можно оживлять игру постобработкой видео. И добавление фильтров лишь самый простой способ. С помощью нейросетей можно дорисовывать объекты на видеоизображениях. По сути, вместо того, что бы рисовать горы различного мусора на какой-нибудь улочке в открытом мире, по которой игрок пробежит всего один раз, можно обучить одну нейросеть на огромном количестве видео подобных улочек. И когда игрок по такой улице будет идти, сеть сможет самостоятельно дорисовывать различный мелкий мусор. И что самое удобное — такая сеть не будет привязана исключительно к одной игре. Её можно будет легко использовать в других играх.

Опять же, можно предположить, что это дело далёкого будущего. Однако, уже этой весной выходит игра, разработчики которой сделали первый шаг в данном направлении. Игровой мир Forza Horizon 5, который так всех приятно удивил своей детализацией, по словам разработчиков, создавался именно нейросетями. Они генерировали игровые модели и ландшафт по фотоснимкам, т.е. с помощью технологии фотограмметрии.

И это уже не какой то прототип небольшой команды разработчиков — это самая настоящая игра, которая выходит уже через несколько месяцев. Открытым остаётся вопрос относительно геймплея, но по уровню графики это определённо одна из самых лучших игр на сегодняшний день. И уровень этой графики достигнут благодаря нейросетям. Безусловно, не весь игровой мир создавали сети, труда живых людей в него вложено тоже немало. Тем не менее, его потребовалось существенно меньше, чем если бы вручную создавался весь мир. При этом, это даже не первая игра, в которой активно применяется данная технология. Первой стала Microsoft Flight Simulator 2020.

Подводя итоги, можно сказать, что мы сейчас живём в период зарождения мультимедийных нейросетей. Которые смогут взять на себя множество рутинных задач, в том числе и при создание видеоигр. Сегодня они уже используются не только для работы с видеоизображением, но и при создании анимации объектов и 3D-моделей. И с каждым годом количество задач, которые нейросети способны решать, продолжает расти. Можно конечно сомневаться, что все эти технологии быстро внедрят. Однако, почти ровно год назад я уже писал статью про фотограмметрию. И там я делал оптимистичный прогноз о широком распространении данной технологии в ближайшие несколько лет. Но даже я тогда не думал, что до выхода крупной высокобюджетной игры, активно использующей данную технологию, оставалось всего полтора года. Ближайшее десятилетие определённо сможет удивить прорывами во многих направлениях игровых технологий (помимо систем монетизации), которые будут обеспечены уже не прорывами в железе, а именно новыми нейросетевыми моделям.