Компьютер, смоделируй мне мир. Фотограмметрия в играх

В своём предыдущем небольшом обзоре я кратко рассмотрел современное состояние ИИ в играх. В той области всё довольно грустно и серьёзных прорывов в ближайшее время ожидать определённо не стоит. Но ИИ сегодня используется практически везде, и было бы несправедливо говорить, что, при создании игр используются только примитивные и устаревшие алгоритмы. Наоборот, компьютерные игры — одна из передовых отраслей в использовании ИИ для моделирования всего и вся.

И тут стоит сделать небольшое отступление и поговорить о такой области науки и техники как фотограмметрия. Это немолодая наука, зародившаяся ещё в середине XIX века и полноценно развившаяся уже в XX. Когда люди получили возможность всегда носить с собой относительно лёгкий фотоаппарат, который может быстро делать фотографии, многие стали активно фотографировать не только других людей, но и пейзажи. И многие специалисты во многих отраслях пришли к одной и той же мысли. Если люди способны воспринимать размер, объём и местоположение различных объектов в окружающем мире своими глазами и переносить всё это на географические карты, то почему бы не автоматизировать процесс составления карт с помощью фотографий? Почему бы, к примеру, не составлять карты по аэрофотосъёмке? И тут всё завертелось. Активно начало развиваться направление алгоритмов транслирующих фотографии ландшафтов в различные форматы карт. На данный момент практически все карты местности построены с использованием этих алгоритмов. Люди уже не сидят и вручную не рисуют их, а лишь обрабатывают многоспектральные аэрофотоснимки и снимки со спутников.

Самое интересное произошло уже в начале XXI века. Компьютеры получили широкое распространение и стали использоваться для самых разных задач, появилась цифровая фотография и 3D моделирование. И тут, опять же, очень многие люди подумали — а зачем делать модели вручную, если можно переносить их с фотографий? Не сказать, что эта идея с ходу получила мощное развитие, но сейчас, уже спустя два десятилетия, многие игровые студии уже используют достижения в этой области.

 Себастьян ван Элвердинге, один из разработчиков Forza Horizon 3, рассказывает как при разработке игры использовалась фотограмметрия для создания фотореалистичных текстур. И даже приводит пример подобной работы, на движке Unreal Engine 4.

Разработчики перезапуска Modern Warfare рассказывают, как использовали фотограмметрию уже не только для текстурирования, но и для создания полноценных 3D моделей.

Разработчики Flight Simulator 2020 рассказывают, как использовали фотограмметрию для создания всего игрового мира, на основе реальных снимков Земли. И этот игровой мир по размерам не уступает реальному миру.

Даже игровая индустрия СНГ не обошла стороной эти перспективные технологии.

Все эти новости говорят о том, что технологии фотограмметрии уже активно применяются многими игровыми разработчиками. И игровые студии вкладываются в их развитие, являясь одной из главных индустрий, где эти технологии востребованы. Построение моделей и текстур по фотоснимкам существенно ускоряет разработку игр. Поскольку именно создание моделей является, на данный момент, одним из самых долгих и ресурсоёмких этапов создания компьютерных игр. И его ускорение напрямую скажется на бюджете игр и частоте их выхода.

Но раз всё так хорошо, почему эти технологии не используются повсеместно? Ответ, к сожалению, в ресурсоёмкости данных технологий. Infinity Ward потребовалось создать целый стенд с 200 фотоаппаратами и специальным ПО, что бы можно было формировать 3D модели с достаточным уровнем детализации. A Microsoft подключило к разработке свои архивы космических снимков Земли и вычислительные мощности Azure, что бы построить игровой мир. Даже не все разработчики AAA-игр могут позволить себе подобное.

Тем не менее, создание текстур уже, во многом, базируется именно на фотограмметрии. И существует множество программ для создания моделей по фотографиям, в том числе и по фотографиям со смартфона. Безусловно, качество таких моделей всё ещё оставляет желать лучшего. Но, учитывая скорость развития в отрасли, уже в ближайшем будущем можно ожидать существенного повышения их качества и широкого распространения в среде разработчиков игр.

И именно тут и выступает на сцену ИИ. Классические алгоритмы фотограмметрии имеют определённое ограничение — они работают с пикселями. Эти алгоритмы не воспринимают объекты на фотографиях именно как объекты. Они, по конкретным переходам светотени, определяют границы объектов, характер их материала и прочие геометрические особенности. Естественно, это не самый лучший подход и 3D модели, полученные таким образом, почти всегда требуют ручной постобработки. Не говоря уже о том, что они предъявляют серьёзные требования к качеству освещения, при фотосъёмке, и к самой фототехнике.

Но совсем иначе фотографии обрабатывает ИИ. Говоря, к примеру, о всё тех же искусственных нейронных сетях (ИНС), мы говорим о моделях «обученных» на огромном массиве разнообразных фотографий. Такие модели распознают на фотографиях именно объекты. Они уже «знают», что такое дерево и могут отличить его от собаки.

Именно на базе ИНС и разрабатываются новые алгоритмы фотограмметрии. Как в России, так и на западе. Системы, на базе ИНС, могут не только строить более чёткие 3D модели. Они менее требовательны к качеству фотографий, так что уже не потребуется строить отдельную комнату для фотографирования объектов. И смоделировать можно уже будет довольно крупные объекты. К тому же? ИНС универсальны, как и во всех других областях. Одну и ту же архитектуру можно будет использовать для моделирования совершенно разных объектов и не придётся каждый раз заново писать новую программу. А уже обученная ИНС для своей работы не будет требовать мощного железа. Такая сеть сможет запускаться и на персональных компьютерах, и на слабых облачных серверах.

Подводя итог, можно сказать, что область автоматической и автоматизированной генерации текстур и 3D моделей уже не просто активно развивается, но и используется в отрасли создания компьютерных игр. В ближайшее время уже стоит ожидать широкого распространения этих технологий. И, во многом, это распространение будет возможно благодаря ИИ. Однако, стоит ли ожидать, что компьютер заменит всех 3D-художников и эта профессия пропадёт? В ответе на данный вопрос стоит не забывать главного недостатка фотограмметрии — она может смоделировать только то, что сфотографировано. Эти технологии не позволят смоделировать эльфийский город или инопланетную расу по вполне очевидным причинам. К тому же, несмотря на возраст этой научно-технической области, до сих пор никуда не делась профессия картографов. Она просто видоизменилась. Вместо того, что бы лично кататься по миру, эти люди занимаются постобработкой и анализом смоделированных карт. Так и с 3D моделированием — даже самые лучшие и точные модели потребуют постобработки. А, в случае необходимости, модификация уже готовых моделей гораздо менее затратна, чем повторный процесс построения такой модели по модифицированному оригиналу.

Но сможет ли современный ИИ генерировать игровой мир или какие то его части полностью самостоятельно, без необходимости в оригинале из реального мира? Может ли современный ИИ создать в игровом мире то, что до этого никогда не существовало в реальном? На это я могу смело сказать, что да, он уже это может. Но этот вопрос уже для отдельной статьи.