Epic Games Store запускается быстрее Steam, а только ли?

Некоторое время назад, вышли новости о том что специалисты Epic Games протестировали скорость запуска Epic Games Store и выяснили что их сервис запускается быстрее чем Steam. Тема это довольно интересная, которая среди прочего побудила меня перепроверить ещё одно найденное год назад преимущество данного сервиса, — производительность.

И люди, которые периодически заходят в блоги IXBT. live, могли видеть мой материал чуть более чем годичной давности со сравнением производительности данных сервисов на примере игры Tomb Raider 2013. Не сказать что я рекомендую данным материал к анализу сегодня, ведь за год многое изменилось: вышли различные обновления сервисов и ОС, которые явно меняли производительность в обе стороны, да и во втором наборе тестов я допустил некоторые ошибки тестирования… Но суть в том что в момент тестирования EGS показал производительность на 1-2 кадра выше чем Steam при реальных настройках (при настройках с упором в GPU, как их и выставляет большая часть игроков). Конечно, это могла быть погрешность тестирования при реальных настройках, но результат был повторяемым. И вот спустя более чем год я решил вернуться к данному материалу и провести перетест, но уже с нереальными настройками и не на примере одной игры.

Вступление и болтология

Создавать лишнюю нагрузку и проводить тесты с чем-то на фоне идея интересная, но в таких случаях не всегда можно узнать чем заняты программы в фоне: они могут начать обновление, проводить какие-либо действия только в одном из тестов… А если программы могут прекращать все процессы во время запуска полноэкранных приложений, то какой тогда смысл в тесте? Так что задумка интересная, однако на практике будет вносить дополнительную погрешность в результаты. Так же в данном материале, к сожалению, не получилось провести тесты на слабой системе, которая иногда появляется в моих материалах, ну, а тестов с GTX 650 установленной в ПК с R3 3100 не будет из-за явного упора в GPU, на фоне которого влияние запущенного сервиса станет не более чем погрешностью. Ведь не стоит забывать что в современных играх нагрузка большей частью лежит на видеокарте, а вот задачи по обработке фоновых процессов, в том числе обработка команд игрового лаунчера, на ядрах CPU.

Что касается тестовых игр, их будет две. Первая игра не изменилась с прошлого тестирования, это Tomb Raider 2013. Второй игрой станет пошаговая 4х стратегия Sid Meier's Civilization VI. Так что тестирование обещает быть как минимум интересным.

И перед началом тестирования проговорим немного про каждую из игр. Первая игра это Лара, кросген проект появившийся впервые на XBox 360 и PS3, после чего был перенесён на восьмое поколение. И такой игре с головой хватит восмипоточного процессора с хорошей производительностью на ядро и GPU уровня RTX 3050. Аналогично и с Цивой: игра больше напрягает процессорную часть, особенно в играх с ботами. Таким образом, имея достаточную графическую подсистему мы упрёмся в подсистему памяти или недостаток мощности CPU. И в такие моменты и будет решать какой лаунчер отбирает у игры меньше ресурсов.

Методика тестирования и настройки

Теперь к методике тестирования. В обоих играх имеются встроенные бенчмарки, чем мы и воспользуемся. Выводить мониторинг и фиксировать показатели 1 и 0,1% будем силами MSI Afterburner и RTSS.

Для того чтобы избавиться от упора в GPU, при этом не снижая нагрузку на CPU, при необходимости мы будем снижать разрешение рендера и отключать методы сглаживания.

Tomb Raider 2013. В игре есть достаточное количество настроек и выставленный пресет на скриншоте ниже, единственное что стоит дополнительно отметить это снижение разрешения до 720р. Но вот с остальным сложнее, ведь как я уже писал выше игра является кросгеном, которому хватает четырёх ядер связанных L3 кешем и частотой 3,9ГГц. И полчаса ушло на подбор настроек, ведь даже в разрешении 800х600 с максимальными настройками загрузка видеокарты доходила до 100%, что нам не подходит. Но оказалось что для снижения нагрузки следует отключить Тесселяцию и TressFX, после чего даже с максимальными настройками загрузка не поднималась выше 95% с записью и 90% без.

Sid Meier's Civilization VI. И вроде с этой игрой всё должно было быть ещё проще, но бенчмарк ИИ решил запуститься не в стратегическом виде, а с реалистичной графикой. А в таком режиме игра очень сильно загружает графический чип, даже в сниженном разрешении, и на разницу в производительности от смены лаунчера можно не рассчитывать. Однако тот же бенчмарк в EGS запустился в стратегическом режиме. В итоге в Steame спустя несколько переустановок и смены вида во всех режимах игры удалось включить стратегический режим. Так что настройки особо ни на что не влияют, но если кому интересно, то они ниже. А, ну и чуть не забыл: игра может работать через DirectX11 или DirectX12, так что проверим оба игровых API.

Ну и стоит сказать про отличие версий Цивы в разных магазинах. В EGS у меня базовая, «лысая» версия игры, которую раздавали вместе с GTA V пару лет назад, в Steame же купленная версия игры с дополнением «New Frontier Pass». В состав данного дополнения входит как новый игровой режим и набор лидеров, так и два новых бенчмарка. Данные бенчмарки представляют из себя базовые тесты, но основанные на режиме «Gathering Storm». Однако в связи с отсутствием данного режима в EGS, остановимся на стандартном тесте искусственного интеллекта.

Теперь к тестовому ПО. Лара по итогам бенчмарка может выдать показатели среднего, максимального и минимального fps, следовательно нам необходимо где-то брать показатели 1% и 0,1%. Данные показатели будем фиксировать бенчмарком MSI Afterburner, который работает в паре с оверлеем RTSS. В Циве ситуация хуже, в плане встроенного мониторинга и стабильности кадров, а по итогам бенчмарка мы получаем только значение «Время на ход». Данных по кадровой частоте встроенными средствами не получить, так что будем брать все значения из бенчмарка. Ну и сравним это самое значение «Время на ход».

Что касается методики тестирования. В фоне будут запущены только игровые лаунчеры и программы мониторинга. Данные лаунчеры используют параметры по умолчанию, и используются на протяжении n-го количества времени. Системный и сторонний антивирус отключены, работают только системные утилиты. Каждый тест будет проводиться по четыре раза: первый прогон происходит сразу после запуска игры, и во время данного прогона происходит запись геймплея; три дальнейших прогона служат для фиксации результатов и вычисления средних значений.

Tomb Raider 2013

Ах да, я не сказал про отличие версий, так что повторю свои же слова из прошлого материала: в Steam у меня оригинальная игры, а в EGS GOTY-издание, которое раздавали в составе Tomb Raider: Trilogy. Отличаются они косметическим контентом, что увеличивает вес игры более чем в 2,5 раза. В остальном данные версии должны быть идентичными, информация о версии игры так же совпадает.

Если в таблице указано целое число, значит по данным мониторинга десятичная часть числа fps была равна нулю

Steam

EGS

Epic Games Store показал прирост по среднему карду на 1,2%; 3,8% по максимальному; примерный паритет по показателям 1 и 0,1%; и отставание на 1,8% по минимальному fps в бенчмарке. Таким образом в сегодняшнем тестировании, с тестовыми настройками и с более мощной видеокартой, получились чуть более заметные результаты. При реальных настройках с GTX 1650S разница была в пределах двух кадров, сейчас же разница достигала 5 кадров по данным мониторинга Лары. Однако тут играют сразу два совокупных фактора: мощность системы и состояние игры. И вспомнив слова в начале, где я говорил про требования игры, становится понятна первопричина. Игра создавалась на DX11, который пускай и имеет поддержку мультипоточности, но создавалась которая частично на костылях, и для DX11 игр важнее высокая одноядерная производительность. А тут у нас микроархитектура Zen2 с частотой 3,9ГГц, что хорошо сказывается на однопоточной производительности, а разрыв в производительность оценивается в единицы процентов. Но это Лара, какой же разрыв будет в Циве?

Sid Meier's Civilization VI

А Цива являясь более современной игрой, ну конечно относительно Лары, и из-за жанра более требовательна к процессору. Ну и что касается значения времени за ход, которое в теории должно отражать производительность процессора в процессе обработки множество элементов. Но по результатам 12 прогонов для тестов и полутора десятков тестовых прогонов могу сказать что этот параметр относительно случайный и результат данного значения лучше брать в окрестностях среднего значения по итогом всех прогонов.

Если в таблице указано целое число, значит по данным мониторинга десятичная часть числа fps была равна нулю; Значение «Время на ход» указано в секундах

Steam

EGS

И с данной игрой всё более чем очевидно. В данной игре загрузка GPU подбиралась в лучшем случае к 50%, что явно даёт нам понять что упор во «внеграфической» части системы, и в таких условиях EGS показал производительность выше, опять же относительно. Но для начала скажу две вещи, одну очевидную и одну не очень. DirectX 12 показывает производительность выше чем DirectX 11. Civilization очень процессорозависимая игра, а в DX 12 Microsoft пересобрали графический конвейер с учётом изменившихся тенденций на рынке CPU. И благодаря внесённым изменениям удалось существенно уменьшилось время подготовки кадров и лучше задействовать несколько ядер, за счёт чего в данной игре и появляется двадцатипроцентный прирос при смене API. Но наблюдать данный эффект можно только при отсутствии упора в видеокарту, чего большинство игроков в большинстве игр не увидит. Второй момент немного странной и явно не массовый. Если в Steam у меня забаговалось переключение между графическими режимами, что в целом безобидно, то вот Цива запущенная через EGS у меня оставалась висеть в фоне после закрытия игры, из-за чего приходилось завершать процесс вручную.

Теперь к менее интересной части, к показателям fps. Почему это менее интересно? Да всё дело в той же специфике жанра, из-за которой вы можете заметить такие сильные просадки по редким и очень редким событиям, а также ответ почему в результате у нас показывается только время на ход. Но ради приличия сравним их. По среднему кадру прирость5,7% от перехода из Steam в EGS, и 0,02 секунд по данным значения «Время на ход». Но тут опять: в Steam данное значение более стабильно, однако числовые значения ниже в EGS, но изредка проскакивают ухудшение производительности.

Вывод

За прошедший год ситуация кардинально не изменилась, EGS показывает производительность на несколько процентов выше. Однако по функционалу EGS до сих пор отстаёт не просто на пару процентов, а на несколько порядков от своего прямого конкурента. В сервисе остаются множество проблем с интерфейсом или недостаточная функциональность, например отсутствует возможность сделать снимок экрана, которые врятли будут исправлены или доработаны в ближайшее время. Но вот кое-что надо обсудить. В связи с тем что в этот раз проводилось более обстоятельное тестирование и заметил один интересный момент. Цива в Steam потребляет заметно больше видео- и оперативной памяти, но это можно списать на подгрузку в память тех самых дополнений с новыми игровыми правилами и лидерами. Но у нас же есть ещё и Tomb Raider, где перевес по дополнительному контенту на стороне EGS.

VRAM в случае с EGS потребляется совсем немного больше, но для времени когда игры укладывались в 1 Гб видеопамяти и лишние три десятка мегабайт памяти могут существенно повлиять на производительность, но это уже другой вопрос, нас не касающийся. Но есть ещё же оперативная память, и вот с ней ситуация обратная. EGS версия потребляет в среднем 5050 — 5100 Мб ОЗУ, а Steam-верся 5550 — 5600 Мб. И вот эту погрешность не списать на больше количество загруженных текстур в Steam-версии, их как-раз таки больше в GOTY версии игры в EGS. Почему же в Steam тогда потребление больше? Да собственно потому же, почему и немного ниже fps в играх.

Процессорное время отбирает обширный функционал сервиса: игровая активность друзей, встроенный браузер, оверлей с множеством функций, проработанный интерфейс и функционал в самом лаунчере… И всё это влияет на загрузку процессора, на потребляемую память. Но как я отмечал, все тесты проходили на настройках по умолчанию: никаких функций не отключалось, никаких очисток кэша не производилось. Разумеется, можно отключить множество функций, можно постоянно очищать кэш или после каждого обновления переустанавливать с нуля сервис чтобы лишних файлом не копилось. Но какой процент пользователей будет этим заниматься? Разумеется среди пользователей стима в количественном выражении будет много людей, но в процентном соотношении число будет невелико.

Какой из всего этого следует вывод? EGS показывает производительность выше, так же ниже требования к системе. Однако всё это достигается обрезанным функционалом и малым количеством функций. Скорее всего на каких-то старых системах Steam с полным функционалом будет работать ещё хуже, но чтобы это заметить надо иметь систему не упирающеюся в графические возможности, при этом ограниченную со стороны подсистемы памяти. Как это в теории может работать: имея мощную видеокарту и достаточно мощной процессор, у нас будет образовываться голод данных, которому будет способствовать малый объём ОЗУ и накопитель с низкой скоростью чтения и записи. Однако это далеко не самый реалистичный сценарий: зачастую игры будут упираться в возможности графики, далее игре может уже не хватать мощности CPU для обработки геометрии или движка. Разумеется, может быть такое что игре хватает GPU и CPU, но не хватать RAM. Но согласитесь, устранить нехватку ОЗУ легче, и что не маловажно дешевле, чем заменить процессор или видеокарту.

Честно говоря, такой вывод я получил совершенно случайно. Начиная данный перетест я рассчитывал получить значения FPS как в прошлом году, т. е. сказать что EGS чуть производительней, но и функционально бедней, однако проведя достаточное количество перетестов и изучая материалы которые в последствии отправлюсь в барк, наметилась такая закономерность. И появилась идея ещё одного материла по данному циклу: сравнение сервисов на старых или ультрабюджетных ПК. По сути сделать такой тест относительно не сложно, но возможность менять объём ОЗУ и не иметь упора в остальные компоненты. Тема достаточно интересная, но думаю её уже кто-то реализует пока у меня дойдут руки до всего этого дела. Ну после сегодняшних выводов я в свой блокнот с идеями в который раз записал идею с экспериментами по оптимизации Steam.

P.S. Материал про который шла речь в начале статьи тут.