Методика измерения производительности образца 2015 года в играх


После того, как мы обновили нашу методику тестирования ноутбуков и ПК на основе реальных неигровых приложений, пришел черед обновить и нашу методику измерения игровой производительности.

Набор игр и игровых бенчмарков, используемых для тестирования

Сами по себе игры обновляются не так часто (в сравнении с неигровыми приложениями), а потому многие игры, которые мы использовали в нашей предыдущей версии методики тестирования, остались актуальными. Напомним, что в методике прошлого года (iXBT Game Benchmark 1.0) мы использовали для тестирования пять игр и один игровой бенчмарк:

  • Aliens vs Predator D3D11 Benchmark v.1.03;
  • World of Tanks 0.8.9;
  • Bioshock Infinite;
  • Grid 2;
  • Metro: LL;
  • Hitman: Absolution.

Собственно, из данного набора обновилась лишь игра World of Tanks, а версии всех остальных игр не изменились.

В нашей новой версии игрового бенчмарка, iXBT Game Benchmark 2015, мы существенно расширили набор используемых для тестирования игр. Всего используется восемь игр и два игровых бенчмарка, то есть в совокупности десять тестов:

  • Aliens vs Predator D3D11 Benchmark v.1.03;
  • World of Tanks 0.9.5;
  • Grid 2;
  • Metro: LL Redux;
  • Metro: 2033 Redux;
  • Hitman: Absolution (1.0.447.0);
  • Thief (1.6 build 4158.14);
  • Tomb Raider (v.1.01.748.0);
  • Sleeping Dogs;
  • Sniper Elite V2 Benchmark 1.05.

Отметим, что игру Bioshock Infinite мы решили более не использовать для тестирования, поскольку, как показала практика, бенчмарк, встроенный в игру, «не дружит» с графическими процессорами Nvidia. Сама игра при этом запускается, а вот бенчмарк из командной строки не стартует ни при каких условиях. Причем это наблюдается только для графических процессоров Nvidia и только с новыми драйверами.

Как и в предыдущей версии нашего игрового бенчмарка, предусмотрена возможность задавать количество прогонов каждого теста. После каждого прогона производится перезагрузка компьютера и выдерживается пауза. По результатам всех прогонов рассчитывается среднеарифметический результат и среднеквадратичное отклонение.

Во всех тестах результатом является среднее и минимальное значение FPS (исключение составляет лишь Aliens vs Predator D3D11 Benchmark v.1.03, в котором не фиксируется минимальное значение FPS).

Все игры в нашем бенчмарке запускаются в двух разрешениях (1920×1080 и 1366×768) и в двух режимах настройки игр (на максимальное и минимальное качество).

Настройки игр в режимах минимального и максимального качества

Aliens vs Predator D3D11 Benchmark v.1.03

Собственно, Aliens vs Predator D3D11 Benchmark v.1.03 — это не игра, а отдельный игровой бенчмарк, но сделанный специально для одноименной игры. И хотя сама игра не новая (она вышла в 2010 году), мы включили этот тест в наш игровой скрипт, поскольку актуальности он отнюдь не потерял.

Настройка теста на максимальное и минимальное качество производится в конфигурационном файле. Мы используем следующие настройки:

 максимальное качествоминимальное качество
Texture QualityVery HighLow
Shadow QualityHighOff
Anisotropic Filtering161
Screen Space Ambient Occlusion (SSAO)OnOff
Vertical SyncOffOff
DX11 TessellationOnOff
DX11 Advanced shadow samplingOnOff
DX11 Full Screen Anti-Aliasing Sample Count4XAAOff

Отметим, что тест Aliens vs Predator D3D11 Benchmark v.1.03 неплохо распараллеливается на все ядра процессора, но сама нагрузка на ядра процессора невелика.

В частности, для восьмиядерного (с учетом технологии Hyper-Threading) процессора Intel Core i7-4710HQ и графического процессора Nvidia GeForce GTX 980M (в дальнейшем все примеры в статье будут приводиться именно для этой конфигурации) в ходе теста наблюдается следующая картина. При настройке на максимальное качество графический процессор загружается почти на 100%, а средняя загрузка ядер процессора составляет от 15% до 33%.

Загрузка CPU и GPU в тесте Aliens vs Predator D3D11 Benchmark v.1.03 при настройке на максимальное качество

При настройке на минимальное качество загрузка графического процессора уменьшается до 73% (в среднем по времени теста), а средняя загрузка логических ядер процессора составляет от 13% до 40%

Загрузка CPU и GPU в тесте Aliens vs Predator D3D11 Benchmark v.1.03 при настройке на минимальное качество

World of Tanks 0.9.5

Основная проблема данной игры (в плане возможности ее использования для тестирования) заключается в том, что в ней нет встроенного бенчмарка. Однако игра позволяет записывать демо, поэтому в нашем тестовом бенчмарке она используется одновременно с утилитой FRAPS для определения среднего и минимального значения FPS. Ну а запись танкового сражения была сделана специально для нашего теста поклонниками этой игры (использовалась карта «Харьков»).

Далее мы приводим настройки игры на максимальное и минимальное качество.

 максимальное качествоминимальное качество
Качество графикиПользовательскоеПользовательское
Качество текстурМаксимумНизко
Качество освещенияМаксимумВыключено
Качество тенейМаксимумВыключено
Качество доп. эффектовМаксимумВыключено
Доп. эффекты в снайперском режимеВысокоВыключено
Количество растительностиМаксимумВыключено
ПостобработкаМаксимумВыключено
Трава в снайперском режимеДаНет
Эффекты из-под гусеницДаНет
Качество ландшафтаМаксимумМинимум
Качество водыМаксимумНизко
Качество деталейМаксимумВыключено
Детализация объектовМаксимумНизко
Детализация деревьевМаксимумНизко
Дальность прорисовкиМаксимумНизко
Качество «размытия» в движенииВысокоВыключено
Прозрачность листвыДаНет
Динамическое изменение качестваНетНет
Следы гусеницДаНет

При настройке игры World of Tanks 0.9.5 на максимальное качество эффективно загружается лишь одно-два логических ядра процессора, а все остальные логические ядра загружены очень слабо. Загрузка графического процессора в режиме настройки на максимальное качество умеренная. Так, в нашем случае (Nvidia GeForce GTX980M) средняя загрузка графического процессора во время теста составляла 63%, а загрузка логических ядер процессора была следующей: одно ядро было загружено на 75%, еще одно ядро — на 45%, а загрузка остальных шести ядер составляла 21%, 10%, 7%, 4%, 3% и 2%.

Загрузка CPU и GPU в тесте Word of Tanks 0.9.5 при настройке на максимальное качество

При настройке игры на минимальное качество средний уровень загрузки графического процессора снижался до 22%. Распределение средней загрузки по ядрам процессора было следующее: 5%, 5%, 6%, 13%, 26%, 28%, 31% и 39%.

Загрузка CPU и GPU в тесте Word of Tanks 0.9.5 при настройке на минимальное качество

Grid 2

Игра Grid 2 также имеет встроенный бенчмарк, который можно запускать с различными пресетами, задающими качество отображения. Настройку игры на режимы максимального и минимального качества можно производить через конфигурационный файл. Мы используем следующие настройки:

 максимальное качествоминимальное качество
Качество графикидада
Сглаживание 8xMSAAВыкл
Соотношение сторонАвтоАвто
Частот обновления6060
Вертикальная синхронизацияВыклВыкл
Ночное освещениеВысокоНизко
ТениУльтраУльтра низко
Продвинутый туманВклВыкл
ЧастицыУльтраНизко
ТолпаУльтраВыкл
ТканьВысокоВыкл
Модель затененияУльтраНизко
Мягкое затенениеВклВыкл
Покрытие землиВысокоВыкл
Детали автомобиляВысокоНизко
ДеревьяУльтраСредне
ОбъектыУльтраСредне
Отражение автомобилейВысокоНизко
ВодаВысокоНизко
ПостобработкаВысокоНизко
Следы от шинВклВыкл
Улучшенное освещениеВклВыкл
Общее освещениеВклВыкл
Анизотропная фильтрацияУльтраВыкл

Нагрузка на графический процессор в этом тесте умеренная. Так, при настройке на максимальное качество средняя загрузка графического процессора составляет 81%, а загрузка логических ядер процессора — от 42% до 56%.

Загрузка CPU и GPU в тесте Grid 2 при настройке на максимальное качество

При настройке на минимальное качество средняя загрузка графического процессора снижается до 45%, а загрузка логических ядер процессора составляет от 37% до 50%.

Загрузка CPU и GPU в тесте Grid 2 при настройке на минимальное качество

Metro: LL Redux

В нашей предыдущей методике мы использовали игру Metro: Last Light, а поскольку вышла сборка Metro Reduх, включающая одновременно две игры (Metro: Last Light и Metro: 2033), мы решили воспользоваться этой сборкой. Обращаем внимание, что в данном случае речь не идет об обновлении игры.

Игра Metro: Last Light (LL) Redux имеет встроенный бенчмарк Metro Redux Benchmark v3.00 x64, который мы и использовали в нашем тестовом скрипте.

Настройки бенчмарка производятся в отдельном диалоговом окне перед его запуском. Настройки бенчмарка Metro: LL Redux на режимы максимального и минимального качества приведены на скриншотах:


Бенчмарк Metro: LL Redux дает примерно одинаковую нагрузку на все логические ядра процессора, хотя она и не очень высокая. А вот нагрузка на графический процессор стабильно высокая. Так, при настройке игры на максимальное качество средняя загрузка графического процессора составляет 92%, а средняя загрузка логических ядер процессора составляет от 55% до 64%.

Загрузка CPU и GPU в тесте Metro: LL Redux при настройке на максимальное качество

При настройке на минимальное качество средняя загрузка графического процессора опускается до 82%, а средняя загрузка логических ядер процессора составляет от 60% до 65%.

Загрузка CPU и GPU в тесте Metro: LL Redux при настройке на минимальное качество

Metro: 2033 Redux

Бенчмарк Metro Redux Benchmark v3.00, встроенный в игру Metro: 2033 Redux, не отличается от бенчмарка в игре Metro: LL. Единственное отличие заключается в том, что используется другая игровая сцена для тестирования. Настройки бенчмарка Metro: 2033 Redux на режимы максимального и минимального качества в данном случае точно такие же, как и в игре Metro: LL Redux.

При настройке теста на максимальное качество мы получаем примерно такую же картину, как и в тесте Metro: LL Redux: логические ядра процессора загружены примерно на 50-65%, а загрузка графического процессора составляет 93%.

Загрузка CPU и GPU в тесте Metro: 2033 Redux при настройке на максимальное качество

А вот при настройке теста на минимальное качество загрузка графического процессора снижается до среднего уровня в 52%. Загрузка логических ядер процессора в этом режиме немного возрастает (61-67%).

Загрузка CPU и GPU в тесте Metro: 2033 Redux при настройке на минимальное качество

Hitman: Absolution (1.0.447.0)

Игра Hitman: Absolution имеет встроенный бенчмарк, который мы и использовали в нашем тестовом скрипте. Настройка теста на максимальное и минимальное качество производится в конфигурационном файле или в отдельном диалоговом окне. Мы используем следующие настройки игры:


При настройке игры Hitman: Absolution на максимальное качество все логические ядра процессора загружаются примерно в равной степени, причем уровень загрузки составляет порядка 60%. Загрузка графического процессора составляет порядка 89%.

Загрузка CPU и GPU в тесте Hitman: Absolution при настройке на максимальное качество

При настройке игры Hitman: Absolution на минимальное качество загрузка логических ядер процессора почти не меняется, а вот загрузка графического процессора снижается до 45%.

Загрузка CPU и GPU в тесте Hitman: Absolution при настройке на минимальное качество

Thief (1.6 build 4158.14)

В игре также имеется встроенный бенчмарк, а настройку бенчмарка на максимальное и минимальное качество можно производить через конфигурационный файл или через диалоговое окно настроек. Настройки бенчмарка Thief на режимы максимального и минимального качества приведены на скриншотах:


В игре Thief при настройке на максимальное качество графический процессор получает очень высокую загрузку (95%). Загрузка логических ядер процессора средняя, однако одно ядро процессора загружено немного больше, чем остальные: так, одно ядро загружено в среднем на 73%, а есть ядро с загрузкой в 40%.

Загрузка CPU и GPU в тесте Thief при настройке на максимальное качество

При настройке игры на минимальное качество, загрузка графического процессора снижается до среднего уровня в 72%, а загрузка логических ядер CPU почти не меняется.

Загрузка CPU и GPU в тесте Thief при настройке на минимальное качество

Tomb Raider (v.1.01.748.0)

В игре Tomb Raider имеется встроенный бенчмарк, который запускается из командной строки. Настройки игры на режимы максимального и минимального качества приведены на скриншотах:


При настройке игры Tomb Raider на максимальное качество уровень загрузки графического процессора составляет практически 100%, а логические ядра процессора загружены очень мало (25-40%).

Загрузка CPU и GPU в тесте Tomb Raider при настройке на максимальное качество

При настройке игры на минимальное качество уровень загрузки графического процессора немного снижается (средний уровень 92%), и одновременно увеличивается загрузка логических ядер процессора (30-68%).

Загрузка CPU и GPU в тесте Tomb Raider при настройке на минимальное качество

Sleeping Dogs

В игре Sleeping Dogs также имеется встроенный бенчмарк, который запускается из командной строки. Настройки игры на режимы максимального и минимального качества приведены в таблице:

 максимальное качествоминимальное качество
Enable quality anti-aliasingExtremeNormal
Shadow resolutionHighOff
Screen space ambient occlusionHighNormal
Enable V-SyncOffOff
Enable quality motion blurHighOff
World densityExtremeLow
FPS limiterOffOff
Low resolution buffersOffOff

При настройке игры на максимальное качество средний уровень загрузки графического процессора составляет 94%, а загрузка логических ядер процессора колеблется от 30% до 70%.

Загрузка CPU и GPU в тесте Sleeping Dogs при настройке на максимальное качество

При настройке игры на минимальное качество загрузка графического процессора остается достаточно высокой (92%).

Загрузка CPU и GPU в тесте Sleeping Dogs при настройке на минимальное качество

Sniper Elite V2 Benchmark 1.05

Sniper Elite V2 Benchmark 1.05 — это отдельный игровой бенчмарк, сделанный для игры Sniper Elite V2. Настройки данного теста на минимальное и максимальное качество производятся в отдельном ini-файле. Мы используем следующие настройки:

 максимальное качествоминимальное качество
MotionBlurOnOff
AmbientOcclusionOnOff
VSyncOffOff
ReduceMouseLagOffOff
TextureDetailUltraLow
ShadowDetailUltraLow
AntiAliasingHighOff
DrawDistanceUltraLow
AnisotropicFiltering16Off
ComputeShaderOnOff
AdvancedShadowsHighOff
Supersampling 4.0xOff

При настройке бенчмарка Sniper Elite V2 Benchmark 1.05 на максимальное качество средняя загрузка графического процессора в ходе теста составляет 96%. Загрузка логических ядер процессора в этом режиме средняя.

Загрузка CPU и GPU в тесте Sniper Elite V2 Benchmark 1.05 при настройке на максимальное качество

При настройке бенчмарка Sniper Elite V2 Benchmark 1.05 на минимальное качество загрузка графического процессора немного снижается и составляет 82%. Кроме того, немного увеличивается загрузка логических ядер процессора.

Загрузка CPU и GPU в тесте Sniper Elite V2 Benchmark 1.05 при настройке на минимальное качество

Результаты тестирования

Как мы уже отмечали, во всех игровых тестах, кроме Aliens vs Predator D3D11 Benchmark v.1.03, фиксируются как усредненное значение FPS, так и минимальное значение.

В качестве примера мы приводим результаты тестирования ноутбука с процессором Intel Core i7-4710HQ и графической картой Nvidia GeForce GTX 980M, которая на сегодняшний день является одной из топовых мобильных видеокарт:

Игровой тест Максимальное качествоМинимальное качество
Среднее значение FPSМинимальное значение FPSСреднее значение FPSМинимальное значение FPS
Aliens vs Predator76,5201,9
Grid 278,757,2215,6162,0
World of Tanks56,439,486,962,2
Metro: LL Redux33,612,0136,826,4
Metro: 2033 Redux28,99,2110,030,2
Hitman: Absolution35,125,097,077,6
Thief 57,339,490,761,4
Tomb Raider 40,127,8330,0201,2
Sleeping Dogs37,622,5147,291,1
Sniper Elite V240,116,1198,759,6

В принципе, результаты тестирования вполне самодостаточны и показательны. В случае игр показателем производительности является как раз FPS, и рассчитывать некий интегральный показатель производительности нет необходимости. Соответствтенно, в отличие от тестирования в неигровых приложениях, где результатом является времена выполнения тестовых задач, нет необходимости в референсной системе, которая позволяет сопоставлять результаты тестирования и оценивать производительность в безразмерных единицах.

Заключение

В этой статье мы рассмотрели нашу новую методику измерения производительности на основе игр (бенчмарк iXBT Game Benchmark 2015). Этой методикой мы будем пользоваться как минимум на протяжении всего 2015 года, что позволит нам накопить базу результатов и сравнивать по производительности различные конфигурации компьютеров.




12 февраля 2015 Г.

2015

2015

, , .

,

( ), , , . , (iXBT Game Benchmark 1.0) :

  • Aliens vs Predator D3D11 Benchmark v.1.03;
  • World of Tanks 0.8.9;
  • Bioshock Infinite;
  • Grid 2;
  • Metro: LL;
  • Hitman: Absolution.

, World of Tanks, .

, iXBT Game Benchmark 2015, . , :

  • Aliens vs Predator D3D11 Benchmark v.1.03;
  • World of Tanks 0.9.5;
  • Grid 2;
  • Metro: LL Redux;
  • Metro: 2033 Redux;
  • Hitman: Absolution (1.0.447.0);
  • Thief (1.6 build 4158.14);
  • Tomb Raider (v.1.01.748.0);
  • Sleeping Dogs;
  • Sniper Elite V2 Benchmark 1.05.

, Bioshock Infinite , , , , , « » Nvidia. , . Nvidia .

, . . .

FPS ( Aliens vs Predator D3D11 Benchmark v.1.03, FPS).

(1920×1080 1366×768) ( ).

Aliens vs Predator D3D11 Benchmark v.1.03

, Aliens vs Predator D3D11 Benchmark v.1.03 — , , . ( 2010 ), , .

. :

 
Texture Quality Very High Low
Shadow Quality High Off
Anisotropic Filtering 16 1
Screen Space Ambient Occlusion (SSAO) On Off
Vertical Sync Off Off
DX11 Tessellation On Off
DX11 Advanced shadow sampling On Off
DX11 Full Screen Anti-Aliasing Sample Count 4XAA Off

, Aliens vs Predator D3D11 Benchmark v.1.03 , .

, ( Hyper-Threading) Intel Core i7-4710HQ Nvidia GeForce GTX 980M ( ) . 100%, 15% 33%.

CPU GPU Aliens vs Predator D3D11 Benchmark v.1.03

73% ( ), 13% 40%

CPU GPU Aliens vs Predator D3D11 Benchmark v.1.03

World of Tanks 0.9.5

( ) , . , FRAPS FPS. ( «»).

.

 
.
.
-
«»

World of Tanks 0.9.5 - , . . , (Nvidia GeForce GTX980M) 63%, : 75%, — 45%, 21%, 10%, 7%, 4%, 3% 2%.

CPU GPU Word of Tanks 0.9.5

22%. : 5%, 5%, 6%, 13%, 26%, 28%, 31% 39%.

CPU GPU Word of Tanks 0.9.5

Grid 2

Grid 2 , , . . :

 
8xMSAA
60 60

. , 81%, — 42% 56%.

CPU GPU Grid 2

45%, 37% 50%.

CPU GPU Grid 2

Metro: LL Redux

Metro: Last Light, Metro Redu, (Metro: Last Light Metro: 2033), . , .

Metro: Last Light (LL) Redux Metro Redux Benchmark v3.00 x64, .

. Metro: LL Redux :


Metro: LL Redux , . . , 92%, 55% 64%.

CPU GPU Metro: LL Redux

82%, 60% 65%.

CPU GPU Metro: LL Redux

Metro: 2033 Redux

Metro Redux Benchmark v3.00, Metro: 2033 Redux, Metro: LL. , . Metro: 2033 Redux , Metro: LL Redux.

, Metro: LL Redux: 50-65%, 93%.

CPU GPU Metro: 2033 Redux

52%. (61-67%).

CPU GPU Metro: 2033 Redux

Hitman: Absolution (1.0.447.0)

Hitman: Absolution , . . :


Hitman: Absolution , 60%. 89%.

CPU GPU Hitman: Absolution

Hitman: Absolution , 45%.

CPU GPU Hitman: Absolution

Thief (1.6 build 4158.14)

, . Thief :


Thief (95%). , , : , 73%, 40%.

CPU GPU Thief

, 72%, CPU .

CPU GPU Thief

Tomb Raider (v.1.01.748.0)

Tomb Raider , . :


Tomb Raider 100%, (25-40%).

CPU GPU Tomb Raider

( 92%), (30-68%).

CPU GPU Tomb Raider

Sleeping Dogs

Sleeping Dogs , . :

 
Enable quality anti-aliasing Extreme Normal
Shadow resolution High Off
Screen space ambient occlusion High Normal
Enable V-Sync Off Off
Enable quality motion blur High Off
World density Extreme Low
FPS limiter Off Off
Low resolution buffers Off Off

94%, 30% 70%.

CPU GPU Sleeping Dogs

(92%).

CPU GPU Sleeping Dogs

Sniper Elite V2 Benchmark 1.05

Sniper Elite V2 Benchmark 1.05 — , Sniper Elite V2. ini-. :

 
MotionBlur On Off
AmbientOcclusion On Off
VSync Off Off
ReduceMouseLag Off Off
TextureDetail Ultra Low
ShadowDetail Ultra Low
AntiAliasing High Off
DrawDistance Ultra Low
AnisotropicFiltering 16 Off
ComputeShader On Off
AdvancedShadows High Off
Supersampling 4.0x Off

Sniper Elite V2 Benchmark 1.05 96%. .

CPU GPU Sniper Elite V2 Benchmark 1.05

Sniper Elite V2 Benchmark 1.05 82%. , .

CPU GPU Sniper Elite V2 Benchmark 1.05

, , Aliens vs Predator D3D11 Benchmark v.1.03, FPS, .

Intel Core i7-4710HQ Nvidia GeForce GTX 980M, :

FPS FPS FPS FPS
Aliens vs Predator 76,5 201,9
Grid 2 78,7 57,2 215,6 162,0
World of Tanks 56,4 39,4 86,9 62,2
Metro: LL Redux 33,6 12,0 136,8 26,4
Metro: 2033 Redux 28,9 9,2 110,0 30,2
Hitman: Absolution 35,1 25,0 97,0 77,6
Thief 57,3 39,4 90,7 61,4
Tomb Raider 40,1 27,8 330,0 201,2
Sleeping Dogs 37,6 22,5 147,2 91,1
Sniper Elite V2 40,1 16,1 198,7 59,6

, . FPS, . , , , , .

( iXBT Game Benchmark 2015). 2015 , .