Методика тестирования производительности x86-64 процессоров, версия 2.5


Основные предпосылки

Методика тестирования процессоров, что очевидно, предназначается для тестирования производительности современных x86(-64) CPU с точки зрения их быстродействия, и формулировки определённых выводов, базирующихся на полученных результатах. В данном конкретном случае, она основывается на следующих предположениях:

  • такая характеристика, как усреднённая производительность указанных выше типов процессоров, может быть определена опытным путём;
  • она может быть определена при условии тестирования производительности данных процессоров в максимально возможно идентичных условиях на одном и том же наборе программных тестов;
  • она является средним геометрическим от всех полученных в процессе тестирования результатов, с одинаковыми весовыми коэффициентами.
  • она вычисляется исключительно на основании результатов тех тестов, которые были проведены в рамках данной методики, и, таким образом, является величиной одноверменно объективной (основывающейся на результатах объективных тестов) и субъективной (вычисленной на основании результатов именно и только тех тестов, которые были отобраны составителями данной методики).

Выражаясь более просто, всё вышеперечисленное можно сформулировать так:

  • Наша методика тестирования производительности x86(-64) процессоров базируется на том наборе тестов, которые мы сочли нужным в неё включить. Таким образом, мы заранее отказываемся от попыток сравнивать полученные нами общие результаты и выводы из них с результатами и выводами, сделанными на базе других методик.
  • Наша методика базируется на том принципе, что любой результат, полученный в результате тестирования — равнозначен любому другому результату. Никаких «весовых коэффициентов» — все результаты, сколько бы их ни было получено, равны между собой.
  • Условия тестирования должны быть, в идеале, абсолютно идентичными. Если это не так — они должны быть максимально идентичными, насколько это возможно. Оценка того, насколько это в действительности возможно, и какой вариант является максимальным приближением к обозначенному идеалу — является прерогативой нашей тестовой лаборатории.

Общая часть

Программное обеспечение

  • Windows XP Professional x64 edition SP1;
  • все доступные на 1 января 2007 года патчи и апдейты к данной ОС;
  • доступные на 1 января 2007 года релизные версии драйверов для используемого в тестировании аппаратного обеспечения (если таковые являлись доступными на указанный момент, иначе — первые доступные релизные версии);
  • доступные на 1 января 2007 года релизные версии BIOS для используемого в тестировании аппаратного обеспечения (если таковые являлись доступными на указанный момент, иначе — первые доступные релизные версии);
  • указанные ниже версии основного ПО и бенчмарков.

Аппаратное обеспечение

Неизменяемое (для десктопной версии методики):

  • Винчестер: Samsung SP1614C
  • Контроллер SATA: Promise SATAII150 TX2plus
  • Память типа DDR-400:Corsair CMX1024-3500LLPRO
  • Память типа DDR2-800: Corsair CM2X1024-6400
  • Видеокарта: Gigabyte GeForce 7800GTX 256 MB
  • Блок питания: Chieftec GPS-550AB A

Изменяемое (для десктопной версии методики):

  • Системная плата: наиболее подходящая для исследуемого CPU;
  • Кулер: поставляемый в комплекте (предпочтительно), или рекомендованный (сертифицированный) производителем, или на наш выбор (ввиду недоступности первого или второго варианта).

Примечание относительно использования
данной методики не на десктопах

Разумеется, при тестировании в рамках данной методики устройств, не допускающих применение «неизменяемых» комплектующих (к примеру, ноутбуков или готовых систем), результаты также могут быть получены, и даже в известной степени могут сравниваться между собой. Однако, безусловно, для сравнительного тестирования процессоров, полученные таким образом баллы использоваться не могут. Это уже будут просто результаты сравнения готовых систем, в той или иной мере «заточенные» под исследование производительности процессоров.

Задействуемые тесты

Пакеты трёхмерного моделирования

Основное ПО: Autodesk 3ds Max 9 x64 edition
Бенчмарк: SPECapc for 3ds Max 8

Класс ПО: профессиональное.
Условия тестирования: разрешение десктопа — 1280x1024x32@75, Direct 3D API.
Суть бенчмарка: скрипт, имитирующий работу реального пользователя в программе.
Результаты: отдельные баллы по скорости интерактивной работы и рендеринга.
Тип нагрузки: в основном — процессор, 3D-акселератор, менее значительно — память.
SMP-оптимизация: судя по результатам тестов — только рендеринг.

Основное ПО: Autodesk Maya 8.5 x64 edition
Бенчмарк: SPECapc for Maya 6.5
Дополнительный бенчмарк: сцена для рендеринга

Класс ПО: профессиональное.
Условия тестирования: разрешение десктопа — 1280x1024x32@75, OpenGL API.
Суть бенчмарка: скрипт, имитирующий работу реального пользователя в программе.
Дополнительный бенчмарк: рендеринг статической сцены.
Результаты: отдельные баллы GFX, I/O, CPU, общий балл, время рендеринга.
Тип нагрузки: в основном — процессор, 3D-акселератор, менее значительно — память.
SMP-оптимизация: судя по результатам тестов — только рендеринг.

Основное ПО: NewTek Lightwave 3D 9 x64 edition
Бенчмарк: сцена для рендеринга

Класс ПО: профессиональное.
Условия тестирования: разрешение десктопа — 1280x1024x32@75.
Суть бенчмарка: рендеринг статической сцены.
Результаты: время рендеринга.
Тип нагрузки: в основном — процессор.
SMP-оптимизация: судя по результатам тестов — только рендеринг.

CAD/CAE пакеты

Основное ПО: MATLAB R2006a (7.2.0.232) x64 edition
Бенчмарк: встроенный

Класс ПО: профессиональное.
Условия тестирования: разрешение десктопа — 1280x1024x32@75.
Суть бенчмарка: вычисление различных типов функций: LU, FFT, ODE, Sparse, 2D, 3D.
Результаты: время исполнения каждого пакета функций (см. выше).
Тип нагрузки: в основном — процессор.
SMP-оптимизация: де-факто — не обнаружена.

Основное ПО: PTC Pro/ENGINEER Wildfire 2.0
Бенчмарк: SPECapc for Pro/ENGINEER Wildfire 2.0

Класс ПО: профессиональное.
Условия тестирования: разрешение десктопа — 1280x1024x32@75, OpenGL API.
Суть бенчмарка: скрипт, имитирующий работу реального пользователя в программе.
Результаты: многочисленные, мы учитываем только общий балл.
Тип нагрузки: процессор, 3D-акселератор, память, немного — жёсткий диск.
SMP-оптимизация: де-факто не обнаружена.

Основное ПО: SolidWorks Corporation SolidWorks 2005
Бенчмарк: SPECapc for SolidWorks 2005

Класс ПО: профессиональное.
Условия тестирования: разрешение десктопа — 1280x1024x32@75, OpenGL API.
Суть бенчмарка: скрипт, имитирующий работу реального пользователя в программе.
Результаты: многочисленные, мы учитываем только общий балл.
Тип нагрузки: процессор, 3D-акселератор, память, немного — жёсткий диск.
SMP-оптимизация: де-факто не обнаружена.

Пакеты для работы с растровой графикой

Основное ПО: Adobe Photoshop CS2 (9.0)
Бенчмарк: собственная разработка iXBT.com

Класс ПО: профессиональное, иногда используется любителями.
Условия тестирования: разрешение десктопа — 1280x1024x32@75.
Суть бенчмарка: скрипт, задействующий наиболее частые операции и много фильтров.
Результаты: время исполнения команд по группам, общее время исполнения.
Тип нагрузки: процессор, память, немного — жёсткий диск.
SMP-оптимизация: местами (некоторые операции, некоторые фильтры).

Компиляция

Основное ПО: Microsoft Visual Studio 2005 Professional
Бенчмарк: компиляция пакета MySQL Community Server 5.0.33

Класс ПО: профессиональное, иногда используется любителями.
Условия тестирования: разрешение десктопа — 1280x1024x32@75.
Суть бенчмарка: компиляция большого проекта (final build).
Результаты: время компиляции.
Тип нагрузки: процессор, память, немного — жёсткий диск.
SMP-оптимизация: по утверждению производителя, есть.

Веб-сервер

Основное ПО: Apache HTTP Server 2.2.4 for Windows
Бенчмарк: встроенный бенчмарк + 3 нагрузочных файла

Класс ПО: профессиональное, иногда используется любителями.
Условия тестирования: разрешение десктопа — 1280x1024x32@75.
Суть бенчмарка: создание заданного типа нагрузки на сервер.
Результаты: кол-во отработанных запросов в секунду (малый, средний, большой файл).
Тип нагрузки: процессор, память.
SMP-оптимизация: отличная.

Синтетические и полусинтетические бенчмарки

Основное ПО: CPU RightMark 2005 Lite (1.3) x64 edition
Бенчмарк: встроенный

Класс ПО: специально предназначенное для бенчмаркинга.
Условия тестирования: разрешение десктопа — 1280x1024x32@75.
Суть бенчмарка: расчёт физической модели и рендеринг её в реальном времени.
Результаты: кол-во кадров в секунду — рассчитанных, отрендеренных, всего.
Тип нагрузки: процессор.
SMP-оптимизация: отличная.

Упаковка данных

Основное ПО: WinRAR 3.62
Бенчмарк: упаковка набора файлов (BMP+DBF+DLL+DOC+PDF+TXT)

Класс ПО: универсальное.
Условия тестирования: разрешение десктопа — 1280x1024x32@75.
Суть бенчмарка: упаковка файлов распространённых форматов.
Результаты: время упаковки.
Тип нагрузки: процессор, память (почти поровну).
SMP-оптимизация: присутствует.

Основное ПО: 7-Zip 4.42 x64 edition
Бенчмарк: упаковка набора файлов (BMP+DBF+DLL+DOC+PDF+TXT)

Класс ПО: универсальное.
Условия тестирования: разрешение десктопа — 1280x1024x32@75.
Суть бенчмарка: упаковка файлов распространённых форматов.
Результаты: время упаковки.
Тип нагрузки: процессор, память (почти поровну).
SMP-оптимизация: присутствует.

Программы оптического распознавания

Основное ПО: ABBYY FineReader 8.0 Professional Edition
Бенчмарк: распознавание многостраничного PDF-документа

Класс ПО: любительское, офисное.
Условия тестирования: разрешение десктопа — 1280x1024x32@75.
Суть бенчмарка: преобразование многостраничного PDF-документа в plain-текст.
Результаты: время преобразования.
Тип нагрузки: процессор, память.
SMP-оптимизация: в самом пакете — есть, в используемом режиме — нет.

Кодирование аудиоданных

Основное ПО: LAME 3.97, Monkey Audio 4.01, OGG Encoder 2.83,
Windows Media Encoder 9 x64 edition

Бенчмарк: кодирование WAV-образа диска Jacques Loussier Trio
«The Best of Play Bach»

Класс ПО: любительское.
Условия тестирования: разрешение десктопа — 1280x1024x32@75.
Суть бенчмарка: кодирование WAV-источника перечисленными кодеками.
Результаты: время кодирования для каждого кодека.
Тип нагрузки: в основном — процессор, меньше — память.
SMP-оптимизация: только в Windows Media Encoder 9.

Кодирование видеоданных

Основное ПО: Canopus ProCoder 2.01.30, DivX 6.4,
Windows Media Video 9 VCM, x264 v.604, XviD 1.1.2

Бенчмарк: кодирование файла в формат MPEG2,
кодирование файла в формат MPEG4

Класс ПО: полупрофессиональное и любительское.
Условия тестирования: разрешение десктопа — 1280x1024x32@75.
Суть бенчмарка: кодирование файлов перечисленными кодеками в форматы MPEG2 и MPEG4.
Результаты: время кодирования для каждого кодека.
Тип нагрузки: в основном — процессор, меньше — память.
SMP-оптимизация: отсутствует в кодеке XviD, наилучшая — в Canopus ProCoder.

Трёхмерные компьютерные игры

Основное ПО: F.E.A.R., Half-Life 2, Quake 4, Call of Duty 2, Serious Sam 2
Бенчмарки: встроенные, для HL-2 и Quake 4 — собственные

     

     

Класс ПО: любительское.
Условия тестирования: полноэкранные разрешения от 800x600(x32@75) до 1280x1024+AA.
Суть бенчмарка: имитация реального игрового процесса (с некоторыми оговорками).
Результаты: среднее количество кадров в секунду.
Тип нагрузки: в основном — 3D-акселератор, меньше — процессор, память.
SMP-оптимизация: в HL-2 и F.E.A.R. — отсутствует.

Измерения, не относящиеся к производительности

Определение приблизительной величины потребления процессора

Условия тестирования: под полной нагрузкой и в полном покое.
Суть бенчмарка: измерение энергопотребления процессора.
Результаты: энергопотребление CPU при максимальной нагрузке и в состоянии покоя.
Тип нагрузки: процессор.

Ввиду того, что данный тип тестирования является новым для нашей тестовой лаборатории, мы сочли нужным включить в данный материал более подробное описание методики. Принцип измерения потребляемой мощности, в данном случае, основан на известном законе Ома, а именно I=dU/R (1). В нашем случае, силу тока (I), необходимую для вычисления потребляемой мощности, мы получаем, измерив падение напряжения (dU) на измерительном шунте сопротивлением (R) 0,025 Ом, после чего подставив имеющиеся значения в формулу (1) получаем действующее значение силы тока в амперах. После чего, воспользовавшись одной из старейших формул электротехники, а именно P=UI, мы вычисляем значение потребляемой мощности из разъема ATX12V. В нашем случае падение напряжения на шунте (dU) измеряет мультиметр, расположенный на фотографии справа, а действующее значение напряжения в цепи (U) – мультиметр слева. В ходе тестирования напряжения измеряются цифровыми TRMS-мультиметрами UT60E.

Очевидный недостаток данной методики состоит в том, что измеряется, де-факто, не энергопотребление CPU, а энергопотребление VRM, питающего CPU, причём мы исходим из разумного, но реально не могущего быть подтверждённым предположения о том, что VRM запитан исключительно от разъёма ATX12V, и, в свою очередь, от разъёма ATX12V запитан исключительно VRM процессора, и ничего более (точное подтверждение всем этим предположениям можно получить только имея на руках принципиальную схему конкретной принимающей участие в тестировании системной платы, что, очевидно, в большинстве случаев невозможно). В качестве эксперимента и с целью накопления статистики (которая со временем сама может послужить эмпирическим доказательством правильности или неправильности наших предположений), мы решили задействовать данный метод, даже не будучи уверенными в его корректности в 100% случаев. Однако читателям не следует забывать о том, что сказано выше: называть полученный в результате описанных измерений результат даже «приблизительным энергопотреблением процессора», можно лишь со многими оговорками.

Сводная таблица тестов по типам нагрузки

  процессор SMP память видеокарта жесткий диск
3ds Max
+
+
~
+
Maya
+
+
~
+
Lightwave
+
+
MATLAB
+
Pro/ENGINEER
+
+
+
~
SolidWorks
+
+
+
~
Photoshop
+
+
+
~
Visual Studio
+
+
+
~
Apache
+
+
+
CPU RightMark
+
+
WinRAR
+
+
+
7-Zip
+
+
+
FineReader
+
+
Audio encoding
+
Video encoding
+
+*
~
Games
+
+*
~
+

* — не все тесты в подгруппе

Вычисление общих баллов по тестам
и сводных баллов

Баллы (присутствующие в диаграммах), вычисляются по следующим правилам:

  • любой результат, в котором меньшее значение является лучшим, чем большее, преобразуется в формат «больше — лучше» по формуле 1/X, где X — рассматриваемый результат;
  • значение, эквивалентное ста (100) баллам для каждого отдельного теста, является результатом тестирования в заранее приведенных и жёстко обозначенных условиях процессора Intel Core 2 Duo 4300;
  • всем результатам тестирования, присваиваются значения в баллах, эквивалентные соотношению между их результатами, и результатами процессора Intel Core 2 Duo 4300, прямо пропорционально;
  • все результаты тестирования, если это относится к подгруппе, состоящей из нескольких тестов, сводятся в общий балл по алгоритму вычисления среднего геометрического (корень N-ной степени из произведения N результатов);
  • условный «профессиональный» балл присваивается по результатам тестирования в следующих приложениях и группах приложений: 3ds Max, Maya, Lightwave, MATLAB, Pro/ENGINEER, SolidWorks, Photoshop, Visual Studio, Apache, CPU RightMark;
  • условный «любительский» балл присваивается по результатам тестирования в следующих приложениях и группах приложений: WinRAR, 7-Zip, FineReader, Audio encoding, Video Encoding, Games;
  • условный «общий» балл присваивается по результатам тестирования во всех приложениях и группах приложений.

Формирование общих выводов
по результатам тестирования

В соответствии с полученными баллами, мы будем делать выводы о том, какой процессор в рамках нашей методики является более «быстрым», а какой — более «медленным». В рамках вышеописанных выводов, мы несём ответственность за то, что:

  • все тесты были проведены в соответствии с вышеописанными условиями (не описанные здесь дополнительные опции не являются секретом и могут быть получены всеми желающими по отдельному запросу);
  • приведенные результаты могут быть получены на том же наборе аппаратного и программного обеспечения, со всеми указанными выше опциями, всеми желающими, и в пределах погрешности измерения они будут такими же, как и опубликованные нами;
  • все вычисления условных баллов были проведены в соответствии с вышеописанными правилами, они являются корректными, и могут быть воспроизведены любыми другими лицами с тем же финальным результатом (в случае идентичных исходных данных).

Исходя из вышеизложенного, мы оставляем за собой право на принятие любых не выходящих за рамки действующего законодательства мер по отношению к тем, кто будет подвергать сомнению полученные нами результаты, и выводы из них, если эти сомнения не будут в достаточной степени аргументированы. Говоря проще: если не нравится методика — критикуйте методику. Но вот если «не нравятся» результаты — это уже ваши проблемы.




Дополнительно

iXBT BRAND 2016

«iXBT Brand 2016» — Выбор читателей в номинации «Процессоры (CPU)»:
Подробнее с условиями участия в розыгрыше можно ознакомиться здесь. Текущие результаты опроса доступны тут.

Нашли ошибку на сайте? Выделите текст и нажмите Shift+Enter

Код для блога бета

Выделите HTML-код в поле, скопируйте его в буфер и вставьте в свой блог.