Методика тестирования производительности процессоров образца 2005 года: подводим итоги


Когда около года назад мы анонсировали унифицированную методику тестирования производительности десктопных x86 CPU — честно говоря, мы и сами не знали, что из этого получится. Была идея. Были свои резоны: «С некоторых точек зрения это может быть удобно и полезно». Было желание опробовать идею на практике и посмотреть, что из этого выйдет. Было, безусловно, желание сделать свою работу хорошо — иначе зачем её вообще делать? Прошёл год, и в течение этого года мы (несмотря на некоторое количество негативных отзывов) «молча долбили свой дуб», тестируя процессоры в соответствии с принятой на вооружение методикой и не отходя от неё практически ни на шаг. Пришло время посмотреть, что же получилось в результате.

В процессе подготовки этой статьи не было проведено ни одного тестирования. Это важно. Важно потому, что своим появлением на свет она обязана исключительно той концепции, которая была принята год назад: тестировать все процессоры на одном и том же наборе ПО, с одними и теми же опциями, словом — полностью унифицированно. Именно благодаря этому мы можем сейчас выпустить статью, в которой сравнивается между собой производительность сорока (сорока!) процессоров от двух ведущих производителей — и при этом полностью на базе «старых», ранее полученных результатов. Совершенно очевидно, что ни при каких иных условиях материал с таким объёмом сравниваемых результатов, в принципе не мог бы быть подготовлен в разумные сроки. Насколько это преимущество оправдывает некоторые недостатки выбранного подхода — об этом судить вам, нашим читателям…

Тестирование

Конфигурация тестовых стендов

Процессор
Разъём
Частота (ГГц)
L2-кэш (КБ)
Память
Системная плата
Видеокарта
Socket 939
2x2.6
2x1024
DDR400*
ASUS A8N-SLI Deluxe
Radeon X800
Socket 939
2.8
1024
DDR400*
EPoX EP-9NPA+ Ultra
Radeon X800
Socket 939
2.6
1024
DDR400*
EPoX EP-9NPA+ Ultra
Radeon X800
Socket 939
2x2.4
2x1024
DDR400*
ASUS A8N-SLI
Radeon X800
Socket 939
2x2.0
2x512
DDR400*
ASUS A8N-SLI
Radeon X800
Socket 939
2.4
1024
DDR400*
EPoX EP-9NPA+ Ultra
Radeon X800
Socket 939
2.2
1024
DDR400*
EPoX EP-9NPA+ Ultra
Radeon X800
Socket 754
2.0
1024
DDR400*
ASUS K8V Deluxe
Radeon 9800Pro
Socket 754
2.0
512
DDR400*
ASUS K8V Deluxe
Radeon 9800Pro
Socket 754
2.0
256
DDR400*
ASUS K8V Deluxe
Radeon 9800Pro
Socket 754
2.0
128
DDR400*
ASUS K8V Deluxe
Radeon 9800Pro
Socket 754
1.8
256
DDR400*
ASUS K8V Deluxe
Radeon 9800Pro
Socket 754
1.8
128
DDR400*
ASUS K8V Deluxe
Radeon 9800Pro
Socket 462
2.2
512
DDR400*
Albatron KX18D Pro II
Radeon X800
Socket 462
2.167
512
DDR400*
Albatron KX18D Pro II
Radeon X800
Socket 462
2.0
512
DDR400*
Albatron KX18D Pro II
Radeon X800
Socket 462
2.0
256
DDR400*
Albatron KX18D Pro II
Radeon X800
LGA775
2x3.46
2x2048
DDR2-533**
Intel D975XBX
Radeon X800
LGA775
2x3.2
2x1024
DDR2-533**
Intel D955XBK
Radeon X800
LGA775
2x3.2
2x1024
DDR2-533**
Intel D955XBK
Radeon X800
LGA775
2x2.8
2x1024
DDR2-533**
Intel D955XBK
Radeon X800
LGA775
3.73
2048
DDR2-533**
Intel D955XBK
Radeon X800
LGA775
3.8
2048
DDR2-533**
Intel D955XBK
Radeon X800
LGA775
3.6
1024
DDR2-533**
Intel D955XBK
Radeon X800
LGA775
3.2
1024
DDR2-533**
Intel D955XBK
Radeon X800
LGA775
2.8
1024
DDR2-533**
ASUS P5GDC-V
Radeon X800
LGA775
2.8
1024
DDR400*
ASUS P5GDC-V
Radeon X800
Socket 478
2.8
512
DDR400*
Gigabyte GA-8IPE1000
Radeon 9800Pro
Socket 478
2.8
512
DDR400*
Gigabyte GA-8IPE1000
Radeon 9800Pro
Socket 478
2.8
1024
DDR400*
Gigabyte GA-8IPE1000
Radeon 9800Pro
LGA775
3.06
256
DDR2-533**
ASUS P5GDC-V
Radeon X800
LGA775
2.93
256
DDR2-533**
ASUS P5GDC-V
Radeon X800
LGA775
2.8
256
DDR2-533**
ASUS P5GDC-V
Radeon X800
Socket 478
2.8
256
DDR400*
Gigabyte GA-8IPE1000
Radeon 9800Pro
LGA775
2.66
256
DDR2-533**
ASUS P5GDC-V
Radeon X800
LGA775
2.53
256
DDR2-533**
ASUS P5GDC-V
Radeon X800
Socket 478
2.8
128
DDR400*
Gigabyte GA-8IPE1000
Radeon 9800Pro
Socket 478
2.26
2048
DDR400*
ASUS P4GPL-X
Radeon X800
Socket 478
2.13
2048
DDR400*
ASUS P4GPL-X
Radeon X800
Socket 478
2.0
2048
DDR400*
ASUS P4GPL-X
Radeon X800

* — тайминги 2-2-2-5, производитель Corsair
** — тайминги 3-3-3-8, производитель Corsair

В этом материале мы решили не приводить диаграммы с детальными результатами тестов (60 с лишним диаграмм с 40 процессорами на каждой — это, всё-таки, перебор…). Однако если кто-то хочет увидеть детализованную картину по какому-то процессору — то ссылку на неё можно найти, не выходя за пределы данного материала: каждое наименование процессора в таблице с конфигурацией тестовых стендов является ссылкой на детальные результаты одного из тех тестирований, в которых принимал участие этот CPU.

Результаты

Хотелось бы подробнее остановиться на некоторых обозначениях, употребляемых на диаграммах. Так, в некоторых случаях, для того чтобы не было разночтений, после наименования процессора указывается его сокет. Таким образом, надпись «Sempron 3000+/462» обозначает процессор Sempron 3000+ для Socket 462 (Socket A). Также некоторые наименования процессоров помечены в конце звёздочкой. Это обращает ваше внимание на то, что данная конфигурация тестировалась с менее мощной видеокартой (ATI Radeon 9800 Pro AGP), в то время как нашей стандартной видеокартой является ATI Radeon X800 PCI Express x16. Соответственно, если скорость в приложении может зависеть не только от процессора, но и от видеокарты, это следует учитывать при сравнении результатов.

SPECapc for 3ds max 6 + 3ds max 7

Традиционно, ситуация в данном бенчмарке складывалась следующим образом: процессоры AMD выигрывали в подтесте Interactive, процессоры Intel — в подтесте Rendering, после чего результирующий балл чаще всего оказывался большим у процессоров AMD, потому что во-первых их выигрыш в своём «любимом» подтесте чаще всего был весомей, чем выигрыш CPU от Intel в рендеринге, ну а во-вторых — при вычислении общего балла тест от SPEC присваивает больший весовой коэффициент подтесту Interactive. С появлением двухъядерных процессоров ситуация стала ещё более печальной для Intel — двухъядерники AMD работают на частотах, близких к топовым одноядерникам этой же компании, чего об их конкурентах из стана Intel сказать никак нельзя. В результате к проигрышу процессоров Intel в интерактивном подтесте добавился ещё и проигрыш в рендеринге, т.к. движок рендеринга 3ds max очень хорошо распараллелен, и двухъядерники AMD за счёт этого получали преимущество.

Результат всего вышеизложенного можно увидеть на диаграмме: все три первых места занимают процессоры AMD, при этом два из них — топовые двухъядерники, а третий — топовый одноядерник. Что самое забавное — друг относительно друга точно такую же позицию (два топовых двухъядерника, за ними — топовый одноядерник) заняли процессоры Intel — вот только занимают они 4, 8 и 9 места соответственно. Да и в целом CPU от Intel в SPECapc for 3ds max 7 выглядят достаточно «бледно»: в десятке аутсайдеров мы видим 8 процессоров Intel, причём один из них — даже Pentium 4, в то время как от AMD в нижней десятке присутствуют всего два Sempron для Socket A. Можно отметить довольно неплохой результат Pentium M: топовый процессор этой линейки уверенно выступил практически на равных с Pentium 4 670 и Athlon 64 3700+ для Socket 939.

SPECapc for Maya 6 + Maya 6.5

В SPECapc для Maya подтеста рендеринга нет, поэтому двухъядерникам тут особенно не развернуться: в первой десятке их всего три штуки. Кроме того, интерактивный движок программы явно более лоялен к процессорам Intel, чем в случае с 3ds max 7, и это хорошо видно по результатам. О выигрыше, правда, речь не идёт — лишь о менее существенном проигрыше: два первых места всё равно за AMD, но в верхней десятке процессоров от Intel даже больше половины: 6 моделей. Причём именно по CPU Intel хорошо заметно, что Maya любит большой L2-кэш: все четыре процессора этой компании, занявшие верхние места (Pentium 4 670, Pentium 4 XE 3.73 ГГц, Pentium XE 955, и даже Pentium M 780) — оснащены L2-кэшем объёмом 2 мегабайта.

В середине процессоры Intel и AMD чередуются более-менее равномерно, а вот в десятку аутсайдеров дружно попали все без исключения Celeron, которые лишь изредка перемежаются Athlon XP и Sempron для Socket A. Что забавно: почтенный старичок Athlon XP 3200+ даже умудрился в нижнюю десятку не попасть, более того — он выиграл у Sempron 3000+ для Socket 754. Впрочем, если мы вспомним высказанную ранее гипотезу от «кэшелюбивости» движка Maya, то всё становится понятно: AXP 3200+, пусть и старенький — но L2 у него 512 килобайт, а вот у более современного Sempron 3000+ для Socket 754 объём кэша второго уровня равен всего 128 килобайтам.

Lightwave 8.2, рендеринг

Если Maya в нашей методике — это только интерактив, то Lightwave, наоборот — только рендеринг. Соответственно, сразу же поменялся состав участников в верхних позициях диаграммы: в первой десятке только 3 одноядерных процессора, все остальные — двухъядерники. Формально два первых места за AMD, но отрыв A64 FX-60 и A64 X2 4800+ от топового двухъядерника Intel Pentium XE 955 не столь велик как в случае с 3ds max 7 и Maya 6.5. Любопытен почти равный результат Pentium D 820 и Pentium 4 670: если отбросить различия в объёме кэша (что, в принципе, допустимо т.к. мы не наблюдали ранее какой-либо существенной разницы между 1 и 2 мегабайтами L2 в Lightwave), то мы воочию видим, как могут соотносится между собой двухъядерность и частота: двухъядерный CPU с частотой одиночного ядра 2.8 ГГц продемонстрировал такое же быстродействие в рендеринге, как одноядерный с частотой 3.8 ГГц. Разумеется, результат далёк от удвоения, но всё равно впечатляет…

В нижней десятке картина уже, можно сказать, приевшаяся: все Celeron (включая новые, для платформы LGA775) и несколько процессоров AMD для стремительно устаревающей платформы Socket 462. Глядя на этот постоянный «рефрен» на диаграммах, трудно не согласиться с достаточно распространённым среди поклонников AMD мнением, что «нормального low-end у Intel нет». Правда, мы бы немного сместили акценты: как раз low-end от Intel — это и есть «нормальный, классический low-end»: недорогие процессоры с низким быстродействием. Это AMD до сих пор «панкует», вспоминая агрессивную молодость, и выпуская на рынок под маркой low-end процессоры, быстродействие которых находится на уровне добротного middle-end. С рыночной точки зрения — не самая удачная стратегия, т.к. в этом случае low-end «отъедает» часть продаж от middle-end, а в секторе middle-end прибыль выше. Впрочем, пользователям от этого только лучше, поэтому никто (в том числе и мы) против такой явной непочтительности к азам маркетинга не возражает :).

SPECapc for SolidWorks 2003

SolidWorks 2003 явно отдаёт предпочтение архитектуре AMD K8, это хорошо видно по результатам. Редко на какой диаграмме можно наблюдать такое единодушие: несмотря на то, что процессоров Intel в первой десятке даже больше, чем в некоторых других случаях, первые 6 мест занимают CPU от AMD. Количество ядер, видимо, не играет никакой роли: в соперничестве CPU с одинаковой архитектурой значение имеет только частота. Впрочем — нет, не только, размер кэша тоже важен. Это легко заметить по результатам процессоров Intel (самыми лучшими оказались те CPU, что оснащены L2-кэшем размером 2 мегабайта) и AMD Sempron для Socket 754: 3100+ выигрывает у 3000+, а 3400+ — соответственно, у 3300+ (между собой эти пары отличаются только объёмом L2). Pentium M, правда, размер кэша не спас: в данном тесте процессор выступил более чем посредственно, примерно на уровне Athlon 64 3200+. Видимо, подвёл относительно слабый FPU. Десятка аутсайдеров выглядит вполне традиционно: иногда даже возникает впечатление, что Celeron в этом материале присутствует только для того, чтобы было чем заполнить нижие строчки на диаграммах ;).

Adobe Photoshop CS (8)

Для начала повторим обязательную программу: «аутентичного» (от разработчика) бенчмарка для Adobe Photoshop — не существует, поэтому каждая тестовая лаборатория, использующая эту программу для тестирования производительности процессоров, выбирает один из двух путей: либо использует наработки другой тестовой лаборатории (или какого-то конкретного тестировщика), либо разрабатывает методику тестирования сама. Мы выбрали второй путь, хотя нельзя сказать, чтобы мы его выбрали полностью самостоятельно. Основная концепция тестового скрипта для Adobe Photoshop «от iXBT.com» состоит в том, что в нашей методике присутствует минимум сложных фильтров — зато задействуется большинство наиболее часто используемых функций. Это различные виды фильтров «Blur» («Размытие») и «Sharpen» (обратный эффект — повышение резкости), операции преобразования цветового пространства (RGB —> CMYK —> LAB), эффекты освещения, операции по вращению и изменению размера, а также трансформация. Возможно, это не самые тяжёлые режимы работы — зато они используются подавляющим большинством дизайнеров, и очень часто. Соответственно, время исполнения этих операций — это фактор, который чаще всего вызывает раздражение пользователя, работающего в Adobe Photoshop (в случае если операция выполняется медленно).

Другой стороной принятой нами концепции является то, что испольуемые нами в скрипте функции стремится максимально оптимизировать и ускорить сам разработчик ПО. Поэтому количество оптимизаций, используемых при их реализации, максимально. Все они, как правило, умеют использовать при работе самые новые дополнительные наборы инструкций. Все они, как правило, оптимизированы в том числе под многопроцессорные системы — в отличие от большинства «сложных» фильтров (которые, к слову, зачастую не являются разработками самой Adobe).

Наличие грамотной оптимизации совершенно логичным образом приводит к тому, что первое место в данном тесте занимает процессор от Intel — Pentium XE 955. Ни для кого не секрет, что тщательная оптимизация кода под архитектуру NetBurst даёт последней очень серьёзные преимущества (в отличие от процессоров AMD, отличительной чертой которых, наоборот, является способность достаточно шустро работать на неоптимизированном коде). Впрочем, если анализировать не только первую тройку, но и первую десятку — то преимущество Intel становится менее ярковыраженным — из десяти процессоров, продемонстрировавших наивысшую производительность в Adobe Photoshop, четыре всё-таки произведены AMD. Однако в целом Intel всё-таки «на коне» в данном тесте: в десятке аутсайдеров даже Celeron 2.8 ГГц («старый», ещё с 128-килобайтным кэшем) смог обогнать оба Sempron для Socket A и даже оба Athlon XP, а новые Celeron D уверенно обходят Sempron для Socket 754. Комментарий тут может быть только один: вот чего можно добиться от архитектуры NetBurst, если потратить должное количество времени на грамотную оптимизацию.

Adobe Acrobat 6.0 Distiller

Самый простой и незамысловатый тест — и в то же время, пожалуй, самый непредсказуемый из всех, используемых в методике тестирования образца 2005 года. Как мы ни старались вычислить какую-то закономерность в результатах — всё равно она от нас ускользала. Частота? Но почему тогда Athlon 64 FX-60 и X2 4800+ занимают более высокую позицию, чем Athlon 64 FX-57? Двухъядерность? Но почему тогда Pentium 4 670 обогнал Pentium XE 955? Размер кэша? Однако у AMD Sempron 3000+ и 3100+ (а также 3300+ и 3400+) практически одинаковые результаты! Словом, программа «ведёт себя как ей в голову взбредёт», и ничего с этим, похоже, не поделать. Соответственно, совершенно бессмысленно пытаться как-то комментировать эти результаты. Остаётся просто воспринимать их «as is»: вот тут скорость такая-то, а вот тут — такая-то…

«Универсальное» сжатие данных (архивация)

Как ни странно, на диаграмме с результатами архиваторов самая интересная часть вовсе не верхняя, а нижняя. Здесь мы наблюдаем весьма редкий случай, когда процессоры Intel Celeron демонстрируют, что тоже на что-то годны. Точнее — Intel Celeron D. Как оказалось, достаточно было всего лишь снабдить высокочастотную целочисленную «молотилку» NetBurst-ядра более-менее приличным объёмом кэша второго уровня (у Celeron D он равен 256 килобайтам, в отличие от первых Celeron на базе архитектуры NetBurst, которые оснащались 128-килобайтным кэшем) — и по крайней мере со старой платформой AMD Socket 462, low-end от Intel в скорости архивирования вполне способен потягаться. Правда, на этом успехи новых Celeron заканчиваются: Sempron для Socket 754 им оказываются уже не по зубам.

В верхей части наблюдается «засилье» AMD, причём как двухъядерных, так и одноядерных. Intel в первой десятке представлена двумя двухъядерниками и одним одноядерником. Правда, можно выделить и другую закономерность: два из трёх процессоров Intel оснащены двухмегабайтным кэшем и высокоскоростной FSB 1066 МГц. Так что же сыграло основную роль в распределении мест в подгруппе CPU от Intel? Наверное, более правильным является всё-таки второе предположение: Pentium 4 XE 3.73 и Pentium XE 955 стоят рядом, а Pentium D 840 — значительно ниже. Pentium M, несмотря на большой кэш, результатами особенно не блещет: видимо, сказалась относительно медленная 533-мегагерцевая процессорная шина.

Сжатие мультимедийных данных с потерями (MP3/MPEG2-4)

Одним из самых крупных «проколов» методики образца 2005 года является, скажем так, «несколько неадекватное» отражение производительности процессоров Intel и AMD в среднем балле теста на кодирование мультимедийной информации. Происходит это из-за того, что в используемом в тестовом наборе бенчмарке LAME с опцией Q=0, процессоры AMD стабильно проигрывают CPU от Intel практически в два раза. С одной стороны, вроде бы, всё справедливо — ну, проигрывают — значит проигрывают! C другой стороны, частенько получается так, что процессор от AMD выигрывает в 5 тестах из 6 — но всё равно получает более низкий средний балл из-за большого проигрыша в одном. Однако из песни слова не выкинешь, поэтому, учтя данный урок на будущее, оценивать скорость процессоров при кодировании аудио- и видео- информации сегодня нам придётся тем способом, который был утверждён год назад.

Как ни странно, в первую тройку таки прорвался Athlon 64 FX-60 от AMD, причём ещё и на второе место. Нетрудно догадаться, за счёт чего: компенсировать результаты LAME помогла превосходная скорость в приложениях для кодирования видео, оптимизированных для SMP (особенно Windows Media Video и Canopus ProCoder 2), а также в отдающем предпочтение процессорам AMD кодеке DivX 5. Однако уже в первой десятке всё намного хуже: CPU от AMD там всего три. С точностью до наоборот обстоят дела в десятке аутсайдеров: там уже наоборот три процессора от Intel соседствуют с 7-ю от AMD. Ну и совсем уже нелепо выглядит Celeron D 345J, обгоняющий в средней части диаграммы Athlon 64 3700+ для Socket 939. В общем, для сохранения целостности картины мы сводную диаграмму по кодированию мультимедийных данных, конечно, привели — но использовать её для оценки реальных преимуществ и недостатков процессоров без ознакомления с подробными результатами не посоветовали бы даже мы сами.

CPU RightMark 2004B

Движок рендеринга CPU RightMark оптимизирован под многопроцессорность, причём, судя по сводной диаграмме с результатами всех протестированных нами CPU, оптимизирован чрезвычайно хорошо. Судите сами: ни один одноядерный процессор не смог обогнать ни один двухъядерный! Распределение мест в первой тройке — в пользу AMD, в первой десятке — в пользу Intel (процессоры этой компании представлены шире), но это произошло лишь потому, что двухъядерников от Intel мы протестировали большее количество. Внизу сгрудились в основном Celeron, но это неудивительно: данные процессоры лишены даже такого традиционного преимущества процессоров Intel на архитектуре NetBurst, как технология Hyper-Threading (а её использование в CPU RightMark также позволяет выжать из процессора несколько дополнительных процентов производительности). Ну а в остальном в рамках одной архитектуры всё решает частота, это легко заметить по распределению мест. К объёму L2-кэша и пропускной способности шины CPU RightMark, как и многие другие «считалки-рендерялки», почти нечувствителен (за исключением совсем уж «убойной» комбинации в виде ядра на базе архитектуры NetBurst, шины 400 МГц, и L2 объёмом 128 КБ — Celeron 2.8).

Трехмерные игры и визуализация графики
в профессиональных пакетах

Общий балл по играм

Для забывчивых напомним, что fps, который вы наблюдаете на диаграмме — это среднее геометрическое от fps в четырёх различных играх: Far Cry, DOOM 3, Painkiller и Unreal Tournament 2004. Для данной статьи мы взяли диаграмму с общим баллом для разрешения 800x600 и средних установок качества т.к. в нашем сегодняшнем сравнении присутствует достаточно большое количество low-end CPU. К тому же, здесь представлены тестовые стенды, оснащённые разными видеокартами, одна из которых ощутимо «слабее» другой, поэтому относительно низкое разрешение и не самая сложная графика должны по идее сгладить различия в производительности графической подсистемы, выведя на первый план быстродействие основного предмета тестирования — процессора. Три первых места, как легко заметить, занимают исключительно процессоры AMD. Что, впрочем, неудивительно, т.к. предпочтения большинства современных компьютерных игр всем давно уже известны. Окончательно «добивают» архитектуру NetBurst (применительно к играм) результаты первой десятки: в ней всего три процессора Intel, и два из них это… Pentium M! Лишь топовому Pentium 4 eXtreme Edition удалось прорваться на восьмое (восьмое!) место.

Завершает картину разгрома десятка аутсайдеров: в ней 8 процессоров Intel, включая все протестированные нами Celeron — и всего лишь 2 AMD Sempron, причём оба для устаревшей платформы Socket A (которые, напомню, тестировались ещё и с менее мощной видеокартой, чем, к примеру, Celeron D xxxJ). В общем, ситуация в играх настолько однозначная, что не требует пространных комментариев. Пожалуй, именно в данном сравнении было бы чрезвычайно трудно изменить расклад, даже специально подбирая тестовое ПО: если почитать статьи других независимых тестовых лабораторий, становится совершенно очевидно, что CPU от AMD оказываются впереди практически во всех современных играх, а не только в тех, что представлены в нашей методике.

SPEC viewperf

Несмотря на то, что задачи визуализации трёхмерных объектов в играх и профессиональных пакетах во многом схожи, в результатах SPEC viewperf мы наблюдаем всё-таки немного другую картину: процессоров Intel в первой десятке стало больше (уже 4 штуки), и Pentium M там нет вообще — только высокочастотные Pentium 4, причём три из четырёх — с двухмегабайтным кэшем второго уровня. Казалось бы, это нельзя считать закономерностью т.к. у Pentium M L2 тоже 2 мегабайта (а эти процессоры на данной диаграмме в самой середине). Однако давайте вспомним, что Pentium 4, в отличие от Pentium M, имеет ещё и намного более быструю шину (из представленных в первой десятке — как минимум 800 МГц, а Pentium 4 XE 3.73 и Pentium XE 955 — так и вовсе 1066 МГц). Таким образом, нам остаётся предположить, что выглядеть чуть лучше в профессиональных пакетах платформе NetBurst помогло сочетание двух факторов: гигантского для десктопных CPU двухмегабайтного кэша и быстрой процессорной шины. Косвенно подтверждают «кэшелюбивость» движков визуализации профессиональных 3D-пакетов и результаты нижней десятки — в нем в основном собрались процессоры с малым объёмом L2, причём Celeron 325J (частота 2.53 МГц, но L2-кэш 256 КБ и FSB 533) достаточно серьёзно выигрывает у Celeron 2.8 ГГц (частота выше, но L2-кэш 128 КБ и FSB 400 МГц). В середине чередование процессоров Intel и AMD достаточно равномерное, разве что выделяется компактная группа из пяти идущих подряд процессоров Intel, куда вошли все три протестированных нами на десктопной платформе Pentium M.

Общий балл по всем результатам

Ранее мы пользовались показателем, который представлен на данной диаграмме, «в служебном порядке». Как легко догадаться по заголовку диаграммы, это среднее геометрическое всех результатов, отражённых на предыдущих диаграммах (при этом если лучшим является больший результат, он входил в формулу в виде «X», если же лучшим является меньший — в виде «1/X»). В общем, это классическая «средняя температура по больнице» из известного анекдота. Разумеется, как и всякое примитивное усреднение (всего подряд, и без весовых коэффициентов), этот средний балл вряд ли можно считать корректным отражением усреднённой производительности CPU на разного класса задачах. Однако… Мы решили просто: сначала вычислим балл и построим диаграмму — а потом уж посмотрим. Как ни странно, при взгляде на распределение мест, наша интуиция ни разу не воззвала к справедливости: на чисто интуитивном уровне, с известной долей погрешности, примерно так мы себе общую картину и представляли. В связи с чем было решено диаграмму в материале оставить: пусть будет…

Легко заметить, что первые три места оккупировали три самых мощных двухъядерника. Это свидетельствует, пожалуй, не столько о долгожданных тенденциях в индустрии, сколько о том, что наша методика тестирования их несколько «предвосхищает», содержа в себе достаточно большое количество приложений, оптимизированных для SMP. Также данная особенность методики тестирования заметна при анализе первой десятки, где между основными конкурентами наблюдается трогательное единодушие: по 5 процессоров от каждого, при этом из пяти всего лишь два — одноядерники. В целом, можно сказать, что методика тестирования образца 2005 года получилась «SMP-оптимизированной», или даже «SMP-оптимистичной». Что ж, это действительно соответствует современным тенденциям в процессорном секторе. Хотя, быть может, кто-то упрекнёт нас в стремлении бежать впереди паровоза…

В десятке аутсайдеров (нижние места) мы наблюдаем «преимущество» Intel (6 процессоров против 4 у AMD), но даже не это самое забавное. Если присмотреться к ней чуть-чуть повнимательнее, мы увидим, что здесь присутствуют четыре процессора Celeron для самой новой платформы Intel — LGA775, в то время как процессоры AMD представлены… исключительно уходящей платформой Socket 462 (Socket A). Комментарии, как говорится, излишни: имеющий уши да услышит…

В середине диаграммы CPU от Intel и AMD чередуются достаточно равномерно, можно лишь отметить достаточно длинную последовательность подряд идущих процессоров Intel (ближе к верху, 5 позиций), в которой компактной группой расположились все три десктопных варианта систем на базе Pentium M. Тоже в своём роде интересный признак, тем более что на многих диаграммах мы такое уже наблюдали (правда, всегда с немного разным составом участников со стороны NetBurst).

Ну а тем, кто «пребывает в пессимизме» по поводу развития современных x86 CPU, мы хотели бы посоветовать внимательно присмотреться к диаграмме в целом. Легко заметить, что усреднённая производительность самого медленного и самого быстрого процессора отличается более чем в 2,5 раза. Если это не прогресс — то что же это?..

Заключение

Статья, посвящённая первой за всё время существования процессорного раздела iXBT полностью унифицированной методике тестирования производительности десктопных x86 процессоров, была выпущена год назад. Первый материал, базирующийся на доработанной версии методики — около 8 месяцев назад. Последний — совсем недавно. Таким образом, полный жизненный цикл методики составил около одного года. За это время было протестировано более 40 процессоров (в статью не вошли результаты server/workstation платформ на базе Xeon и Opteron). Пожалуй, накопленную информацию можно считать достаточной для того, чтобы сделать определённые выводы. Итак, в чём же состоят основные плюсы унифицированной методики, не изменяемой в течение достаточно долгого времени?

  1. Открытое обсуждение пре-релиза методики как целостного набора тестов, опций, и способов представления результатов, позволяет с одной стороны разъяснить читателям те цели, которые мы ставим перед собой при тестировании процессоров, а с другой стороны — выслушать их пожелания в отношении методики тестирования именно в качестве законченной, целостной «конструкции».
  2. Унифицированность набора тестового ПО и опций позволяет не тестировать один и тот же процессор дважды, уменьшая тем самым время подготовки материалов и увеличивая производительность тестовой лаборатории.
  3. Всё та же унифицированность набора тестового ПО и его опций позволяет сравнивать результаты процессоров из разных статей между собой.
  4. Ну и наконец-таки, наличие единой методики, остающейся неизменной на протяжении достаточно длительного времени, позволяет в приемлемые сроки и без бессмысленных трудозатрат выпускать статьи, подобные этой.

В чём состоят недостатки такого подхода?

  1. С того момента, когда методика начинает активно использоваться для тестирования CPU, практически невозможно сменить версию используемого программного обеспечения на более новую, т.к. в этом случае пропадёт главное достоинство: возможность «перекрёстного» сравнения результатов из разных статей и повторного использования старых результатов в новых статьях.
  2. То же самое касается введения в методику новых тестов. Хотя, к слову, тест на рендеринг в Maya 6.5 мы всё-таки чуть позже добавили — но, как видите, в финальной статье его нет, т.к. для процессоров, протестированных ранее, результаты просто отсутствуют.
  3. Унифицированность неизбежно «раздувает» методику т.к. набор тестового ПО должен быть таким, чтобы выявить положительные и отрицательные качества самых разных классов процессоров. В результате, приходится в качестве обязательной программы тестировать Celeron и Sempron в 3ds max и Maya, а дуальные системы на базе Opteron и Xeon — в DOOM 3 и Far Cry.
  4. Иногда реальность вносит свои коррективы, вынуждая нас делать результаты не совсем сопоставимыми. Так произошло в этот раз — из-за невозможности использования одной и той же видеокарты в системах с шинами AGP и PCI Express.

Как видите, мы вовсе не пытаемся сделать вид, что предложенный нами подход полностью свободен от недостатков и является идеальным. Однако нам кажется, что плюсы всё-таки перевешивают минусы, поэтому в данный момент полным ходом идёт разработка новой версии унифицированной методики тестирования, уже образца 2006 года. Обсуждать её саму ещё рановато, но если вы считаете, что вам есть что сказать по поводу предлагаемого подхода как такового — внизу находится ссылка на обсуждение статьи в нашей конференции.




Дополнительно

iXBT BRAND 2016

«iXBT Brand 2016» — Выбор читателей в номинации «Процессоры (CPU)»:
Подробнее с условиями участия в розыгрыше можно ознакомиться здесь. Текущие результаты опроса доступны тут.

Нашли ошибку на сайте? Выделите текст и нажмите Shift+Enter

Код для блога бета

Выделите HTML-код в поле, скопируйте его в буфер и вставьте в свой блог.