Глобальные вызовы методологии тестирования процессоров


Как гласит народная мудрость, сколько людей — столько и мнений. Когда в одном месте (физическом или виртуальном) встречаются несколько разных людей, они неизбежно не только обмениваются мнениями, но иногда и горячо спорят. К сожалению, практика показывает, что другая мудрость, в споре рождается истина, отношения к действительности не имеет. Это в нормальной дискуссии можно хотя бы прийти к компромиссному общему мнению, удовлетворяющему все стороны, которое вовсе не обязано при этом быть истиной «в последней инстанции» (и легко может устареть) — а вот споры часто ведутся ради спора. Особенно это справедливо для ситуации, когда спорщики расходятся не в каких-то деталях, а стоят на принципиально разных платформах.

Что нужно делать для того, чтобы споров было меньше? По нашему мнению, этому способствует максимальное раскрытие информации. Относится это и к тестам. Собственно, подробно расписывать, как мы тестируем, стало хорошей традицией уже много лет назад. Но иногда приходится поднимать и более глубокие вопросы: почему нужно делать именно так, а не иначе. Особенно это важно в моменты, когда меняется тот самый базис, надстройками которого являются любые тестирования, не исключая и вполне традиционные для всех изданий сравнительные тесты центральных процессоров для персональных компьютеров. Кому-то понятно, почему меняется базис, кого-то страшат любые перемены — в любом случае возникают ситуации, когда перемены необходимы. А о том, почему они необходимы, мы сейчас и поговорим конкретно.

Как вообще было принято тестировать центральные процессоры всего несколько лет назад на всех сайтах (да и на нашем тоже)? Да очень просто: меняться должны только они сами и то, что от них зависит непосредственно — системная плата или память (но объем, тип и тактовую частоту памяти обычно старались держать по возможности одинаковыми). А вот видеокарта использовалась всегда дискретная, всегда одинаковая и всегда мощная — как правило, самое быстрое одночиповое решение или около того. Причем неважно было, какой процессор тестируется — пусть даже самый дешевый. Тестирования же встроенных GPU были отдельными, специальными и эпизодическими.

Знакомый подход? Да. И очень привычный — именно в таком виде он «устоялся» еще 20-30 лет назад. И как раз тогда он прекрасно работал и давал отличные и полезные результаты. 10-15 лет назад, впрочем, тоже. Пять лет назад этот подход начал «пробуксовывать», а сейчас вообще не отвечает требованиям времени, но нередко продолжает использоваться. Почему? Просто все к этому привыкли — здесь так принято. Ничего удивительного: старые привычки менять сложно. Говорят, что в разных заброшенных лесах до сих пор встречаются даже племена диких оверклокеров, оглашающих окрестности безумными плясками в перерывах между разгоном чего попало куда ни попадя. Иногда они выходят к людям нести свет истины, чем изрядно веселят последних. А чем тестеры хуже? :)

Что конкретно изменилось за последние 15 лет? Давайте для начала вспомним, что́ мы тогда имели. Те процессоры, как правило, стоили дорого: от ста долларов (причем сегментация рынка только-только начиналась, так что бюджетные предложения относились к уже «устаревшим» и уходящим с рынка платформам) до тысячи. Были они при этом практически одинаковыми по организации — одноядерными одной микроархитектуры, — но отличались по производительности. Производительность сильно всех интересовала, а зависела она в основном от тактовой частоты, что и вызвало к жизни популярность оверклокинга: иначе она давалась слишком дорого. На тот момент производительность процессоров была нужна: количество пригодных для решения на компьютере задач и требования программного обеспечения росли. Причем требования к процессорам росли у всех программ, но у игр — не только и не столько к ним: 3D-технологии уже стали актуальными, так что требовались все более и более быстрые видеокарты. Видеокарты стоили недорого, но и бесплатно не раздавались. Формально бесплатные решения встречались в виде интегрированных чипсетов, но те бывали иногда весьма специфическими, имели ограниченные возможности, да и «условная бесплатность» могла оказаться не такой уж дешевой. Для освежения памяти можно вспомнить одно из наших тестирований интегрированных чиспетов начального уровня в самом конце 90-х: проблемы возникали даже с производительностью в «офисных» задачах, а цены оказывались сравнимы с парой из «обычной» платы и дискретной видеокарты.

В общем, на тот момент разумным подходом для нормального мультимедийного компьютера в любом случае являлась покупка отдельной видеокарты. Видеокарты до «3D-революции» стоили недорого (если не брать в расчет модели профессионального назначения со своими особенностями), потом выяснилось, что для полноценной поддержки новых технологий нужен отдельный ускоритель, но как только нужную функциональность встроили в «основные» чипы, так сразу развернулась ценовая конкуренция между производителями и большинство видеокарт вновь начало укладываться в диапазон $50—$200. Повторим: самый дешевый процессор стоил порядка $100, а самая дорогая видеокарта — $200. И это была самая лучшая видеокарта, если не считать вполне актуальные тогда варианты с отдельной «2D-видеокартой» и одним-двумя «чисто 3D-ускорителями» Voodoo2 — такая конфигурация была весьма дорогой, но все равно дешевле топовых процессоров. А ничего более быстрого не было. Фактически, и использовать такую «видеомощь» было тогда особо негде, в то время как более дешевых видеокарт где-то могло и «не хватить». Впрочем, «не хватало» их, как правило, в играх или каких-то очень специфических случаях, а на производительности массового ПО никакая видеокарта не сказывалась и не могла. Вот интегрированный чипсет сказаться мог, причем исключительно негативно, так что использование плат с интегрированной графикой было нежелательным везде, кроме самых бюджетных конфигураций.

Самый дешевый процессор для Slot 1 — Celeron 266 (RCP $155 на момент начала поставок в апреле 1998 года), и одна из топовых 2D/3D-видеокарт того времени — Asus V3400TNT AGP (от $125)

В результате и выкристаллизовалась именно такая методика тестирования: берем мощную дискретную видеокарту, чтобы можно было полноценно протестировать процессоры в том числе и в игровых приложениях, и используем ее во всех конфигурациях — с любыми процессорами. При этом результаты оказывались полезны не только владельцам аналогичных «эталонному» GPU: все равно у всех пользователей была хоть какая-то дискретная видеокарта, и на большинство программ она не влияла. Конкретно для игр важна была, конечно, именно использованная видеокарта, но тут на помощь при выборе приходили тестирования не процессоров, а видеокарт, которые тоже всегда тестировались с одним жестко зафиксированным быстрым процессором.

Почему этот подход перестал работать сейчас? Потому что на рынке изменилось практически все. В частности, подешевели процессоры: в результате «ценовых войн» середины нулевых нижнюю планку опустили до уровня $40 (причем это современные модели для актуальных платформ, а вовсе не распродажи чего-то устаревшего). Верхняя планка так и осталась на тысячедолларовой отметке, однако, поскольку рост требований ПО пока прекратился, нужны такие процессоры сейчас немногим. И в отличие от времен хотя бы 10-летней давности, сегодня бюджетные и топовые CPU — это совсем разные процессоры. Если раньше все они были одноядерными и различались только тактовыми частотами и прочими сопутствующими характеристиками, то сейчас одно лишь количество вычислительных ядер меняется в диапазоне от двух (формально — даже от одного) до восьми. При этом предпочтения прикладных программ в части утилизации многоядерности совершенно разные, поэтому топовые модели (где этих самых ядер как раз «много») большинству конечных пользователей просто не нужны. В итоге мейнстрим стал действительно мейнстримом: на ценовой сегмент $80—$200 (по рекомендованным ценам) приходится 90% продаж, а еще 7% «отъедает» сегмент <$80, которого лет 15 назад, к примеру, вообще не было.

Итак, с ценами на процессоры все понятно, а что с видеокартами? Нижняя граница опустилась с примерно $40 до... нуля: большинство массовых процессоров сегодня снабжены видеоядром. Нужно оно там всем или не нужно, хорошее оно или плохое — это уже детали; важно, что оно есть. И в первом приближении его достаточно для всех, кроме геймеров, поскольку встроенное видео позволяет запускать любые программы, подключать несколько мониторов, смотреть видео (основную часть работы по декодированию современных форматов видео давно уже берет на себя именно GPU) и т. п. Однако если игры являются одной из целевых задач и при этом пользователь не желает ограничиваться старыми играми и/или наихудшим качеством картинки, ему необходима дискретная видеокарта. Причем хорошая, быстрая и дорогая видеокарта. А что с ценами на них?

Год 2015-й: Celeron G1850 и GeForce GTX Titan X: $52 против $999

А вот они-то как раз постоянно росли. Сначала топовые модели начали стоить все $300 вместо $200, что вызвало волну возмущения. Потом цены поднялись до $400, до $500… и сейчас уже никто не падает в обморок от идеи установить в компьютер две-три топовые видеокарты, что стоимость собственно видеочасти поднимает до пары тысяч долларов и выше. Это объективный процесс, во многом связанный как раз с прогрессом в плане интеграции. Действительно, если раньше 10 человек покупали видеокарты по $40 и один топовую за $200, что давало выручку в $600, а сейчас первые 10 исчезли, то сколько должна стоить топовая модель? Очевидно, что не менее $600. Понятно, что реальные процессы чуть сложнее, но, в общем, мы пришли к тому, что для покупателя дискретных видеокарт их средняя цена выросла (топовые модели дороже, а те, что стоят дешевле $100, и покупать-то нет смысла), а вот если рассматривать рынок в целом — упала. И если еще рассматривать связку из процессора и видеокарты, то все становится совсем сложно и запутанно. К примеру, минимальные вложения упали примерно со $150 ($100 за процессор + $50 за видеокарту) до всего $50 (бюджетный процессор с интегрированным видео), зато максимально возможные выросли примерно с $2000 (топовый процессор, топовая видеокарта и дополнительно еще Voodoo2 SLI) до $4000 (топовый процессор и три GeForce GTX Titan X). С другой стороны, рынок рос в первую очередь за счет бюджетных компьютеров, так что для большинства покупателей — подешевело, а интересы меньшинства всегда приносят в жертву с легкостью :)

Но даже если не брать крайности, проще жить не становится. Просто было лет 10 назад, когда если у человека находилось долларов этак 300 на процессор и видеокарту, то он покупал процессор за 100 и видеокарту за 200, получая хороший игровой компьютер. Либо наоборот: получал хороший компьютер с возможностью в том числе и поиграть, распределив бюджет противоположным образом. Сейчас эти же 300 долларов можно распределить как 100+200: получится игровой, но не слишком игровой компьютер ;) Для хорошего игрового надо бы уже $500 на эту связку. Можно потратить деньги по формуле 200+100: будет возможность поиграть (с меньшим «сатисфекшеном», чем даже в предыдущем случае), но зато производительность в остальных приложениях окажется куда выше. А можно и все $300 пустить на процессор, если игры вас вообще не волнуют.

Что в таких условиях делать тестерам? Можно закрыть глаза, заткнуть уши и продолжать тестировать, как раньше: все процессоры в связке с мощной дискретной видеокартой. Геймеры будут довольны, но вот в остальном... Во-первых, «мощная» нынче стоит не $200, а куда дороже, т. е. если когда-то это была цена, сравнимая с массовыми процессорами и лишь в пару раз превышающая стоимость недорогих процессоров, то сегодня топовые и близкие к тому видеокарты стоят существенно дороже любого процессора для массовых платформ, а с бюджетными CPU у них и вовсе расхождения в порядках цифр. Во-вторых, в этом случае мы тестируем лишь часть процессора: в конце концов, видеоядро занимает уже не менее половины кристалла последнего. Можно долго спорить, хорошо это или плохо — брать за видеоядро деньги со всех, включая и тех, кто все равно планирует использовать дискретку, — но это будут ни к чему не ведущие теоретизирования. Массовым рынком интегрированные GPU востребованы; практически для всех задач, кроме игр, они достаточны; в некоторые типы компьютеров (включая те, которых 15 лет назад просто не было) только они и «помещаются» — следовательно, именно в таком виде процессоры и нужно тестировать. Да, это вызывает недовольство у любителей игр, но как раз для них сейчас и нужны специальные тестирования. А основным выдаваемым «на-гора» тестовыми лабораториями продуктом должны стать именно материалы, в которых никаких других «процессоров», окромя интегрированного центрального, в системе больше нет — нравится это кому-то или не нравится…

Но чтобы никто не остался обиженным, повторим, должны быть и специальные материалы для геймеров. Но тоже не такие, как раньше. В данном случае следует «танцевать» не от цены процессоров, а от стоимости связки из процессора и видеокарты. В предельном случае она вырождается в цену процессора — если дискретная видеокарта не используется. Если же та используется, ее цена обязательно должна учитываться. Дело в том, что на практике никого не интересует, насколько Core i5 лучше, чем Core i3, в системе с каким-нибудь GTX 980 Ti: на фоне стоимости последнего разница цен между процессорами этих семейств практически нивелируется. И в то же время, человек, выбирающий между Pentium и Core i3, никогда не будет серьезно рассматривать GTX 980 Ti или даже GTX 970 в качестве кандидата на покупку: они для него дороговаты. В тестах возможны и такие «перекрученные» конфигурации, но, во-первых, это должны быть специальные, а не основные тестирования, а во-вторых, должны приводиться и сравнимые по цене другие конфигурации. Таким образом, нам надо сравнить не два процессора без указания видеокарты, а как минимум три конфигурации.

На самом деле — даже больше. Вспоминаем эмпирическое (а потому слабодоказуемое, но никем и не опровергнутое) правило: в хорошем игровом компьютере видеокарта должна стоить примерно вдвое дороже процессора. А теперь учитываем, что компьютеры только для игр практически никем и никогда не приобретаются — даже специализированные игровые приставки их владельцы сегодня нередко используют и для просмотра видео, и для «расширенного» (по сравнению с поддерживаемым телевизором) доступа в интернет, а в будущем, возможно, и с документами в облаках начнут работать преимущественно с их помощью, благо в немалой степени это уже возможно. Таким образом, при наличии двух процессоров (например, за $100 и за $200) нам необходимы три видеокарты: за $100, за $200 и за $400, а число представляющих интерес конфигураций вырастает (с учетом интегрированного видео) в теории до восьми: $100, $100+$100, $200, $100+$200, $200+$100, $200+$200, $100+$400, $200+$400. И это при наличии всего двух процессоров, а ведь их ассортимент крайне широк, и цены меняются вовсе не с шагом в $100, поскольку большинство продаваемых процессоров (как уже было сказано выше) сейчас вообще укладывается в диапазон до $200. Соответственно, и видеокарт должно быть много, благо на этом рынке ассортимент не хуже, а ценовой диапазон еще шире. В общем, объем работы становится необозримым даже для однократного тестирования.

Следовательно, задачу необходимо упрощать. Во-первых, не так уж нужны в подобных тестированиях конфигурации с интегрированным видео — ведь они будут широко представлены в «основной линейке» тестов. Во-вторых, не слишком интересны тестирования процессоров в паре с существенно более дешевой видеокартой: очевидно, что в таком случае скорость будет ограничена именно видеокартой. В-третьих, не представляют интереса и тесты со «слишком дорогой» (относительно процессора) видеокартой, причины чего описаны выше. В-четвертых, слишком «частить» не нужно — ни с процессорами, ни с видеокартами. Актуальные видеоускорители все равно регулярно тестируются в большом количестве на мощной аппаратной платформе, так что чего ждать именно от них — несложно посмотреть в соответствующем разделе. Что же касается процессоров, то очевидно, что аналогичные по устройству модели будут вести себя в первом приближении одинаково, различаясь лишь количественно, но не качественно. В итоге если говорить, например, о процессорах Intel, то «основных» процессоров, заслуживающих внимания, ровно четыре: бюджетное двухъядерное семейство «селероно-пентиумов», Core i3, Core i5 и Core i7. Core i7 бывают очень разными, но в общем и целом важно то, что все такие модели выходят за рамки mainstream по цене, так что могут быть скопом отнесены к нишевым устройствам. Внутри каждого семейства процессоры могут различаться по производительности, но эти различия лишь количественные, а не качественные, т. е. в принципе можно считать все модели одного сегмента именно одним процессором. Наличие на рынке одновременно устройств разных поколений немного усложняет дело, однако все уже успели привыкнуть к тому, что собственно производительность процессорной части при переходе от одного поколения к другому меняется незначительно. Ассортимент AMD несколько более сложен, однако компания позиционирует свою продукцию относительно семейств Intel (в т. ч. и по цене), что упрощает дело.

Какие видеокарты нам нужны? Учитываем сказанное выше: во-первых, они не должны быть дешевле процессоров (по крайней мере, массовых); во-вторых, слишком дешевые модели давно уже, строго говоря, игровыми не являются. Таким образом, переходя заодно от долларов к рублям и учитывая курсовые особенности и прочие «взбрыки» местного ценообразования, для всех тестирований того типа, который мы рассматриваем, нужно не более трех видеокарт. Первая — «условно-игровая»: ценой порядка 10 тысяч рублей (на начало 2016 года — в дальнейшем возможны понятные корректировки), которая будет использоваться совместно с процессорами первых двух групп, которые сами стоят примерно столько же или существенно меньше. Очевидно, что такие видеокарты не позволяют рассчитывать на уровень «все летает на максимуме», так что они интересны как конкуренты интегрированным решениям или потенциальная основа для бюджетного игрового компьютера. Второй видеоадаптер — примерно вдвое дороже, т. е. порядка 20 тысяч рублей. Его можно будет считать «основным»: такие интересны покупателям процессоров второй (при сборке игрового компьютера) и третьей (если интересуют не только игры) ценовых категорий. Отметим, что такие видеокарты уже действительно «чего-то могут», причем и применительно к наиболее современным и «тяжеловесным» играм, а во всех остальных позволяют использовать далекие от минимальных настройки качества, почему мы и склонны считать этот вариант главным. Но бюджетные процессоры в связке с такими видеокартами можно уже и не тестировать. Зато можно использовать именно такую видеокарту и с топовыми процессорами — пусть те сами по себе существенно дороже, однако мы склонны утверждать, что с точки зрения игрового использования эти дополнительные затраты уже не оправданы, а могут пригодиться лишь в других областях. Такая «фиксация» удобна тем, что как раз топовый сегмент на данный момент имеет огромный разброс по стоимости (в разы больший, чем весь «основной диапазон»), причем многие его представители интегрированной графикой не снабжены, так что для их тестирования все равно требуется хоть какая-нибудь видеокарта — прямо как 10-15 лет назад. Вот и пусть она стоит примерно как топовое решение те же 15 лет назад ;)

И, наконец, третий вариант — современное «околотоповое» решение, ценой от 35 тысяч рублей и выше. Очевидно, что такие видеокарты интересны исключительно «тру-геймерам» и должны испытываться совместно со старшими моделями процессоров, причем в режимах максимального качества картинки. Впрочем, поскольку такие тестирования сами по себе нужны нечасто, можно для интереса проводить их и с недорогими процессорами. Но в любом случае такие тесты будут появляться лишь эпизодически, хотя когда-то именно такими были все тестирования процессоров.

Кстати, а есть ли смысл тестировать разные (с точки зрения видеосистемы) конфигурации в приложениях общего назначения? Это еще один вопрос, нуждающийся в регулярной, но не частой актуализации. Действительно, как мы уже не раз убеждались, производительность многих современных программ зависит от GPU. Однако с той же регулярностью мы убеждались и в том, что на данный момент их влияние незначительно — по крайней мере, незначителен прирост от увеличения скорости относительно современных версий интегрированных графических ядер. Впрочем, над исправлением этой ситуации давно уже активно работают все производители ПО, и что-то у них в конце концов может и получиться. В общем, по крайней мере одно такое исследование на каждую версию тестового набора приходиться должно, а меняем мы набор тестов обычно раз в год. Дальше нужно сделать выводы на тему его «устойчивости к GPU» и, в зависимости от таковых, планировать дальнейшую работу. Собственно, для вводимой сейчас в употребление методики тестирования такое исследование уже проведено, и в его рамках счет по тестам получился 4:14 в пользу «GPU-независимости», да и среди четырех выделившихся тестов заметное отклонение (более 10%) зарегистрировано лишь в половине. Соответственно, в течение ближайшего времени мы склонны считать вполне возможным сравнение процессоров в паре с самыми разными видеоадаптерами, но с соответствующими замечаниями (а в идеале будем стараться по возможности приводить их к «общему знаменателю» за исключением ситуаций, когда разными оказываются встроенные GPU).

Итак, подытоживая, как мы теперь тестируем? Во-первых, основной набор тестов будет прогоняться с использованием интегрированного видео всегда, когда это возможно. Во-вторых, ориентированные на геймеров материалы будут появляться относительно регулярно, и в них будет использоваться две видеокарты: «слабая» (только с процессорами нижнего и среднего сегментов массового рынка) при минимальных настройках качества игр, чтобы сравнивать ее с интегрированным видео, и «средняя», но уже с менее «щадящими» настройками. «Средняя» будет также применяться и в тестах процессоров, интегрированной графикой не снабженных. И только иногда мы будем брать какой-нибудь близкий к топовому видеоускоритель для изучения вопросов непосредственно игровой производительности. А почему так — объяснено как раз в данной статье.




11 января 2016 Г.

: 15

, . ( ) , , . , , , , . , , « » ( ) — . , - , .

, ? , . . , , , . : , . , , , . - , , - — , . , , .

( )? : , — ( , ). , — , . , — . GPU , .

? . — «» 20-30 . . 10-15 , , . «», , . ? — . : . , , . , . ? :)

15 ? , ́ . , , : ( - , «» ) . — , — . , , : . : . , — : 3D- , . , . , , , « » . 90-: «» , «» .

, . «3D-» ( ), , , «» , $50—$200. : $100, — $200. , «2D-» - « 3D-» Voodoo2 — , . . , «» , - « ». , « » , , - , . , , , .

Slot 1 — Celeron 266 (RCP $155 1998 ), 2D/3D- — Asus V3400TNT AGP ( $125)

: , , — . «» GPU: - , . , , , , , .

? . , : « » $40 ( , - ). , , , . 10- , CPU — . , ( — ) . , ( «») . : $80—$200 ( ) 90% , 7% «» <$80, 15 , , .

, , ? $40 ... : . , — ; , . , , , , ( GPU) . . / , . , . ?

2015-: Celeron G1850 GeForce GTX Titan X: $52 $999

- . $300 $200, . $400, $500… - , . , . , 10 $40 $200, $600, 10 , ? , $600. , , , , , ( , , $100, - ), — . , . , $150 ($100 + $50 ) $50 ( ), $2000 ( , Voodoo2 SLI) $4000 ( GeForce GTX Titan X). , , — , :)

, . 10 , 300 , 100 200, . : , . 300 100+200: , ;) $500 . 200+100: ( «», ), . $300 , .

? , , : . , ... -, «» $200, , . . - , , , CPU . -, : , . , — , , , — . GPU ; , , ; ( , 15 ) «» — , . , , . «-» , «», , — - …

, , . , . «» , . — . , . , , Core i5 , Core i3, - GTX 980 Ti: . , , Pentium Core i3, GTX 980 Ti GTX 970 : . «» , , -, , , -, . , , .

— . ( , ) : . , — , «» ( ) , , , , . , (, $100 $200) : $100, $200 $400, ( ) : $100, $100+$100, $200, $100+$200, $200+$100, $200+$200, $100+$400, $200+$400. , , $100, ( ) $200. , , , . , .

, . -, — « » . -, : , . -, « » ( ) , . -, «» — , . , — . , , , , . , , Intel, «» , , : «-», Core i3, Core i5 Core i7. Core i7 , , mainstream , . , , , . . . , , . AMD , Intel ( . . ), .

? : -, ( , ); -, , , . , «» , , , . — «-»: 10 ( 2016 — ), , . , « », . — , . . 20 . «»: ( ) ( ) . , «- », «» , , . . — , , , . «» , ( , « »), , - — 10-15 . 15 ;)

, , — «» , 35 . , «-» , . , , . , - .

, ( ) ? , , . , , GPU. , — , . , , - . , , . « GPU» , , . , , 4:14 «GPU-», ( 10%) . , , ( « » , GPU).

, , ? -, , . -, , : «» ( ) , , «», «» . «» , . - . — .