Тестирование нескольких компактных систем в пакетах Futuremark PCMark 8 и 10

Некоторое время назад мы изучали вопрос применимости тестовых пакетов Futuremark PCMark 8 и 10 для сравнительных тестирований компьютерных систем. Тогда мы пришли к выводу, что «полноформатные» настольные компьютеры с их помощью сравнивать нужно очень осторожно, особенно если они относятся к разным классам: оба пакета очень восприимчивы к мощности видеосистемы (игровые тесты входят даже в группу «креативной работы» в чистом виде), зато не слишком требовательны к количеству процессорных ядер (особенно это касается предыдущей версии пакета). Но для оценки производительности в бытовых сценариях — пользоваться можно. Если осторожно. Впрочем, это касается любой синтетики.

А что если мы возьмем не настольную, а компактную или мобильную систему? «Легкие нагрузки» для них еще более актуальны — мало кто будет покупать ультрабук специально для рендеринга (хотя в PCMark 10 и такие тесты есть, так что новый пакет определенную информацию по данному вопросу тоже даст). Производительность графики — как правило, низкая. И поскольку в большинстве систем такого рода никакого GPU, кроме интегрированного, все равно нет, графика однозначно определяется процессором. Это делает сравнение более корректным, чем в случае настольных компьютеров, где иногда возникают забавные коллизии (достаточно вспомнить, как в предыдущем тестировании AMD A10-7850K обгонял Intel Core i3-4170 без дискретки, но отставал от него при установке одинаковой видеокарты).

В общем, мы решили попробовать провести такое тестирование, благо было что тестировать и с чем сравнивать результаты. А дальнейшие выводы имеет смысл делать после их анализа.

Объекты тестирования

Из предыдущей статьи мы взяли результаты двух систем: на базе AMD A10-7850K с SSD Corsair Force LE 960 ГБ и Intel Core i3-4170 с Intel 545s емкостью 512 ГБ. Обе были укомплектованы 16 ГБ оперативной памяти и обходились без дискретной видеокарты. Системы, разумеется, старые, зато многим хорошо знакомые — чем и хороши в качестве ориентиров. Тем более, что вопрос выбора по производительности между новым десктопом и новым мини-ПК или ультрабуком обычно не стоит: и без того понятно, что при прочих равных компактная система будет либо медленнее, либо дороже, либо и то, и другое сразу. А вот нельзя ли новым ноутбуком заменить старый ПК — уже более интересный с практической точки зрения вопрос.

Основных же испытуемых будет аж девять, причем делящихся на две примерно равные группы. Первая — «атомная», хотя формально Atom в ней один: X5-Z8350 в комплекте с 4 ГБ памяти и eMMC-модулем Toshiba на 64 ГБ. Эта очень популярная в среде небольших компаний из материкового Китая связка тестировалась при помощи планшета Chuwi Hi10+. Конфигурацию здесь не поменяешь — как и в случае Intel Compute Card на базе Pentium N4200: там те же 4 ГБ памяти и аналогичный eMMC (формально SanDisk, но флэш-производство этих компаний сильно связано). Зато процессор у Compute Card более новый и более мощный при том же энергопотреблении, так что постепенно и эта платформа обретает популярность — за счет вытеснения предыдущей.

Чтоб двум системам этого класса не было скучно, мы добавили еще две — уже на основе стандартных системных плат формата Mini-ITX, так что установили туда 8 ГБ памяти и подключили тот же SSD Intel 545s (512 ГБ), что и в большинстве участниках тестирования. Популярный среди производителей бюджетных ноутбуков Celeron N3150 на деле является единоутробным братом Atom X5-Z8350, имеет тот же кристалл, только с разведенным SATA-интерфейсом — у них даже TDP одинаковый. А вот у Celeron J3455 TDP немного выше, чем у Pentium N4200, зато графика формально слабее — с учетом одинаковой микроархитектуры этих процессоров сравнить их тем более интересно.

Вторая же группа — мобильные Core. В основном использовалась четверка NUC: три модели «седьмого» поколения на базе Core i3-7100U (вообще очень часто встречающегося в разных ноутбуках и мини-ПК), i5-7260U и i7-7567U, а также старший корпоративный NUC «пятого» поколения на Core i5-5300U (напомним, что корпоративные модели NUC меняются через поколение процессоров, так что он оставался актуальным до последнего времени). Во все устанавливался все тот же SSD Intel 545s (512 ГБ) и 8 ГБ памяти. А вот с Compute Card на базе Core m3-7Y30 такое проделать не получится (на то она и Card), поэтому, как и младшая модель, эта система тестировалась «как есть». С той лишь разницей, что в данном случае «как есть» — это те же 4 ГБ памяти, что и в более дешевой «карте» на Pentium, но «полновесный» NVMe-накопитель Intel 600p на 128 ГБ. Впрочем, как мы уже давно знаем, эта модель к высокопроизводительным не относится — даже если говорить о модификациях большей емкости, а 128 ГБ в таком исполнении тем более будут еще более медленными. Но это решение все-таки как минимум должно отличаться от eMMC, не говоря уже о винчестерах.

В принципе, все основные характеристики получившихся конфигураций указаны прямо на диаграммах — для удобства их самостоятельного изучения. А подробные результаты всех тестов (в т. ч. и не попавших на диаграммы) можно посмотреть в таблице формата MS Excel (в ней же можно найти и информацию по системам из предыдущей статьи). Что же касается самих NUC и Compute Card, использовавшихся во время тестирования, они заслуживают отдельных статей — сегодня мы обсуждаем только производительность. Тем более, что конкретных устройств с подобными конфигурациями на рынке достаточно много, а производительность от торговой марки не зависит :)

PCMark 8 Storage 2.0

Традиционно начнем с этого теста — хоть наше тестирование ушло уже достаточно далеко от изучения эффективности разных методов построения СХД в одинаковом окружении, но сравнить eMMC с «настоящими» SSD хотя бы в таком виде тоже интересно. И с винчестером тоже — поэтому на этой паре диаграмм будут результаты, полученные некогда при помощи бюджетного игрового компьютера, оборудованного накопителем этого типа.

Как видим, подтест PCMark 8 Storage 2.0 действительно можно считать тестом именно накопителей в условиях, максимально приближенных к реальности. А что результаты даже разных «твердотельников» зачастую оказываются практически одинаковыми — следствие того, что их производительность достаточна для того, чтобы не быть «узким местом» в таких условиях. Вот винчестеры могут оказаться и вдвое медленнее. А могут и не вдвое — результаты теста непосредственно зависят именно от них. И, кстати, eMMC тоже несколько медленнее SSD со «взрослыми» интерфейсами. Во всяком случае, в этом тесте, который достаточно капризен в отношении платформы — на Atom в очередной раз работать отказался, но это привычная ситуация. «Увидев» аналогичный по устройству Pentium, по крайней мере, одним полезным результатом нас обогатил :)

Поскольку общий балл в этом тесте ведет себя описанным выше образом, нередко в обзорах твердотельных накопителей его игнорируют, упирая на низкоуровневую оценку потенциального быстродействия. Как видим, зря — она существенным образом зависит от программного и аппаратного окружения. Что логично — это, все-таки, синтетическая нагрузка. А поскольку для «реальных» любого SSD в целом достаточно, победителем будет та платформа, которая может создать бо́льшую таковую.

С другой стороны, результаты накопителей разных типов различаются настолько, что сравнивать их можно даже в таких условиях (хотя лучше, конечно, по возможности использовать одинаковое окружение). И хорошо видно, что eMMC-модули из-за «узкого» интерфейса проигрывают «настоящим» SSD раза в три — зато у винчестеров все равно способны выиграть раз в шесть. Или, хотя бы, в те же три — лучшие из попадавших к нам в руки винчестеров выдают в этом тесте около 20 МБ/с. Из некоторых «гибридов» на быстрой системе удается выжать и 35 МБ/с. А eMMC на «шестиваттном» процессоре «атомной» архитектуры — все 60. Вывод? Решающее значение имеет собственно носитель, а потом уже интерфейс. Если до последнего дело вообще дойдет. И если не вмешаются другие компоненты системы и особенности самого программного обеспечения — как мы видели на первой диаграмме, в менее сферических условиях разница между накопителями заметно уменьшается. Но при сравнении разных классов устройств все равно сохраняется.

PCMark 8 Home 3.0

Как мы уже отмечали, быстродействие в сценариях, имитирующих «домашние» задачи по мнению тестового пакета существенным образом зависит от видеокарты и однопоточной производительности центрального процессора. Соответственно, в однозначных аутсайдерах оказывается вся «атомная» группа. Особенно «настоящие» планшетные Atom — Celeron того же семейства заметно «бодрее». А вот современные Core (даже очень жестко зажатые теплопакетом) — в ряде случаев могут потягаться на равных со своими настольными родственниками из не такого далекого прошлого. Или со «старыми» APU AMD, которые не спасает даже более мощная интегрированная графика, которая в данном случае имеет значение.

Хотя бы потому, что в данную группу входит и такой тест. Разумеется, имитируются «казуалки» пятилетней давности — поскольку и сам пакет родом из тех времен, а последующие его обновления (последнее из которых вышло в конце прошлого года) рабочие алгоритмы не меняло. Но хотя бы в таких условиях современный ноутбук на Core i3-7100U может не только обогнать настольный компьютер (некогда) среднего уровня, но и систему на базе A10-7850K. А покупали их тогда, отметим, в основном в расчете на то, чтобы хоть как-то поиграть. Впрочем, на фоне Iris Plus и то, и другое выглядит невнятно, но и последний GPU Intel, напомним, уже не лучшее интегрированное решение на рынке. Обычный же HD Graphics в портативных решениях что-то простое «осилить» может, а вот в линейке Atom — по-прежнему нет. Тем более, тут и производительность на поток низкая — а именно она нужна старым играм, причем не только казуальным. Вот мультиплатформенные приложения, рассчитанные в том числе и на телефоны с планшетами (типа Fallout Shelter) работают нормально — но они это делают и на устройствах трехлетней давности на каком-нибудь Mediatek MT6592, так что невелика заслуга.

PCMark 8 Creative 3.0

Формально этот набор тестов ориентирован уже на разработку контента, а не только его потребление, но к процессорам Core U- и Y-серий в сравнении со «старыми» настольными моделями он еще более благосклонен, нежели «домашняя» группа. А вот к «атомным» решениям — наоборот. По крайней мере, если сравнивать только результаты разных групп этого тестового пакета. Однако мы протестировали некоторые из этих систем и по нашей стандартной методике, которая, конечно, для тех же Compute Card «тяжеловата», зато использует реальные задачи (а не их симуляцию). Какой вывод можно сделать, сравнив результаты? PCMark 8 скорее даже подыгрывает Atom, а не наоборот. Да и Core m3-7Y30 когда дело доходит до «серьезной» работы вовсе не аналог Core i3-4170 — на самом деле, последний намного быстрее не только его, но и i3-7100U. И на разницу в количестве ядер это не спишешь — во всех этих процессорах одна и та же формула 2/4. И на архитектуру тоже — PCMark 8 приложение уже достаточно старое, так что в плане оптимизации под новые технологии уступает уже и «реальному» ПО (или, как минимум, не превосходит его). А что касается графики, то понятно — почему это помогает процессорам с Iris или APU AMD, но тот же Core m3-7Y30 ничем особенным в этом плане похвастаться тоже не может.

В общем, имеем расхождение тестового пакета (пусть даже популярного и «заслуженного») и прикладных программ при решении конкретных практических задач. В таких ситуациях мы считаем более правильным полагаться на результаты последних. PCMark 8 служил нам (и не только нам) верой и правдой несколько лет — пришло время отправить его на покой. За исключением, разве что, подтеста накопителей — последний неплохо согласуется с реальностью, да и заменить его пока все равно практически нечем.

Отметим, что пару игровых тестов компания «впихнула» и сюда. Часть результатов с полученными другими методами коррелирует: например, Iris Plus 640/650 действительно решения одного уровня с А10 для FM2+, HD Graphics 620 раза так в полтора хуже, а HD Graphics 4400 — еще минимум раза в полтора (где работает вообще хоть как-то — некоторые современные игры не запускаются на GPU этой линейки в принципе). Но это уже и не важно — игровую производительность лучше непосредственно в игровых приложениях и тестировать. А на большинстве систем такого рода — можно уже и не тестировать. Что тоже сходно с тем, что нам «рисует» PCMark 8.

PCMark 10 Extended

Мы уже отмечали, что компания существенным образом переработала свой тестовый пакет, добавив в него и нагрузки типа рендеринга, а все остальные старательно переписав с использованием (при наличии возможности) исходного кода реальных программ — входящих в LibreOffice, например. В итоге иногда происходящее на экране действительно напоминает реальный рабочий процесс — только пользователя за компьютером не хватает :) А как это сказывается на результатах — сейчас посмотрим.

Особенно интересна эта группа тестов, имитирующая «легкие повседневные» нагрузки — быстродействие в таких сценариях без «синтетики» измерить вообще сложно.

Особенно если говорить о запуске приложений. Кстати, десктоп на Core i3-7100, но с винчестером набирает здесь примерно 5000 баллов, установка же SSD результат удваивает. Учитывая, что он, естественно, зависит и от процессора, что в очередной раз заметно на диаграмме, и глядя на 4666 баллов Pentium N4200 с eMMC… комментарии излишни. Нет, разумеется, «атомам» предыдущего поколения в планшетах за $200 это не позволяет запускать приложения с той же легкостью, что и на настольном компьютере даже с механикой, но вот от Celeron N3150 (на том же, напомним, кристалле) отставание уже всего 20%. А теперь вспоминаем, что x5-Z8350 всегда комплектуется eMMC (поддержка SATA-интерфейса в нем отключена), а недорогие ноутбуки на том же N3150 (и других Celeron/Pentium) обычно продаются с винчестерами...

Но без странностей в поведении теста, кстати, все равно не обходится — тоже связанных с eMMC: как видим, результаты Pentium N4200 выше, чем у аналогичного, но более быстрого (как правило) «настольного» Celeron. Может ли настолько сильно сказываться небольшое преимущество по тактовой частоте турбо-режима и немного более быстрая память? Сомнительно. Будь так, аналогичное бы и при других нагрузках «играло».

Чего не наблюдается. Зато опять есть сильная зависимость результатов от GPU, причем даже при работе с текстами. Т. е. в принципе старые проблемы никуда не делись.

А игровая часть и должна работать так — поскольку в чистом виде взята из 3D Mark. И тут измерения, опять же, неплохо коррелируют с результатами игровых приложений, так что можно считать, что графическую производительность пакет измеряет корректно.

Правда для этого проще тот же 3D Mark и взять, как нам кажется. А PCMark 10 должен измерять производительность системы в целом. И измеряет он ее таким вот странным образом. Превосходство A10-7850K над Core i3-4170 с учетом графических тестов понять и принять можно. А вот паритет Core i3-7100U и i3-4170 — уже нет.

Итого

Есть легенда, что как-то раз одному специалисту по авиационному вооружению выпала удача спроектировать истребитель целиком. Получилась огромная пушка с прилепленными к ней двигателем, крыльями и кабиной пилота :) Нечто подобное наблюдается и в случае PCMark — все-таки основным продуктом Futuremark, сделавшим компанию известной, является 3D Mark. Вот графическую производительность ей измерять удается, и до сих пор неплохо. И с накопителями она работать научилась давно. Однако при попытках протестировать всю систему целиком и получить единый результирующий балл... регулярно непонятно откуда вылазит та самая «пушка», в лице GPU. Но это еще полбеды — можно предположить, например, что нагрузки такие, что программе достаточно как Core i3-7100U так и i3-4170. Сложнее объяснить выигрыш у них обоих процессора Core i5-7260U. За счет GPU? Так он у него сопоставимый с A10-7850K, а последний чудес не демонстрирует.

В общем, использовать «системные» тесты можно — но следует помнить, что это все-таки, несмотря на позиционирование, синтетика. Подходит? Можно брать. Только желательно прямо называть полученное «тестированием производительности в PCMark 10» (предыдущую версию пакета, пожалуй, лучше в качестве средства измерения общего быстродействия вообще уже не использовать), а не «тестированием производительности». И не смешивать полученные результаты с теми, что демонстрирует ПО из реальных сфер применения, а не «чистого сферического» тестирования. Вот с каким-нибудь популярным Cinebench, Passmark или тестовыми модулями AIDA64 и т. п. срванивать можно: цифры PCMark являются ничуть не менее и не более абстрактными.

Либо можно применять сценарии «общего назначения» так, как мы начали — для тестирования одинаковой системы с разными накопителями. Также можно оценить влияние системы памяти, хотя оно, похоже, практически отсутствует. Наконец, можно сравнивать разные процессоры в одинаковом окружении (включая видеокарту), но никогда нельзя забывать, что подобные результаты все равно будут достаточно сферическими в вакууме.

26 апреля 2018 Г.