Краткое знакомство с тестом «игровой производительности» накопителей 3DMark Storage

Почти четверть века назад на рынок вышла первая версия тестового пакета 3DMark. Не сказать, что рынок утилит для тестирования графики на тот момент отсутствовал совсем — но это событие оказалось важным и знаковым. По-видимому, из-за того, что компании удалось оказаться с нужным продуктом в нужное время и в нужном месте. Во-первых, сама по себе тема 3D-графики тогда была модной и интересной. Во-вторых, бурно развивался интернет — так что и потенциальная аудитория ПО такого рода появилась и постоянно увеличивалась. В-третьих, все это оказалось бы бесполезным, не будь сам пакет не только удобным, но и мощным. И если бы (а это уже, в-четвертых) не развивай его компания дальше в «правильном» направлении. В частности, программисты Futuremark обычно оказывались первыми, кто реализовывал на практике тестирование новых программных возможностей. В итоге, правда, более инертный игровой рынок нередко далеко отставал от нацеленной в будущее синтетики, так что любителям мериться попугаями-марками все чаще задавали ехидный вопрос: «А ты часто в 3DMark сам играешь?» А еще производителей видеокарт нередко уличали в специальной оптимизации своих продуктов именно под 3DMark, что доверия к его результатам не добавляло. Но ничего другого столь же общепризнанного на рынке так и не появилось — пакет быстро расправился с конкурентами на старте, но никакая молодая шпана сметать его с лица земли так и не пришла. Более правильным сейчас считается использование в качестве тестового инструментария «реальных» игр, но и 3DMark свое место находит. Особенно если вспомнить, что работает он сейчас не только на компьютерах, но и на мобильных устройствах — а там с адекватными бенчмарками всегда дела обстояли гораздо хуже.

Компания попробовала закрепить успех — и выпустила PCMark, предназначенный уже для тестирования компьютера в целом. Получилось... что получилось — каким-то общим единым стандартом этот пакет не стал. Возможно, что и не мог — слишком уж сложно пытаться свести все возможные задачи к какой-то одной численной оценке. И для видеокарт-то это не так просто — но это все-таки один компонент. И если четко обговорить предметную область, а также условное «поколение» графики — все нормально. Например, всем было известно, что 3DMark05 в обязательном порядке требовал DirectX 9, а вот для 3DMark Vantage нужна была аппаратная поддержка DX10. Поэтому некоторое время актуальными были и эти две версии разных лет, и даже более древний 3DMark2001 — просто каждая версия (условно) демонстрировала производительность видеокарты в соответствующих игровых движках. Оценивать же общесистемную производительность сложно — в разных задачах на нее по-разному влияют все компоненты системы. В игровом компьютере можно (и нужно) танцевать от видеокарты, но не стоит забывать и о достаточной мощности процессора (именно достаточной — выше головы все равно не прыгнешь). А вот решение повседневных задач — это больше процессор, очень часто система хранения данных и лишь иногда видеокарта. Да и вообще с подобными «легкими» нагрузками всегда все непросто. Точнее, с измерением производительности на таковых. Тест может все измерять честно — но показывать на самых разных системах одинаковые результаты. А может показывать разные хорошенько постаравшись — хотя на деле разницу по ощущениям заметить будет невозможно. В обоих случаях получаем бесполезный тест — он либо не подходит тестерам (им нужна именно разница; пусть и виртуальная), либо не дает никакой полезной информации пользователям. Главная же проблема — практически все комплексные синтетические тесты высокого уровня представляют собой типичные «черные ящики», разобраться с деталями функционирования которых стороннему наблюдателю непросто. Несмотря на то, что их авторы все, как один, упирают на использование «реального кода», аналогичного «настоящим» прикладным программам, но... Измерить время создания архива из каких-то набора файлов любой программой архиватором просто — и в зависимости от этого сделать выводы: подходит такой тест для измерения производительности или нет. В любом случае, результат оказывается не бесполезным — ведь он по крайней мере применим к конкретной программе с конкретными настройками и на конкретных файлах. А вот когда это все «замешивается» вместе с другими задачами в одну программу и берется с непонятными весовыми коэффициентами — получаем абстрактное непроверяемое значение.

В общем, каким-то индустриальным стандартом PCMark в отличие от 3DMark не стал. Но некоторые его компоненты популярными стали. В первую очередь — тест накопителей. Построен он на трассовой модели. Т. е. записываем дисковую активность, например, при запуске какой-либо программы — а потом воспроизводим полученную трассу на тестируемой системе. И лучше не одну — для полноты информации. И можно не только запуск программ, но и старт операционной системы, обычное копирование данных, обработку базы с фотографиями и т. п. К созданию тестовой базы программисты подошли ответственно, так что то, что показывал PCMark Storage, всегда хорошо коррелировало с субъективными ощущениями пользователей. Поэтому этот набор и начал активно использоваться для тестирования жестких дисков — на что и был рассчитан. А вот с SSD первое время было непросто — до последнего времени адекватного инструментария в составе PCMark не было. Восьмая версия пакета (появившаяся еще в 2013 году) могла, разве что, отличить твердотельный накопитель от «механического», но и только. Все SSD оказывались одинаково быстрыми — без учета каких-то внутренних нюансов.

Проблема была недавно решена в PCMark 10 — чему мы уже посвятили отдельный материал. Новый набор перешел к использованию реального слепка файловой системы (ранее все трассы «загонялись» в один большой файл) и пополнился большим количеством тестов на запись, да и все остальные трассы были существенно осовременены. И подход к подсчету итоговых результатов тоже изменился. В итоге тест научился отлично ранжировать все накопители — разница между, к примеру, WD Green 1 ТБ и Intel Optane SSD 905P 480 ГБ в наших тестах составила порядка 15 раз, а PCMark 8 Storage давал лишь около 10%. Но попутно компания и несколько ограничила целевую аудиторию пакета. В предыдущих версиях Storage-тест был неотъемлемой частью всех версий пакета — в т. ч. и самых дешевых, рассчитанных на персональное использование. Теперь же он доступен только пользователям Professional Edition (довольно дорогой), причем скачивается и устанавливается отдельно. С другой стороны, абстрактные тесты запуска приложений теперь вошли и в основной пакет, так что для быстрого тестирования системы его достаточно. А новые нагрузки более интересны как раз для профессионального применения.

Но в конце уходящего года компания UL Benchmarks (частью которой давно стал Futuremark) внезапно сделала и недорогой подарок пользователям — в свет вышел 3DMark Storage Benchmark. Распространяется он также как дополнение, но уже к 3DMark, причем пользователи 3DMark Advanced Edition (которая сама по себе стоит около 30 долларов, т. е. доступна очень многим) могут приобрести его у разработчика или в Steam всего за $2,99, а владельцы Professional Edition с действующей годовой лицензией получают тест в виде бесплатного обновления.

В общем, бюджетненько. И полезно для более углубленного тестирования игровых систем. Но нужен ли тест тем, кто занимается как раз накопителями? Проще говоря — нам :) Иными словами, дает ли он дополнительную информацию сравнительно с PCMark 10 Storage? И, если что-то отличается, то какой из тестов полезнее? Мы решили разобраться с этим вопросом подробно — поскольку тестовые пакеты такого уровня выходят не так уж часто, событие важное.

Тем более, что 3DMark Storage обходится намного дешевле, чем PCMark 10 Storage — о чем уже сказано. Если покупать — альтернативные методы получения бесплатны в обоих случаях, но это отдельная история. Требования к системе — аналогичные: рекомендован четырехъядерный процессор с частотой от 3 ГГц и требуется 8 ГБ памяти. Это нам тактично намекает, что движок у обоих тестовых пакетов одинаковый — но странным было бы ожидать обратного. А вот к тестируемому накопителю требования немного мягче — нужно всего 30 ГБ. PCMark 10 Storage Full System Drive, впрочем, обходится 80 ГБ — что тоже давно уже проблем не вызывает. Особенно если говорить о накопителях, пригодных для игрового компьютера — сами по себе игры уже перешагнули планку в 100 ГБ, так что нет смысла серьезно рассматривать что-то меньшее, чем 1—2 ТБ.

Что касается тестовых трасс, то их семь. Первые три — запуск игр до появления главного меню. Каких? Battlefield V, Call of Duty Black Ops 4 и Overwatch — т. е. тех же, что используются и в PCMark 10 Storage Full System Drive. Из чего следует однозначный вывод — и для тестирования игровой производительности полный пакет не хуже. А если накопитель использовать не только для размещения игр, то даже лучше — ведь в него входят и загрузка системы, и запуск и работа в некоторых других приложениях. Т. е. комплексную производительность PCMark 10 Storage измеряет более полно.

Что касается остальных четырех тестов, то это запись данных. Не слишком сложная. Например, Game Move это простое копирование папки Steam с Counter-Strike: Global Offensive с внешнего SSD. С какого (хотя бы с точностью до интерфейса подключения) — не сказано, так что на практике такая задача может быть ограничена и производительностью внешнего интерфейса, а это применимость результатов теста несколько снижает. Вот к Game Recording вопросов не возникает: это захват игрового процесса в Overwatch при помощи Open Broadcaster Software. Но при этом про параметры почти ничего не говорится — лишь сказано, что это 1080p и 60 к/с. В общем, по современным меркам совсем немного — создать проблему даже медленному SSD будет сложновато. Installing Game — установка The Outer Worlds из Epic Games Launcher, а Game Saving — сохранение игрового прогресса в той же The Outer Worlds. Тоже запись и тоже в относительно небольших количествах. Игра по нынешним меркам компактная (ей всего-то 40 ГБ места требуется с запасом под все дополнения), да и инсталляция — это не копирование. А вот скорость сохранения могла бы быть интересна — но там объемы записываемых данных настолько малы, что особых претензий и к жестким дискам-то никто не предъявлял.

В общем, априори понятно, что новый бенчмарк стоит дешевле своего взрослого «собрата», но при наличии второго не слишком нужен. Хотя и может дать более осмысленные результаты при использовании по назначению — не перегружая тестируемый накопитель излишними нагрузками. Но это имеет смысл, повторимся, когда подбирается именно «игровой» SSD — а не просто накопитель для игрового компьютера. Поскольку если он там будет работать в гордом одиночестве, то важны и сценарии, с играми не связанные. А если это дополнительное устройство только для последних, то нет смысла обращать внимание на скорость загрузки операционной системы и/или копирования больших объемов данных на максимальной скорости. Иными словами, для такого применения можно и что-нибудь более бюджетное подобрать. Покупая же SSD высокой емкости и в пир, и в мир лучше так не делать. Даже если это в первую очередь игровой компьютер — мало кто использует таковой только как игровой, зачастую находя и другие задачи. Банально потому, что «только для игр» проще приставку купить (несмотря на все недостатки последних) — и дешевле, и проблем меньше.

А как это все выглядит в цифрах? Можно просто взять и проверить. Оба бенчмарка не только используют фактически одинаковый движок, но и подход к результатам у них одинаковый. Основными метриками являются средняя задержка при доступе к данным в микросекундах и средняя скорость передачи данных в мегабайтах в секунду. Усредняются они по всем тестам — всего семи в 3DMark Storage и 23 в PCMark 10 Storage Full System Drive. А для максимального удобства и большей наглядности на их базе рассчитывается и оценка в безразмерных баллах — как среднее геометрическое из пропускной способности и величины, обратной средним задержкам. На практике они обычно и сами по себе не независимы, так что «попугаи» — своего рода квадрат скорости, что полезно для получения более заметной разницы между испытуемыми. Но это также означает, что одними лишь ими можно и ограничиться.

Поэтому мы просто взяли шесть разных SSD и протестировали их и в 3DMark Storage, и в PCMark 10 Storage Full System Drive. Тестов же будет немного больше — в частности потому, что мы всегда тестируем все SSD в двух состояниях: пустом и когда свободными остаются лишь 100 ГБ. Связано это с особенностями современных технологий типа SLC-кэширования, маскирующих недостатки бюджетных устройств — через какую маскировку желательно пробиться: ведь на практике SSD данными заполнены. И пару моделей мы протестировали в двух слотах.

В качестве базового уровня — два SSD по 500 ГБ: WD Red SA500 и Crucial P2. Первый имеет SATA-интерфейс, второй — NVMe, но стоит дешевле. Платформы разные — в Red SA500 (как и в его близнеце брате WD Blue 3D) используется контроллер Marvell 88SS1074 с DRAM-буфером, а в P2 более дешевый безбуферный Phison E13T. Две из трех известных конфигураций и вовсе используют QLC-память. В нашем случае — TLC, но это не слишком помогает подобным моделям. В общем, и то, и другое стоит считать абсолютным минимумом для «серьезного» компьютера в т. ч. и игрового. Где-то на нижней границе серьезности. Чуть выше будет Silicon Power XD80 емкостью 1 ТБ на Phison E12S. Несмотря на меньший номер, это совсем не Е13Т, а мощный (года три назад и вовсе один из топовых) восьмиканальный контроллер с DRAM. И емкость уже достаточная для нескольких современных игр — и не только игр. Так что крепкий середнячок современного уровня — с некоторым запасом на будущее. Поэтому мы протестировали его в двух режимах: с подключением к чипсету Z590 и непосредственно к процессору Core i9-11900K. Второе обычно используется для получения поддержки PCIe Gen4, однако (в чем мы уже убедились) улучшает и результаты накопителей только лишь с Gen3.

И тройка более мощных и емких накопителей — Intel SSD 760p, WD Green SN350 и WD Black SN850. По 2 ТБ каждый — чего в современных условиях достаточно и для нескольких игр (даже самых объемистых), и не только их. Все — разные. 760p на восьмиканальном контроллере Silicon Motion SM2262 с DRAM и TLC-памятью, а SN350 — на четырехканальном безбуферном и в паре с QLC. Тут как раз и интересно сравнение некогда очень быстрого накопителя, но уже порядком устаревшего — и амбициозной современной бюджетки. Тем более, это семейство у WD получилось очень производительным — настолько, что компании пришлось ему сильно урезать условия гарантии, дабы не пытался конкурировать с более дорогими моделями. Как универсальный использовать SSD с ограничением полного объема записи всего 100 ТБ на весь трехлетний срок несколько страшновато — а вот для игр подойдет отлично. Что же касается SN850, то с ним все просто — это современный топовый SSD. Которому, впрочем, уже больше года, так что появились и более быстрые модели — но таковые можно пересчитать по пальцам одной руки. Его мы, естественно, также тестировали в двух режимах — с подключением к чипсету и к процессору, поскольку тут именно второй является штатным из-за поддержки PCIe Gen4, а первый интересен только для полноты картины.

В чем-то похоже, в чем-то — совсем по-другому. Но выводы сделать несложно. Что Crucial P2, что WD Black SN850 активно используют SLC-кэш и для ускорения чтения «свежих» данных. В их случае это проявляется даже для последовательных операций. Как раз на таких моделях снижение производительности в заполненном данными состоянии (когда эффективность SLC-кэширования резко снижается вместе с размером самого кэша) проявляется в 3DMark Storage. А вот операции записи в его случае вносят не такой уж заметный вклад в суммарную оценку, да и сами по себе легковаты в отличие от PCMark 10 Storage Full System Drive. И разница между тестами особенно рельефно проявляется на примере WD Green SN350. Этот накопитель на QLC-памяти на операциях записи «вытягивает» только SLC-кэш — но пробить его 3DMark Storage не может, а с чтением все примерно одинаково. А вот PCMark 10 Storage Full System Drive возвращает все на круги своя. Да и у Crucial P2 при заполнении данными производительность тоже падает в полтора раза, а не на 10%, как «считает» 3DMark Storage.

Из чего не следует, что 3DMark Storage ни на что не годен. На деле компания предметную область изначально подчеркивает — это именно тест игровой производительности накопителя. Что не стоит распространять на производительность накопителя в игровом компьютере — там от него требуется намного больше. И более полную (и, можно сказать, правильную) оценку выдает PCMark 10 Storage Full System Drive — тем более, что игровые тесты в него тоже входят. И те же самые. Отдельный вопрос — стоит ли их считать «игровыми»: все-таки речь идет только о загрузке игры. Да, конечно, этот процесс в последнее время иногда напрягает, так что его всегда хочется ускорить. Вот только речь идет обычно о нескольких десятках секунд — а играть потом можно и несколько часов. Причем и загрузка далеко не всегда «упирается» в накопитель — иногда приходится подождать соединения и обмена данными с игровыми серверами. Вот быстрый (насколько это от него зависит) накопитель для запуска игр 3DMark Storage выбрать позволяет, а будет ли комфортным сам игровой процесс... Это никто не контролирует. Чисто статистически же для отсутствия проблем с фризами и т. п. достаточно любого SSD, а многие игры до сих пор нормально себя чувствуют даже на жестких дисках — и в таких условиях вообще становится неважно: быстрый у вас SSD или медленный — оба справляются одинаково. Что-то может измениться по мере распространения новых консолей (в отличие от предыдущего поколения, они переехали с жестких дисков на SSD — и довольно шустрые), какой-то эффект со временем может дать DirectStorage (загрузка упакованных текстур с диска прямо в память GPU, разгружая центральный процессор) — но для изучения новых возможностей понадобятся и новые тесты. 3DMark Storage этим не занимается — это просто загрузка трех уже не слишком новых игр и немного дополнительных тестов сценариев, которые могут пригодиться (а могут и не пригодиться) на игровом ПК.

Таким образом, для тестирования накопителей сам по себе тест не слишком интересен — он не дает никакой новой информации по сравнению с PCMark 10 Storage Full System Drive, да и вообще оперирует более ограниченным количеством нагрузок. Это просто подмножество последнего, которое может быть полезно, если не хочется использовать полный тест, и которое выдает дополнительные красивые цифры для увеличения количества иллюстраций в обзоре — но не более того.