Arial Georgia Tahoma Times New Roman Verdana

Тестирование готовых систем

описание тестов и справочная информация

В соответствии с принципом «всё новое — это хорошо забытое старое», все тесты снова делятся на 3 группы: общая, профессиональная и игровая. В самом начале тестирования волюнтаристским образом :) тестировщиком принимается решение: какие группы задействовать в данном конкретном случае. Как правило, вариантов два: либо только общую группу (тестируется компьютер, не предназначенный ни для «тяжёлых» приложений, ни для игр); либо общую, профессиональную и игровую.

Профессиональная и игровая группы практически неизбежно дополняют друг друга, т.к. основные требования к рабочей станции и игровому компьютеру пересекаются на двух самых важных составляющих: быстрый CPU и быстрый GPU. Конечно, теоретически можно себе представить рабочую станцию без выделенной видеокарты, но это будет уж слишком нишевое решение.

Соответственно, для каждого подхода у нас будет использоваться своя референсная система, результаты которой принимаются равными 100 баллам производительности. При этом мы отошли от практики делать референсную систему «максимальной» — наоборот, её параметры (по нашему мнению) соответствуют среднестатистическому современному хорошо сбалансированному компьютеру, предназначенному для выполнения соответствующих задач. Всего референсных систем две:

По умолчанию подразумевается использование монитора с разрешением 1920×1080 (FullHD).

Общая группа тестов

Согласно своему названию, она включает необходимый и разумный минимум того, что должен уметь любой компьютер, и, с другой стороны — даёт нам минимально необходимые сведения о его производительности в распространённых «общепользовательских» задачах. Иными словами — это набор тестов для типичного офисного компьютера, предназначенного для рядового работника (менеджера, секретаря, бухгалтера) или же типичного домашнего компьютера, который не предназначен для игр.

Архивация

• 7-Zip x64 9.38 beta
• WinRAR x64 5.21

Тестируется скорость распаковки и упаковки файлового набора размером 1,4 ГБ, состоящего примерно поровну из файлов следующих типов: doc(x), fb2, pdf, ppt, rtf, txt, xls(x). Для создания дополнительной нагрузки на процессор при всех операциях применяется шифрование. При упаковке архиваторы настроены на достижение максимальной компрессии и использование (по возможности) всех имеющихся в системе процессорных ядер.

Медиакодирование

• LAME x64 3.99.5
• FLAC x64 1.3.1
• x264 x64 r2525

В качестве материала для кодирования аудио используется WAV-файл, представляющий собой альбом Клауса Шульца «Irrlicht» (весь альбом в одном файле). С целью задействования многоядерности, создаётся количество потоков кодирования, равное количеству ядер в системе. Результатом теста является скорость кодирования, выраженная в килобайтах в секунду.

В тесте на скорость кодирования видео с помощью кодека x264 перекодируется в более сжатый (меньший по размеру) вид 2-минутный отрывок из фильма «Неукротимые 2» (MPEG4/AVC, 1920×800, 50 Мбит/с). В качестве дополнительного инструмента задействуется AviSynth.

Проигрывание видео

• VLC Media Player x64 2.1.5
• MPC-HC x64 1.7.8

C помощью указанных плееров проигрывается 2-минутный отрывок из фильма «Неукротимые 2» (тот же, что использовался в тесте на скорость кодирования видео). При этом каждый плеер задействуется в двух режимах: полностью программное декодирование и задействование аппаратного ускорения GPU через DXVA. Во всех случаях измеряется средняя загрузка CPU во время прохождения теста.

Офисное ПО

• ABBYY FineReader Professional 12.0.101.382
• Microsoft Excel 2013

C помощью FineReader мы тестируем скорость распознавания текста. Источником в данном случае выступают 2 номера журнала iXBT.com в формате PDF, результатом является время распознавания.

Для тестирования быстродействия в Excel мы используем адаптированную версию бенчмарка от ExcelTrader. Он выдаёт результаты в условных баллах.

Браузеры

• Firefox 36.0
• Chrome 40.0.2214.115 m
• Internet Explorer 11.0.9600

Для тестирования мы используем оффлайн-версии бенчмарков Impact (HTML5), Octane 2.0 и SunSpider 1.0.2 (JavaScript) и RoboHornet (Table, DOM, CSS, Selectors, Canvas, Scrolling, SVG, JavaScript, Math). При этом ввиду несовместимости некоторых оффлайн-версий бенчмарков с некоторыми браузерами, результирующая таблица использования выглядит следующим образом.

Результаты различных браузеров в рамках одного бенчмарка усредняются между собой и это среднее считается «результатом теста». Все тесты, за исключением SunSpider выдают результат в собственных баллах, SunSpider — в миллисекундах.

Обработка изображений

• ACDSee Pro x64 8.1 build 270
• IrfanView 4.38
• XnViewMP x64 0.72

Во всех трёх случаях тестовый набор файлов (100 фотографий, из них 56 NEF и 44 CR2) обрабатывается в batch-режиме с применением наиболее широко распространённых действий: перобразование RAW-JPEG, изменение размера, кадрирование, шарпинг, и т.п. Результатом теста является время обработки всего набора. Может показаться странным выбор сразу трёх однотипных по большому счёту приложений, однако здесь мы столкнулись со сложным выбором: что «выкинуть», если каждое из них весьма популярно? Так и не придумав логичного обоснования, мы решили не выкидывать ничего, тем более что время выполнения каждого из тестов не очень велико.

Java

• Java x86+x64 Version 8 Update 31

За основу этого бенчмарка был взят довольно пожилой но по-прежнему актуальный SPECjvm 2008, осовремененный путём исключения некоторого количества тестов, которые нестабильно себя ведут на многоядерных процессорах. Сперва может показаться странным включение теста от SPEC.org в общую группу, однако реальность состоит в том, что сегодня вероятность столкнуться с java-апплетом довольно велика даже для самого обычного пользователя, никаких специфических вещей на компьютере не делающего. А значит, вопрос о способности системы быстро работать с Java актуален для всех.

Многозадачность

Чтобы не оставлять основную группу совсем уж без «тяжёлых» тестов, мы решили заменить одно «тяжёлое» приложение большим количеством одновременно выполняемых «лёгких». В процессе этого теста параллельно запускается кодирование аудио с помощью LAME, кодирование видео с помощью x264, архивация с помощью 7-Zip, обработка фотографий с помощью IrfanView и игровой бенчмарк Sniper Elite V2. Результатом является время от запуска на исполнение всех бенчмарков до окончания работы последнего.

Дисковая подсистема

• PCMark 8

Здесь мы используем интегральную оценку производительности жёсткого диска, выдаваемую последней версией популярного бенчмарка PCMark — тест Storage.

Графическая подсистема

• Grid 2

Практически все «неигровые» компьютеры сейчас используют графическое ядро, находящееся в составе центрального процессора, то есть не имеют дискретной видеокарты. Разумеется, мощность встроенного в процессор GPU не позволяет рассматривать его игровое применение всерьёз, однако было бы странно игнорировать тот факт, что различия в скорости есть и между встроенными решениями.

Мы выбрали в качестве теста для таких систем один бенчмарк из игровой группы — Grid 2 — как самый толерантный к маломощным видеокартам. В отличие от такого же теста из игровой группы, в данном случае он запускается со средними установками качества.

Это единственный необязательный тест, который входит в общую группу. Он выполняется только в том случае, если игровая группа в тестировании не участвует.

Энергопотребление

Мы измеряем 4 параметра:

• максимальное энергопотребление системы под нагрузкой;
• минимальное энергопотребление системы, работающей в «холостом» режиме с выключенными функциями управления энергопотреблением (план «высокая производительность»);
• минимальное энергопотребление системы, работающей в «холостом» режиме с включенными функциями управления энергопотреблением (план «экономия энергии»);
• совокупный расход электроэнергии на выполнение 10 раз подряд бенчмарка «многозадачность».

Последний параметр позволяет нам ввести такое понятие как «энергоэффективность системы». Действительно: хотя высокоскоростные компьютеры потребляют больше — но и с тестами они справляются быстрее. Так что вовсе не факт, что количество электроэнергии, которое будет потрачено на выполнение задачи быстрой системой окажется больше, чем в случае с малопотребляющей, но медленной. Как и во всех прочих случаях, за 100 баллов энергоэффективности здесь тоже принят результат одной из референсных систем.

Профессиональная группа тестов

Как и следует из названия, в данной группе сосредоточено «тяжёлое» программное обеспечение, которым обычно пользуются профессионалы. Мы старались не сильно раздувать её, чтобы добиться баланса между репрезентативностью тестов и их длительностью, поэтому был выбран принцип «по одному представителю от каждого класса ПО». Некоторым такая мера может показаться драконовской, но раздутость тестового набора тоже имеет свои минусы: она просто-напросто сильно замедляет выход материалов. В наше динамичное время приходится тщательно подбирать баланс между полнотой охвата и оперативностью.

Трёхмерное моделирование

• 3ds max 2015 SP3
• SPEC for 3ds max 2015

Пакет, как и бенчмарк для него, нам хорошо знаком — но всё равно приятно, что SPEC подсуетилась и сделала бенчмарк для самой свежей версии. Бенчмарк выдаёт три результата: CPU Composite Score, GPU Composite Score и Large Model Composite Score. Мы их сводим в один общий балл по алгоритму среднего геометрического.

Конструирование

• PTC Creo Elements x64 5.0 M250
• OCUS Benchmark x64 6.0

Снова хорошо знакомый пакет (раньше он назывался Pro/Engineer) и знакомый бенчмарк. Мы используем результат под говорящим названием «Total», который представляет собой просто-напросто время выполнения теста в секундах.

Программирование

• Microsoft Visual Studio 2013
• Boost 1.57.0

Тестируется скорость компиляции набора С++ библиотек с помощью компилятора от Microsoft. Результат — время компиляции (с линкованием).

Вычисления

• MATLAB x64 R2014b

Мы используем адаптированную версию бенчмарка от SciViews.org, т.к. она, как ни странно, даёт намного более стабильные и предсказуемые результаты, чем встроенные средства измерения производительности самого MATLAB. Результат представляет собой усреднённое время выполнения всех тестов в секундах.

Растровая графика

• Adobe Photoshop x64 CC 2014

Наш тестовый набор actions для Adobe Photoshop традиционно включает в себя несколько разделов:

1. Различные виды размытия.
2. Различные виды усиления резкости.
3. Работа с источниками света.
4. Операции по уменьшению и увеличению размера.
5. Повороты на произвольные углы.
6. Различные трансформации.
7. Набор «художественных» фильтров.

Результат представляет собой среднее геометрическое от времён выполнения каждой из вышеперечисленных групп.

Векторная графика

• Adobe Illustrator CC 2014

Тестовый проект для Adobe Illustrator в своё время был любезно составлен для нас одним из наших читателей. Как и в случае с Photoshop, это набор actions, результатом теста является время их выполнения.

Аудиообработка

• SONY Sound Forge Pro 11 build 299

Мы используем в качестве исходника упакованную с помощью FLAC 5.1-версию альбома Pink Floyd «Dark Side of the Moon». Она загружается в Sound Forge (время загрузки не учитывается), после чего над ней выполняется batch job с задействованием следующих функций:

1. Channel Converter (5.1 в стерео).
2. Bit-Depth Converter.
3. Sony Click and Crackle Removal.
4. Sony Audio Restoration.
5. Sony Multi-Tap Delay.
6. Sony Noise Reduction.

Результат — время последовательного выполнения всех действий.

Видеообработка

• SONY Vegas Pro x64 13.0 build 428

Проект для Vegas представляет собой небольшой 2-минутный ролик с использованием различных видеоэффектов, который рендерится и экспортируется в формат AVC с Blu-Ray качеством. Результат — время выполнения задачи.

Поклонникам Premiere/AfterEffects и Audition посвящается. Нам показалось, что использование в профессиональной группе из восьми тестов четырёх продуктов Adobe было бы некоторым перебором, тем более что Vegas и Sound Forge недостойными внимания назвать никак нельзя. А принцип «по одному представителю от каждого класса ПО» было решено блюсти строго.

Игровая группа тестов

Честно говоря, уместность самого факта существования этой группы для некоторых из тестеров остаётся под вопросом: игровое применение ПК год от года сдаёт позиции приставкам, а истинным фанатам всё равно не угодишь: они формируют конфигурацию прямо под любимые игры, а все игры на свете не протестируешь (а в некоторых ещё и встроенных бенчмарков нет). Однако, в конце концов, почему бы не выяснить заодно и такую характеристику тестируемой системы как «игропригодность»?

Мы решили использовать 6 игр, которые отличаются несколькими важными чертами: наличие легко автоматически запускаемого встроенного бенчмарка, высокая стабильность его самого и результатов измерений и отличающиеся друг от друга графические движки. Таким образом, результат усреднения значений выбранных тестов вряд ли даст какую-то уникальную информацию записным игроманам, но для для оценки «усреднённой игропригодности» тестируемой системы с точки зрения человека, желающего «когда-нибудь, может быть, во что-нибудь поиграть» — как нам кажется, вполне пригоден. А на большее мы в данном случае и не претендуем.

Список игр

1. Sleeping Dogs Definitive Edition.
2. Grid 2.
3. Hitman Absolution.
4. Metro Redux.
5. Sniper Elite V2.
6. Thief.

Так как применение игровой группы тестов на медленных системах со встроенной видеокартой не предусматривается в принципе, все установки качества графики установлены на максимум. Разрешение — 1920×1080. Результаты — значение среднего fps.

Итоги тестирования

Таким образом, система, протестированная по сокращённой методике, сравнивается с конфигурацей №1 (чья производительность принята за 100 баллов) и обретает после этого сравнения 2 оценки:

1. Общий балл.
2. Энергоэффективность.

Система, протестированная по полной программе, сравнивается с конфигурацией №2 и получает 4 оценки:

1. Общий балл.
2. Профессиональный балл.
3. Игровой балл.
4. Энергоэффективность.

Баллы по группам подсчитываются как среднее арифметическое баллов по всем тестам, которые входят в группу. В случае если система не в состоянии пройти какой-то тест, ей начисляется за него 0 баллов и эта оценка наравне со всеми остальными участвует в подсчёте общего балла по группе.