Совсем недавно мы анонсировали нашу новую методику тестирования на основе реальных приложений (iXBT Application Benchmark 2016), которая включает в себя 17 отдельных тестов. Результаты этих тестов позволяют оценивать производительность системы в различных сценариях использования путем замера времени выполнения тестовых задач и сопоставления этого времени со временем выполнения этих задач на референсной системе. Однако производительность процессора — это лишь одна сторона медали, а другая сторона — энергопотребление. До сих пор мы не измеряли энергопотребление процессоров при их тестировании, но обещали разработать соответствующую методику. В этой статье мы опишем подготовленную методику измерения энергопотребления, реализуемую с помощью плагина к нашему бенчмарку iXBT Application Benchmark 2016.
Программно-аппаратный измерительный блок
Для работы плагина используется специализированный программно-аппаратный измерительный блок, разработанный Алексеем Кудрявцевым. Измерительный блок подключается в разрыв цепей питания между компьютерным блоком питания и материнской платой. Попросту говоря, измерительный блок подключается к 24-контактному (ATX) и 8-контактному (EPS12V) разъемам блока питания, а материнская плата подключается уже к измерительному блоку с использованием аналогичных разъемов. Измерительный блок способен измерять напряжение и силу тока по шинам 12 В, 5 В и 3,3 В разъема ATX, а также напряжение питания и силу тока по шине 12 В разъема EPS12V, используемого для питания процессора.
Связь измерительного блока с компьютером производится по шине USB. Это позволяет управлять работой блока и сохранять измеряемые величины в файле. Управление работой измерительного блока производится из командной строки.
В нашей методике интеграция программно-измерительного блока с бенчмарком iXBT Application Benchmark 2016 заключается в том, что в каждом тесте синхронно с началом выполнения тестового задания запускается сбор данных измерительным блоком, а синхронно с моментом окончания выполнения тестового задания сбор данных прекращается. Результаты измерения сохраняются во временном файле и обрабатываются бенчмарком.
В каждом тесте сохраняются следующие значения, рассчитанные на основе результатов измерений:
- суммарная потребляемая мощность во время выполнения теста, в ваттах;
- потребляемая процессором мощность во время выполнения теста, в ваттах.
Суммарная потребляемая мощность учитывает потребление по шинам 12 В, 5 В и 3,3 В разъема ATX и по шине 12 В разъема EPS12V. Суммарная потребляемая мощность рассчитывается как отношение суммарного энергопотребления ко времени измерения.
Потребляемая процессором мощность во время выполнения теста учитывает только потребление по шине 12 В разъема EPS12V (этот разъем используется для питания процессора). Данная мощность рассчитывается как отношение энергопотребления процессора за время выполнения теста ко времени выполнения теста. Нужно, однако, иметь в виду, что в данном случае речь идет об энергопотреблении процессора вместе с регулятором напряжения его питания. Естественно, регулятор напряжения питания процессора имеет определенный КПД, и часть электрической энергии потребляется им самим (она выделяется в виде тепла на MOSFET-транзисторах и других элементах). Поэтому реальная мощность, потребляемая процессором, всегда будет немного ниже измеренных значений, однако измерить это реальное значение с использованием внешнего измерительного блока не представляется возможным.
Особенности измерения энергопотребления в отдельных тестах
Как уже отмечалось, сбор данных измерительным блоком начинается синхронно с началом выполнения тестового задания и завершается синхронно с моментом окончания выполнения тестового задания. Казалось бы, все просто, но тут есть свои нюансы. Дело в том, что некоторые тесты включают не одну, а сразу несколько задач, и результатом теста является суммарное время выполнения всех этих задач. При этом между отдельными задачами в тесте могут быть довольно продолжительные паузы.
Всего таких тестов в нашем бенчмарке пять:
- Adobe Premiere Pro CС 2015.0.1,
- Photodex ProShow Producer 7.0.3257,
- PhaseOne Capture One Pro 8.2,
- Adobe Audition CС 2015.0,
- WinRAR 5.21.
Так, в тесте с использованием приложения Adobe Premiere Pro CС результатом является суммарное время рендеринга и экспортирования фильма. В тесте с применением приложения Photodex ProShow Producer результатом является суммарное время создание проекта слайд-шоу, включающее в себя время загрузки фотографий и время экспорта проекта в фильм. В тесте с применением приложения PhaseOne Capture One Pro производится экспортирование коллекции фотографий в проект с созданием превью, пакетная обработка фотографий в режиме автоматического улучшения качества и сохранение фотографий в формате JPEG. Результатом теста является время выполнения всех трех операций. В тесте с применением приложения Adobe Audition CС первоначально загружается шестиканальный (5.1) аудиофайл в формате FLAC. Затем этот файл обрабатывается путем применения к нему фильтра адаптивного шумоподавления, и на заключительном этапе производится конвертация в формат MP3. Результатом теста является суммарное время загрузки аудиофайла, его обработки и конвертирования. В тесте с использованием приложения WinRAR производятся две отдельные задачи: архивация и разархивация данных.
И когда в тесте выполняется несколько отдельных задач, непонятно, что именно понимать под потребляемой мощностью и энергопотреблением, поскольку в отдельных задачах потребляемая мощность различается. Можно, конечно, рассчитывать усредненную по всем задачам в тесте мощность и энергопотребление, однако результат будет напоминать среднюю температуру по больнице. Поэтому мы решили поступить следующим образом: в том случае, когда в тесте используется несколько отдельных задач, измерение мощности и энергопотребления производится только для самой энергоемкой задачи. Так, в тесте с использованием приложения Adobe Premiere Pro CС используется задача по экспортированию фильма. В тесте с применением приложения Photodex ProShow Producer тоже используется задача по экспорту проекта в фильм. В тесте с применением приложения PhaseOne Capture One Pro используется задача по пакетной обработке фотографий в режиме автоматического улучшения качества. В тесте с применением приложения Adobe Audition CС используется задача обработки аудиофайла путем применения к нему фильтра адаптивного шумоподавления. В задаче с использованием приложения WinRAR используется только задача по архивации.
Представление результатов тестирования
Поскольку в нашей методике измерения производительности на основе реальных приложений (iXBT Application Benchmark 2016) для каждого теста рассчитывается среднеарифметический результат и погрешность измерения для доверительного интервала 0,95 (количество запусков каждого теста можно менять), при измерении энергопотребления используется аналогичный подход. В каждом тесте рассчитывается не только среднеарифметический результат для суммарного энергопотребления, энергопотребления процессора, суммарной потребляемой мощности и потребляемой процессором мощности, но и погрешность измерений указанных величин в доверительном интервале 0,95.
Результаты измерения записываются в соответствии с общепринятыми правилами записи результатов с погрешностью, погрешность записывается с одной значащей цифрой.
Ограничения на использование измерительного блока
С учетом того обстоятельства, что измерительный блок может подключаться только к компьютерному блоку питания через 24-контактный разъем ATX и 8-контактный разъем EPS12V и имеет аналогичные разъемы для подключения материнской платы, данный измерительный блок может использоваться только при тестировании систем, которые имеют соответствующие разъемы. Таким образом, наш измерительный блок не может использоваться для тестирования ноутбуков, неттопов и моноблоков со специфическими разъемами питания. По сути, мы планируем использовать данную методику измерения энергопотребления только для тестирования процессоров и, возможно, материнских плат. И насчет материнских плат еще нужно будет посмотреть, насколько это целесообразно. В принципе, с учетом того, что при измерении энергопотребления и потребляемой мощности процессора учитывается также энергопотребление регулятора напряжения питания, на разных материнских платах могут получаться разные значения энергопотребления при использовании одного и того же процессора. Но возможно, разница окажется настолько незначительной, что такое измерение будет попросту лишено смысла. Одним словом, нужно сначала накопить экспериментальные данные, а затем уже принять решение относительно целесообразности проведения подобных измерений.
Пример результатов измерения
В заключение продемонстрируем пример результата тестирования с измерением энергопотребления.
Стенд для тестирования имел следующую конфигурацию:
| Процессор | Intel Core i7-6700K |
| Материнская плата | Asus Sabertooth Z170 S |
| Чипсет | Intel Z170 |
| Оперативная память | 16 ГБ DDR4-2133 (2 канала) |
| Накопитель | SSD Seagate ST480FN0021 (480 ГБ) |
| Операционная система | Windows 10 (64-битная) |
Процессор работал в штатном режиме (без разгона) с активированной технологией Turbo Boost. Результаты тестирования представлены в таблице.
| Логическая группа тестов | Результат тестирования, секунды | Общая мощность, Вт | Мощность процессора, Вт |
| Работа с видеоконтентом, баллы | 334±6 | ||
| MediaCoder x64 0.8.36.5757 | 118±2 | 108±2 | 89±2 |
| SVPmark 3.0.3b, баллы | 3300±300 | 83±5 | 64±5 |
| Adobe Premiere Pro CC 2015.0.1 | 291±2 | 93±2 | 73,8±0,4 |
| Adobe After Effects CC 2015.0.1 | 464±4 | 48,4±0,3 | 32,6±0,3 |
| Photodex ProShow Producer 7.0.3257 | 394±2 | 68,7±0,3 | 52,0±0,3 |
| Обработка цифровых фотографий, баллы | 305±2 | ||
| Adobe Photoshop CC 2015.0.1 | 627±4 | 67,63±0,09 | 49,90±0,06 |
| Adobe Photoshop Lightroom 6.1.1 | 319,4±0,4 | 91,3±0,5 | 70,0±0,4 |
| PhaseOne Capture One Pro 8.2 | 373±5 | 59±2 | 43±2 |
| ACDSee Pro 8.2.287 | 207±2 | 54,6±0,4 | 38,3±0,4 |
| Векторная графика, баллы | 182,7±0,3 | ||
| Adobe Illustrator CC 2015.0.1 | 356,7±0,7 | 39,19±0,08 | 24,40±0,09 |
| Аудиообработка, баллы | 290±3 | ||
| Adobe Audition CC 2015.0 | 360±3 | 61,73±0,07 | 46,10±0,08 |
| Распознавание текста, баллы | 385±2 | ||
| Abbyy FineReader 12 Professional | 150,1±0,4 | 77,5±0,3 | 60,0±0,3 |
| Архивирование и разархивирование данных, баллы | 244±7 | ||
| WinRAR 5.21 архивирование | 104,2±0,3 | 69,57±0,08 | 51,77±0,07 |
| WinRAR 5.21 разархивирование | 6,8±0,4 | ||
| Файловые операции, баллы | 171±6 | ||
| Скорость инсталляции приложений | 333,2±0,7 | 35,3±0,4 | 20,6±0,3 |
| Копирование данных | 70±2 | 29,9±0,4 | 14,7±0,4 |
| UltraISO Premium Edition 9.6.2.3059 | 27±3 | 22±2 | 7±2 |
| Научные расчеты, баллы | 289±7 | ||
| Dassault SolidWorks 2016 SP0 с пакетом Flow Simulation | 247±6 | 78,3±0,4 | 60,6±0,3 |
| Интегральный результат производительности, баллы | 266±6 |
Представим также результаты для мощности на диаграмме:
На диаграмме хорошо видно, что в различных тестах относительная разница между общей потребляемой мощностью и мощностью процессора различна: чем сильнее загружен процессор, тем эта разница меньше. К примеру, в тесте MediaCoder разница между общей мощностью и мощностью процессора составляет всего 17,6%, а в тесте UltraISO Premium Edition 9.6.2.3059 она достигает 66%.
Также напомним, что паспортная расчетная мощность процессора Intel Core i7-6700K составляет 91 Вт. Как видим, в штатном режиме работы процессора ни в одном из тестов эта расчетная мощность не превышается.
Заключение
Пока мы только начали наши эксперименты с измерением энергопотребления. Текущая версия программно-аппаратной реализации измерения энергопотребления имеет свои ограничения и, фактически, может использоваться только для тестирования процессоров. Однако уже одного этого достаточно, чтобы делать выводы относительно энергоэффективности процессоров, оценивать, какую тепловую мощность должен отводить кулер процессора, а также оценивать возможность разгона процессора без его перегрева.
В любой методике есть свои преимущества и недостатки. В нашем случае к преимуществам можно отнести тот факт, что данная методика с использованием внешнего измерительного блока обладает очень высокой точностью измерения и, в отличие от программных реализаций измерения различных параметров, никак не связана с датчиками и контроллерами мониторинга на самой материнской плате и в процессоре. К недостаткам данной методики можно отнести ограниченные возможности ее использования: измерительный блок жестко привязан к вполне конкретным разъемам питания на материнской плате и в случае их отсутствия использоваться не может. Как уже отмечалось, данный измерительный блок непригоден для тестирования ноутбуков, моноблоков, а также готовых ПК, поскольку если компьютер собран в закрытом корпусе, то подсоединить к нему измерительный блок может оказаться невыполнимой задачей.
Тем не менее, для тестирования таких законченных решений, как ноутбуки, моноблоки, неттопы и пр., где использование внешнего измерительного блока не представляется возможным, в скором времени мы анонсируем еще один плагин к нашему бенчмарку iXBT Application Benchmark 2016, который позволит контролировать мощность процессора, его температуру и даже загрузку в каждом тесте. Это будет уже исключительно программное решение, основанное на использовании специальной библиотеки, позволяющей получать программный доступ к датчикам и контроллерам мониторинга на материнской плате и в процессоре. Как и в известных программах, типа AIDA или HWiNFO, во время тестов будет производиться периодический опрос необходимых датчиков мониторинга, что позволит фиксировать среднее за время теста значение мощности процессора, его максимальную температуру и среднюю загрузку. Не всегда можно доверять показаниям этих датчиков, однако, как говорится, лучше так, чем никак. Впрочем, не будем забегать вперед. Это уже тема для отдельной статьи, где мы уделим внимание всем этим нюансам.
