Методика тестирования ноутбуков

Версия 1.0

Время идет, появляются новые модели ноутбуков, новые приложения, новые тестовые пакеты, да и возможности нашей тестовой лаборатории постепенно расширяются. Пожалуй, пришло время сформулировать методику тестирования ноутбуков. В данном документе приведена структура типового обзора с пояснениями, что и зачем делается.

Итак, сначала —

Технические характеристики

Поскольку платформ на данный момент, прямо скажем, немного, просмотрев характеристики и не найдя (допустим) нового графического контроллера, можно уже представить себе результаты, которые покажет ноутбук в тестах производительности.

Далее —

Комплектация

Наличие стандартного пакета программ для просмотра DVD или записи оптических дисков (при наличии соответствующего привода) является обязательным, а разного рода полезные мелочи типа беспроводной мыши могут для кого-то являться плюсом при выборе модели, а для кого-то — и минусом (деньги-то за них все-таки берут). Субъективная часть

Первое знакомство

Оценка внешнего вида ноутбука и удобства расположения портов. Реальный вес. Фотографии ноутбука спереди, сзади (с поднятой крышкой), с боков и снизу.

Эргономика и удобство работы

Оценка удобства работы с ноутбуком. Клавиатура, тачпад, кнопки быстрого вызова приложений, медиаплееры и прочее. Сформулировать какие-либо объективные критерии выставления оценок, на мой взгляд, достаточно затруднительно, поэтому в основном идет описательный материал, а выводы приводятся на уровне удобно-неудобно для автора. В случае, если размер клавиш отличается от стандартных 19мм, будут приводится его значения. Здесь же приводится описание интересного фирменного софта, поставляемого в комплекте с ноутбуком.

На этом заканчивается субъективная часть обзора. Далее — объективные результаты инструментальных тестов. Объективные результаты тестов

Тест звукового тракта.

Тестируется сигнал, получаемый с линейного выхода, программой RightMark Audio Analyzer 5.5 с помощью звуковой карты Terratec DMX 6fire. Общие результаты приводятся в основном обзоре. Отчет, сгенерированный программой, — в виде отдельного документа.

Тестирование матрицы.

Тестирование производится в соответствии с методикой, разработанной для LCD-мониторов. Подробно с ней можно ознакомиться в этом документе. Единственное отличие — в связи с тем, что количество регулировок у ноутбучных матриц ограничено (по сути, hardware регулировка одна — яркость), тестирование производится при установке яркости на максимум. В основном обзоре приводятся значения времени отклика, среднего значения и отклонений от среднего яркости черного и белого полей и контрастности, а также углы обзора, измеренные по контрастности для CR 10:1 и 5:1. Полностью результаты и графики приводятся в отдельном документе.

Тестирование производительности и времени автономной работы

Для тестирования производительности ноутбуков и времени автономной работы используются тесты от BAPCO, как наиболее, на наш взгляд, адекватные. Единственный их недостаток на данный момент — отвратительная (не побоюсь этого слова) работа службы технической поддержки. В связи с этим нет гарантии, что тест пройдет на конкретной модели корректно и полностью.

Тестирование работы от аккумуляторных батарей. Для тестирования используется тестовый пакет BAPCO MobileMark 2005 Patch 1. Схема энергопотребления — Portable/Laptop. Все дополнительные утилиты управления энергопотреблением отключены. При необходимости исследование фирменных утилит управления энергопотреблением производится отдельно. Гашение экрана отключено. Яркость экрана при работе от батарей, в соответствии с методикой разработчика теста, устанавливается на минимальное значение, превосходящее 60 кд/м2. Контроль яркости осуществляется колориметром SpyderPRO (PANTONE) c ПО OptiCAL. Пакет состоит из четырех компонентов.

  1. Office Productivity 2002SE. Набор приложений не изменился по сравнению с тестом MobileMark 2002.
    • Adobe Photoshop 6.0.1
    • Netscape Communicator 6.01
    • Macromedia Flash 5.0
    • Microsoft Word Excel PowerPoint Outlook 2002
    • Network Associates McAfee VirusScan 5.13
    • WinZip Computing WinZip 8.0
    Громкость звука в процессе тестирования установлена на минимум. Результатами теста являются Performance Rating — производительность ноутбука по сравнению с эталонной платформой и Battery Life Rating — время работы ноутбука при выполнении теста в минутах
  2. Reader 2002SE. Тест моделирует чтение книги «Война и мир» в html-формате с экрана ноутбука. Используется Netscape Communicator 6.01. Результат — Battery Life Rating
  3. DVD playback 2005. В процессе теста по циклу демонстрируется рекламный ролик BMW продолжительностью 1 час 55 минут с помощью InterVideo WinDVD 6.0. Звук воспроизводится через наушники. Громкость звука, согласно методике разработчика теста, должна быть «достаточной для комфортного прослушивания». Однако при запуске теста громкость автоматически выставляется на максимум. В таком положении и проводится тестирование.
  4. Wireless browsing 2005. Измерение влияния работы в беспроводной сети на продолжительность автономной работы. Результат — Battery Life Rating. В процессе теста эмулируется работа в Интернет с использованием беспроводного подключения. Тест будет включен в программу тестирования сразу после настройки необходимого для работы сервера.

Кроме того, в отдельный документ, возможно, будут выноситься отчеты, сгенерированные тестом.

Подробнее о работе теста, методике подсчета оценок и других деталях использования MobileMark 2005 можно прочитать в этом документе (формат .pdf, английский язык, ~1 MB).

Тестирование работы от сети. Основной тест — BAPCO SysMark 2004SE. Режим энергопотребления — Portable/Laptop. Тестовые задачи подразделяются на два подтеста — Internet Content Creation и Office Productivity.

  1. Internet Content Creation. Группа состоит из следующих подтестов.
    • 3D Creation. Происходит рендеринг трехмерной модели в bitmap с использованием Descreet 3ds max 5.1 одновременно с созданием веб-страницы в Macromedia Dreamweaver MX. После этого происходит преобразование трехмерной анимации в векторный формат.
    • 2D Creation. Редактирование аудио- и видео- информации с использованием Adobe Premiere 6.5 и экспорт готового фильма. В процессе ожидания окончания операции экспортирования производится редактирование полученной в предыдущем пункте картинки .bmp с использованием Adobe Photoshop 7.01 и запись полученного файла. После окончания экспорта фильма производится его редактирование и добавление эффектов программой Adobe After Effects 5.5
    • Web Publications. Производится распаковка Zip архива программой WinZip Computing WinZip 8.1 одновременно с редактированием и оптимизацией полученного на первом этапе файла с векторной анимацией в Macromedia Dreamweaver MX. После этого полученный на втором этапе фильм кодируется с использованием Windows Media Encoder 9 в формат, пригодный для трансляции через широкополосный интернет. В заключение производится окончательное редактирование сайта в Macromedia Dreamweaver MX и антивирусное сканирование системы McAfee VirusScan 7.0.
  2. Office Productivity. Группа состоит из следующих подтестов.
    • Communication. Эмулируется получение пользователем почты с использованием Microsoft Outlook 2002. В процессе получения почты, содержащей Zip-вложения, производится антивирусное сканирование системы McAfee VirusScan 7.0. В заключении производится просмотр фрагментов сайта, созданного во время выполнения теста Internet Content Creation, с использование Microsoft Internet Explorer.
    • Document Creation. Редактирование документа в Microsoft Word 2002. Создание документа «с голоса», используя программу ScanSoft Dragon NaturallySpeaking 6. Создание презентации в Microsoft PowerPoint 2002.
    • Data Analysis. Работа с базой данных Microsoft Access 2002. Архивирование документов с использованием WinZip Computing WinZip 8.1. Импорт результатов обработки запросов в Microsoft Excel 2002 и создание графиков.

Результатом является Performance Rating — производительность ноутбука по сравнению с эталонной платформой. Вычисляется значение рейтинга для каждой группы приложений, рейтинг подтестов и общий рейтинг системы. Каждый потенциальный пользователь может выбрать результаты, интересные именно ему. Замечу, что эта версия тестового пакета одобрена AMD, которая ранее выдвигала претензии к методике расчета производительности в тестах BAPCO. Подробнее о работе теста, методике подсчета оценок и других деталях использования SysMark 2004SE можно прочитать в этом документе (формат .pdf, английский язык, ~1.5MB). К сожалению, на данный момент тестовый скрипт для Adobe Premiere 6.5 нестабильно работает со звуковыми картами стандарта HD Audio в ноутбуках, построенных на чипсете Intel 915M, в результате чего подтест Internet Content Creation не всегда проходит корректно. Надеемся, что эта проблема все-таки будет решена.

В течение некоторого времени параллельно с тестом BAPCO SysMark 2004SE будет использоваться SysMark 2002, работающий стабильно. К сожалению, в этом тесте нет деления на подгруппы, да и версии программ устарели, хотя общая идеология та же.

Тестирование производительности при работе с трехмерной графикой

Основной тест — FutureMark 3DMark03. Для обеспечения результатов используется Patch 3.30. Установки теста — по умолчанию.

Режим энергопотребления — Portable/Laptop. Результаты — 3DMarks для всех разрешений, поддерживаемых ноутбуком. При тестировании новых контроллеров в отдельных случаях в обзоре могут быть указаны значения fps для игр, входящих в тестовый пакет, при параметрах, отличных от установленных по умолчанию (в основном — с разными настройками ). Подробнее о тесте можно прочитать в этом документе (формат .pdf, английский язык, ~1,1MB).

Также при тестировании новых графических контроллеров возможно использование в обзоре результатов, показанных ноутбуком в реальных играх. На наш взгляд, тестирование интегрированных графических контроллеров имеет смысл проводить только один раз — при появлении нового представителя этого семейства.

Тестирование пропускной способности памяти

Тест, подтверждающий (при получении результатов, близких к ожидаемым), что ноутбук собран качественно. В случае, если полученные результаты существенно ниже ожидаемых, можно утверждать, что у тестируемого компьютера есть проблемы. Для тестирования предполагается использовать пакет RightMark Memory Analyzer. Режим энергопотребления — Always On. В обзоре планируется приводить результаты выполнения Quick Tests — значения средней и пиковой пропускной способности ОЗУ при чтении и записи.

Как нам кажется, на данный момент методика позволяет адекватно оценить возможности ноутбука. В дальнейшем набор тестов, возможно, будет расширяться.




22 декабря 2005 Г.

1.0

, , , , . , . , .

, —

, , , () , , .

DVD ( ) , - , - — (- - ).

. . , ( ), .

. , , , . - , , , , - . , 19, . , .

. — .

.

, , RightMark Audio Analyzer 5.5 Terratec DMX 6fire. . , , — .

.

, LCD-. . — , ( , hardware — ), . , , , CR 10:1 5:1. .

BAPCO, , , . — ( ) . , .

. BAPCO MobileMark 2005 Patch 1. — Portable/Laptop. . . . , , , 60 /2. SpyderPRO (PANTONE) c OptiCAL. .

  1. Office Productivity 2002SE. MobileMark 2002.
    • Adobe Photoshop 6.0.1
    • Netscape Communicator 6.01
    • Macromedia Flash 5.0
    • Microsoft Word Excel PowerPoint Outlook 2002
    • Network Associates McAfee VirusScan 5.13
    • WinZip Computing WinZip 8.0
    . Performance Rating — Battery Life Rating —
  2. Reader 2002SE. « » html- . Netscape Communicator 6.01. — Battery Life Rating
  3. DVD playback 2005. BMW 1 55 InterVideo WinDVD 6.0. . , , « . . .
  4. Wireless browsing 2005. . — Battery Life Rating. . .

, , , , .

, MobileMark 2005 ( .pdf, , ~1 MB).

. — BAPCO SysMark 2004SE. — Portable/Laptop. — Internet Content Creation Office Productivity.

  1. Internet Content Creation. .
    • 3D Creation. bitmap Descreet 3ds max 5.1 - Macromedia Dreamweaver MX. .
    • 2D Creation. - - Adobe Premiere 6.5 . .bmp Adobe Photoshop 7.01 . Adobe After Effects 5.5
    • Web Publications. Zip WinZip Computing WinZip 8.1 Macromedia Dreamweaver MX. Windows Media Encoder 9 , . Macromedia Dreamweaver MX McAfee VirusScan 7.0.
  2. Office Productivity. .
    • Communication. Microsoft Outlook 2002. , Zip-, McAfee VirusScan 7.0. , Internet Content Creation, Microsoft Internet Explorer.
    • Document Creation. Microsoft Word 2002. « », ScanSoft Dragon NaturallySpeaking 6. Microsoft PowerPoint 2002.
    • Data Analysis. Microsoft Access 2002. WinZip Computing WinZip 8.1. Microsoft Excel 2002 .

Performance Rating — . , . , . , AMD, BAPCO. , SysMark 2004SE ( .pdf, , ~1.5MB). , Adobe Premiere 6.5 HD Audio , Intel 915M, Internet Content Creation . , - .

BAPCO SysMark 2004SE SysMark 2002, . , , , .

— FutureMark 3DMark03. Patch 3.30. — .

— Portable/Laptop. — 3DMarks , . fps , , , ( — ). ( .pdf, , ~1,1MB).

, . , — .

, ( , ), . , , , . RightMark Memory Analyzer. — Always On. Quick Tests — .

, . , , .