Презентация методики тестирования ноутбуков 2011 года


Часть 1. Введение, существующие сложности, обновленные части методики

Дорогие читатели,

В начале 2011 года мы решили преподнести вам подарок в виде новой методики тестирования ноутбуков. Некоторые элементы остались от старой методики, некоторые — были доработаны, некоторые — являются совершенно новыми.

Для нас очень важно мнение читателей и оценка нашей работы. В течение последнего года мы накапливали и анализировали впечатления от материалов нашего раздела, да и сами думали, что можно улучшить в статьях. Результатом стало значительное изменение в методике тестирования.

При создании новой методики мы поставили перед собой две основных цели: сделать ее более всеобъемлющей и более объективной. Кроме того, необходимо было исправить те спорные моменты, которые были в старой методике тестирования.

А сейчас давайте посмотрим, что было изменено, дополнено и расширено в новой методике исследования функциональности, эргономики и производительности современных ноутбуков.

Сложности тестирования

Ноутбук — очень сложное и многогранное устройство. Например, настольный компьютер — это набор комплектующих, каждую из составляющих его деталей можно выбрать отдельно. Благодаря модульной конструкции покупатель может собрать для себя именно ту систему, которая ему нужна. Причем в большинстве случаев для успешного выбора ему достаточно знать два критерия: уровень производительности (или комфорта), который обеспечивает та или иная деталь, и цену, которую придется за это заплатить. На основе баланса этих критериев каждый делает свой выбор.

С ноутбуками ситуация сложнее хотя бы потому, что в ноутбуке около двадцати различных подсистем, и каждая из них в той или иной степени влияет на выбор. Но при этом весь набор характеристик модели выбирает и закрепляет производитель. Покупатель может лишь выбрать из предложенных наиболее устраивающий его набор характеристик. Поэтому выбрать ноутбук зачастую бывает очень сложно: у одной модели хорошая акустика, но слабая платформа, у другой — превосходный экран, но хромает автономность, у третьей — отличный набор характеристик, но страшный корпус и т. д. Похожая проблема возникает и при тестировании ноутбука: необходимо не только отметить плюсы и минусы модели, но и правильно определить их баланс.

Вторая сложность состоит в том, что часть характеристик ноутбука для покупателя может быть неважна. Кому-то неинтересен звук, кому-то хватит абсолютно любого экрана, кому-то ноутбук нужен для почты, поэтому производительность платформы неважна, кто-то всю жизнь будет работать от сети — и ему все равно, какая в ноутбуке батарейка. У всех пользователей требования разные.

Но это не значит, что при обзоре ноутбука мы можем отказаться от оценки того или иного компонента. Как справедливо было отмечено в методике тестирования настольных систем, пользователю может быть интересно всего 20% от всех возможностей системы, но у разных пользователей это разные 20%. Поэтому, оценивая ноутбук, приходится оценивать его, что называется, «по максимуму», исходя из того, что эта информация все равно потребуется тем или иным пользователям. Это приводит к росту объема тестирования, да и размер обзора получается внушительным.

Наконец, третья большая сложность при тестировании ноутбука состоит в необходимости «разделения» линейки и модели. Дело в том, что значительная часть характеристик ноутбука одинаковая для всей линейки, например: корпус, набор портов, экран, звук, клавиатура. А вот конфигурации моделей могут существенным образом различаться, что влияет на позиционирование ноутбука и интерес к нему со стороны различных категорий пользователей.

К сожалению, совместить все это не удалось, поэтому мы решили, наоборот, разделить: теперь в статьях тестирование эргономики и субъективных характеристик ноутбука будет более явно отделено от тестирования производительности платформы.

Более того, мы планируем выпускать сводные таблицы тестирования платформ, в которых пользователи смогут сравнить производительность разных наборов компонентов между собой. Такое построение позволит решить другую важную проблему восприятия тестирования: когда внешне ноутбук один и тот же, но в зависимости от конфигурации может выступать либо как слабая офисная машина, либо как мощная игровая станция. И при совершенно разной цене, кстати говоря.

Теперь, когда части тестирования отделены друг от друга, читатель сможет составить свое впечатление о модели ноутбука, прочитав обзор. Ну а если протестированная конфигурация для него неинтересна (слишком мощная, слишком слабая или слишком дорогая…), то в сводном материале он сможет посмотреть сравнительные характеристики разных конфигураций и подобрать ту, которая подходит именно для его целей.

Наконец, последняя глобальная проблема, которую мы попытались разрешить в рамках новой методики тестирования —  недостаточная объективность тестов. Понятно, что полностью отказаться от субъективных тестов нельзя, а в ряде случаев это было бы неправильным. С другой стороны, комментарии типа «субъективно ноутбук показался быстрым» не вызывают ничего, кроме недоумения.

В новой методике подверглись серьезным изменениям три раздела тестирования:

  • тестирование производительности;
  • тестирование характеристик экрана;
  • тестирование аудиоподсистемы (включая акустику).

Кроме того, другие разделы были дополнены либо оптимизированы. О том, что было сделано, поговорим чуть ниже.

Наконец, при разработке новой методики пришлось решить очень серьезную задачу: найти баланс между объемом тестирования и временем на его проведение. Невозможно тестировать ноутбук в тех же объемах, в каких обычно тестируются отдельные компоненты (экран, акустика, производительность отдельных подсистем и т. д.), т. к. суммарно это потребует слишком много времени и усилий. Поэтому большую часть тестов приходится сокращать и оптимизировать, находя оптимальный баланс между информативностью результатов и количеством и качеством тестов.  Большинство приходится оптимизировать и упрощать ради того, чтобы тестирование проходило быстрее и давало более ясные и четкие результаты.

Новое в исследовании ноутбука

Методика исследования конкретной модели была значительно доработана и расширена. В этом материале мы постараемся рассказать о новых компонентах исследования кратко, т. к. по ним выйдут отдельные материалы.

Самые глобальные изменения претерпела методика тестирования производительности. Новая методика была построена на основе созданной Станиславом Гарматюком методики тестирования производительности компьютерных платформ. Теперь производительность платформы ноутбука будет оцениваться исходя из его скорости в реальных приложениях и играх. В настоящее время материал с описанием новой методики готов и появится на нашем сайте в ближайшие дни.  

Во-вторых, изменен подход к тестированию характеристик экрана. Мы не будем отказываться от субъективной оценки, однако теперь это будет сравнительная оценка: будет использоваться настольный монитор и другой ноутбук. Качество картинки (статичной и движущейся) будет сравниваться для нескольких устройств. Наконец, и это самое важное новшество: тестирование яркости и контрастности теперь будет проводиться с использованием прибора. Набор тестов на данный момент базовый (яркость белого, черного, контрастность на максимальном и минимальном уровне подсветки). Так тестирование не должно занимать много времени, но в то же время позволит получить о матрице много информации. Сейчас проводится бета-тестирование этой части новой методики, с января-февраля она станет обязательной.

В-третьих, с января начнется бета-тестирование новой методики оценки качества аудиоподсистемы. Этот шаг давно напрашивался, т. к. акустические системы ноутбуков становятся лучше и рекомендация «если хотите качественный звук — покупайте внешнюю акустику» уже не всегда верна. В настоящее время мы планируем ввести объективные измерения: уровень максимальной громкости ноутбука и измерение АЧХ с помощью измерительного микрофона. Останется и субъективное тестирование, но мы постараемся сделать его сравнительным: так гораздо проще оценить качество звука. При субъективном тестировании мы будем использовать несколько (скорее всего, три-четыре) тестовых музыкальных композиции: классическую музыку (особенно с женским вокалом), рок (с непременными бас-гитарами) и т. д. Также планируется включить два отрывка из фильмов: неразборчивая речь (разговор вдали от микрофона и т. д.) и спецэффекты (взрывы и свист пуль). На данный момент проводятся исследования, полная версия тестирования должна быть представлена ближе к марту 2011 года.

Наконец, изменится шаблон статьи. Статьи будут строиться по более четкому плану. Поменяется таблица с техническими характеристиками, в статье появится две таблицы: одна с характеристиками линейки в целом, вторая — с указанием конкретной конфигурации протестированной модели. Часть с тестированием платформы теперь более явно отделена от тестирования характеристик корпуса и эргономики.

Дополнение существующих разделов методики

Кроме того, доработаны и стали «официальными» некоторые другие разделы методики.

Например, уже достаточно давно в виде эксперимента мы применяем инструментальное тестирование нагрева корпуса ноутбука. Измеряется нагрев как внутренних компонентов, так и внешних поверхностей. В первой части измеряется температура ноутбука в простое и после 40 минут работы нагрузочного теста при помощи программы мониторинга. Во второй части при помощи термопары измеряется температура различных точек корпуса. В будущем мы будем придерживаться этой методики, хотя, на мой вгляд, она избыточна: для определения удобства использования вполне достаточно определить, является ли поверхность прохладной, теплой или горячей.

В новой методике остался открытым вопрос о зависимости температуры ноутбука от температуры окружающей среды. Понятно, что нагрев зависит от окружающей температуры, и, зафиксировав ее, можно получить более точные данные. Однако сооружать камеру с фиксированной температурой только ради этого все-таки слишком утомительно и накладно. Тем более, что ноутбуки могут иметь близкие характеристики при окружающей температуре в 20—22 градуса, но один из них начнет перегреваться при повышении окружающей температуры, а другой — нет.

Изменения в разделе

Помимо изменения структуры статей, решено было внести изменения и в структуру раздела. Помимо обзоров конкретных моделей ноутбуков, мы будем уделять больше внимания общим материалам.

Во-первых, в разделе появится гид по выбору ноутбука и общие статьи с описанием различных компонентов и подсистем. Такие материалы необходимы чтобы, как минимум, дать пользователям представление  продукте и указать, на что обращать внимание при выборе. Впрочем, думаю, материалы будут полезны и более продвинутым читателям.

Во-вторых, в разделе будут представлены отдельные аналитические материалы, посвященные анализу платформ, на которых строятся современные ноутбуки. Кроме того, мы планируем выпускать материалы, в которых будет систематизироваться и сравниваться уровень производительности различных платформ ноутбуков.

В-третьих, мы планируем выпустить отдельные обзоры ПО, которое производитель предустанавливает на свои ноутбуки. Некоторые производители дают в комплекте с ноутбуком много качественных и нужных программ, которые окажут большую помощь пользователю при дальнейшей работе. Это большое преимущество ноутбука, но оценить его при выборе в магазине практически невозможно. Если же уделять набору комплектных программ внимание при тестировании, то статья превратится в роман, да и времени на это уйдет немало. Кроме того, набор ПО для всех ноутбуков одного производителя, как правило, одинаков или близок.

Разумеется, мы продолжим публиковать отчеты с мероприятий, посвященных выходу на рынок новых и интересных устройств. Формат этих материалов останется прежним.

Наконец, мы постараемся по мере возможности публиковать аналитические материалы, описывающие ситуацию на рынке ноутбуков либо на отдельной его части. Такие материалы позволят читателям оставаться в курсе событий на рынке.

Что предстоит сделать

В ближайшее время мы постараемся дополнить раздел тестирования объективным тестом, измеряющим производительность беспроводной сети. Это важный компонент современного ноутбука, характеристики которого часто остаются нераскрытыми.

Заключение

Главный результат введения новой версии методики 2011-го года: тестирования станут более детальными и более объективными. Теперь читатели iXBT.com получат возможность полнее оценить функциональность ноутбука — как в абсолютных цифрах, так и в сравнении с конкурентами и лидерами рынка. Тем более, что благодаря большей объективности, критерии для сравнения стали более единообразными и устойчивыми.

Платой за возросшую объективность и детальность стала большая сложность (и длительность) исследования ноутбуков и увеличившийся объем статьи. Однако, мне кажется, это небольшая плата. Все же теперь читатель сможет полнее оценить функциональность и эргономику ноутбука, понять, как он работает и с какими особенностями можно столкнуться в процессе его эксплуатации. Поэтому, надеемся, каждый читатель сможет найти ответы на свои вопросы и получит возможность со всех сторон оценить модель ноутбука, прочитав обзор на iXBT.com.





Дополнительно

Нашли ошибку на сайте? Выделите текст и нажмите Shift+Enter

Код для блога бета

Выделите HTML-код в поле, скопируйте его в буфер и вставьте в свой блог.