Методика тестирования устройств воспроизведения и отображения видеосигнала

Данная методика создается в целях приведения к единой системе процесса тестирования устройств воспроизведения и/или отображения видеосигнала. Речь об устройствах самого разного назначения: смартфоны, планшеты, прочие мобильные устройства, стационарные и портативные медиаплееры, мониторы, телевизоры, проекторы. Первая версия методики содержит материал для тестирования мобильных устройств, включает в себя специальные файлы и описывает алгоритмы работы с ними.

Подавляющее число современных мобильных устройств, в частности смартфонов и планшетов, довольно часто используется для просмотра видео различных форматов. Для более удобного сравнения возможностей различных моделей, а также проверки специфики их работы (например, особенностей вывода на внешний экран), редакция iXBT.com разработала специальные наборы видеофайлов и методы их использования.

Битрейты и профили

Файлы, относящиеся к разделу «Битрейты и профили», предназначены для определения пропускной способности сети во время воспроизведения видеофайлов при тестировании различных устройств с сетевыми возможностями. Файлы запускаются с сетевого хранилища последовательно, при этом отмечается момент возникновения первых признаков недостатка скорости сетевого соединения. Также данные файлы могут быть использованы для определения возможностей программного/аппаратного декодера при воспроизведении с локальных носителей, либо определения скорости этих носителей.

<версия> Осторожно! Данный тест может показать меньшую скорость сетевого соединения, нежели полученную при стандартном тестировании (копировании файлов и т. п.). Например, если первые признаки недостатка пропускной способности сетевого соединения — исчезновение звука, кратковременные замирания картинки — появились при воспроизведении файла с битрейтом 35 Мбит/с, это не всегда означает, что данная скорость является максимальной для сетевого адаптера тестируемого устройства. Дело в том, что необходимость распаковки и воспроизведения видео может отнимать у SoC часть ресурсов, которые требуются для обеспечения максимальной скорости сетевого соединения.

H.264 25p H.264 50p
1080-25p-10mbps.mp4
1080-25p-12mbps.mp4
1080-25p-14mbps.mp4
1080-25p-16mbps.mp4
1080-25p-18mbps.mp4
1080-25p-20mbps.mp4
1080-25p-25mbps.mp4
1080-25p-30mbps.mp4
1080-25p-35mbps.mp4
1080-25p-40mbps.mp4
1080-25p-45mbps.mp4
1080-25p-50mbps.mp4
1080-50p-10mbps.mp4
1080-50p-12mbps.mp4
1080-50p-14mbps.mp4
1080-50p-16mbps.mp4
1080-50p-18mbps.mp4
1080-50p-20mbps.mp4
1080-50p-25mbps.mp4
1080-50p-30mbps.mp4
1080-50p-35mbps.mp4
1080-50p-40mbps.mp4
1080-50p-45mbps.mp4
1080-50p-50mbps.mp4

Камкордеры и другие устройства

В данном разделе находятся оригинальные видеоролики, снятые различными устройствами. От видеокамер, фотоаппаратов и видеорегистраторов, до планшетов и смартфонов. Мы не видим смысла еще и еще плодить данный список примерами съемок все новыми и новыми устройствами. Причина одна: предельная схожесть кодеков и контейнеров. Поэтому начальный список был сокращен до минимума. Внимательный читатель наверняка подметит одну особенность: в списке чаще всего встречается имя Samsung. Да, это так. Именно эта компания проявляет наибольшую «изобретательность»: разные модели видеокамер ее производства записывают видео в файл с параметрами, отличающимися от привычных. По всей видимости, проблема состоит в отсутствии у компании необходимых патентов (в частности, на AVCHD) — иную причину не только назвать, но и предположить трудно.

В названии каждого файла имеется вся необходимая о нем информация: имя устройства — формат кодирования — профиль кодирования — размер кадра — частота кадров и способ развертки — тип звуковой дорожки — количество каналов — формат титров. Например:

panasonic-hdc-z10000-avc-high@l4.2-1920x1080-50p-ac3-6ch-pgs.mts

Модель камеры: Panasonic HDC-Z10000
Формат: AVC (H.264)
Профиль: High@L4.2
Размер кадра: 1920×1080
Частота, развертка: 50 прогрессивных кадров в секунду
Звук: AС-3, 6 каналов (5.1)
Титры: PGS

Примеры съёмок различными устройствами

canon-5d-mark2-avc-baseline@l5.0-1920x1080-29.97p-pcm-2ch.mov
canon-eos-60d-avc-baseline@l5.0-1920x1080-25p-pcm-2ch.mov
gopro-hero-3-be-avc-high@l5.0-2704x1440-24p-aac-2ch.mp4
gopro-hero-3-be-avc-high@l5.0-2704x1524-25p-aac-2ch.mp4
gopro-hero-3-be-avc-high@l5.1-3840x2160-12p-aac-2ch.mp4
gopro-hero-3-be-avc-high@l5.1-4096x2160-12p-aac-2ch.mp4
gopro-hero2-avc-main@l4.2-1280x960-50p-aac-2ch.mp4
gopro-hero2-avc-main@l4.2-1920x1080-25p-aac-2ch.mp4
htc-one-x-avc-baseline@l3.2-1280x720-variable-fps-aac-2ch.mp4
iphone-4-avc-baseline@l3.1-1280x720-30p-aac-mono.mov
jvc-gc-px1-avc-high@l4.2-1920x1080-59.94p-aac-2ch.mp4
jvc-gz-hd7er-mpeg2-1920x1080-25i-mpa-2ch.mpg
kodak-play-sport-avc-main@l4.2-1920x1080-29.97p-aac-2-ch.mov
nokia-n8-avc-baseline@l3.1-1280x720-30p-aac-2ch.mp4
panasonic-ag-ac160-avc-high@l4.0-1280x720-59,94p-ac3-2ch.mts
panasonic-hdc-z10000-avc-high@l4.2-1920x1080-50p-ac3-6ch-pgs.mts
panasonic-lumix-gh1-avc-main@l4.0-1920x1080-23.976p-pcm-2-ch.mov
samsung-hmx-h300-avc-main@l4.1-1920x1080-59.94i-aac-2ch.mp4
samsung-hmx-m20-avc-high@l4.2-1920x1080-50p-aac-2ch.mp4
samsung-hmx-q10-avc-main@l4.1-1920x1080-50p-aac-2ch.mp4
samsung-hmx-r10-avc-baseline@l4.0-1920x1080-25p-aac-2ch.mp4
samsung-note-3-1920x1080-high@l4.0-aac-2ch.mp4
samsung-note-3-1920x1080-high@l4.2-aac-2ch.mp4
samsung-note-3-3840x2160-high@l5.1-aac-2ch.mp4
samsung-note-3-3840x2160-high@l5.1-aac-2ch-2.mp4
samsung-smart-camera-ex2f-avc-high@l4.1-1920x1080-29.97p-aac-2ch.mp4
sanyo-xacti-vpc-sh1-avc-main@l4.0-1920x1080-59.94i-aac-2ch.mp4
sony-cx700-avc-high@l4.2-1920x1080-50p-ac3-6ch-pgs.mts
sony-hdr-xr550-avc-high@l4.0-1920x1080-25i-ac3-6ch-pgs.mts
sony-nex-vg10-avc-high@l4.0-1920x1080-25i-ac3-2ch-pgs.mts

Некоторые камкордеры предназначены для съёмки не привычного «плоского» видео, а в 3D формате (вообще, по сути, никакое это не 3D, а обычное стереокино, имевшее довольно широкое распространение уже много лет назад). Файлы, которые получаются в результате съёмки 3D камерой, как правило, не предназначены для «сырого» просмотра на бытовых устройствах. Что ни камера — свой формат, свой способ упаковки кадров. С расшифровкой таких форматов не каждая узкоспециализированная программа справится, что уж говорить о стационарных и тем более мобильных плеерах. Тем не менее, и на всякий случай, несколько таких файлов мы присоединяем к данной методике.

В отличие от обычных видеофайлов, в названиях 3D роликов присутствует дополнительная информация, указывающая на способ упаковки левого и правого кадра. Эта информация заключена в квадратные скобки. Так, [anamorph-pair] означает анаморфный способ представления стереовидео; [x2] означает наличие двух видеопотоков, чересстрочного либо прогрессивного. Наконец, отсутствие любых упоминаний о 3D означает, что в этом интерлейсном потоке верхнее поле содержит один ракурс, а нижнее поле — второй.

Примеры съёмок 3D камерами

Форматы

В данном разделе находятся файлы, с помощью которых предполагается тестировать устройства воспроизведения, определяя их «всеядность». То есть способность воспроизводить различные видеоформаты, включая обработку кодеков, контейнеров и специальных возможностей (например субтитров). Вряд ли есть смысл в использовании для тестирования редко встречающихся кодеков, таких, как запись многочисленных систем видеонаблюдения, невиданные проприетарные кодеки и т. д. Поскольку согласно известным законам, всегда найдется файл, который окажется несовместим с вашим устройством, и всегда найдется устройство, неспособное проиграть требуемый файл из коллекции. Причем в данном сценарии схема будет даже сложнее, поскольку в процессе участвует еще и программный плеер.

Поэтому для тестирования применяются наиболее распространенные форматы, которые составляют основную массу имеющихся в Сети. Они были определены после анализа порядка двух тысяч файлов. Результаты и их кодовые обозначения, которые будут использоваться далее в статьях, представлены в таблице.

За три года, прошедшие с момента публикации данной методики, тестирование воспроизведения видеофайлов с размером кадра меньше, чем HD, утеряло актуальность. Любой современный гаджет проиграет такое видео без труда. По этой причине все подобные файлы удалены из методики. Вместо них добавлены видеофайлы со звуковыми дорожками, закодированными в разные форматы - AC3 и AAC.

Название Применение Контейнер Звук Видео
BDRip 720p Фильмы 720p MKV AAC H.264, 1280x720, 24 fps
BDRip 720p Фильмы 720p MKV AC3 H.264, 1280x720, 24 fps
BDRip 1080p Фильмы 1080p MKV AAC H.264, 1920x1080, 24 fps
BDRip 1080p Фильмы 1080p MKV AC3 H.264, 1920x1080, 24 fps

Стоит отметить, что для мобильных устройств важно иметь поддержку аппаратного декодирования форматов видео на уровне чипа, поскольку обработать современные варианты только за счет обычных процессорных ядер чаще всего невозможно. Также не стоит ждать от мобильного устройства декодирования всего-всего, поскольку в этой области лидерство принадлежит ПК и никто не собирается его оспаривать.

В некотором смысле набор получился слишком «вылизанный», поскольку все-таки большинство файлов пользователи стараются делать стандартными и максимально совместимыми с широким классом устройств. Однако в некоторых специальных случаях мы постараемся затрагивать и выходящие за его рамки варианты.

Еще один тип файлов, правильность воспроизведения которых следует проверить — так называемые «стандартные» видеофайлы, параметры которых идеально подходят для воспроизведения на конкретных устройствах: планшетах и телефонах. Пожалуй, нет сейчас такой программы кодирования видео, которая не имела бы подобных пресетов (предустановок, или шаблонов). Интерес вызывают и файлы, которые YouTube создает при загрузке видео на сервер. Все возможные варианты работы YouTube-вского кодировщика также представлены в таблице. Наконец, некоторые случайные форматы или параметры кодека можно найти в третьей графе таблицы. Конечно, неразумно полагать, что сегодняшний медиаплеер справится с воспроизведением 4K, но мы же обязаны смотреть в будущее, хоть одним глазком.

Видео для просмотра на мобильных устройствах Форматы YouTube Прочие форматы

Особняком в данной главе стоят файлы, предназначенные для определения возможностей программного/аппаратного декодера плеера. Существует множество устройств, поддерживающих воспроизведение H.264, закодированного с профилем High@L4.1 (стандартный профиль для подавляющего большинства дисков Blu-ray), но не поддерживающих более высокие профили (они требуются для кодирования Full HD с 50 прогрессивными кадрами, либо с размером кадра, превышающим Full HD).

H.264 с различными профилями кодирования

1080-50p-4.2.mp4
1080-50p-5.0.mp4
1080-50p-5.1.mp4
1080-25p-baseline-4.0.mp4
1080-25p-baseline-5.0.mp4
1080-25p-main-4.0.mp4
1080-25p-main-5.1.mp4
1080-25p-high-4.0.mp4
1080-25p-high-5.1.mp4

Ввиду назойливого проникновения на рынок форматов, отличающихся ещё большим разрешением, настоящая методика была дополнена несколькими новыми файлами с разрешением кадра вплоть до 4K.

Обозначение Размер кадра Соотношение сторон Пример
Ultra HD 2K 2048x1080 256:135 2048x1080.mp4
QWXGA 2048x1152 16:9 2048x1152.mp4
QXGA 2048x1536 4:3 2048x1536.mp4
WQXGA 2560x1440 16:9 2560x1440.mp4
WQXGA 2560x1600 16:10 2560x1600.mp4
Ultra HD 4K 3840x2160 16:9 3840x2160.mp4
Ultra HD 4K 4096x2160 256:135 4096x2160.mp4

Видеофайлы специального назначения

Первый тип файлов, находящихся в данном разделе, предназначен для определения поведения декодера в случаях резкого изменения параметров видеопотока. Возможно, пытливые умы наблюдали случаи, когда при неожиданном и резком увеличении движения или количества объектов в кадре, воспроизведение чуть «притормаживается». Это можно объяснить резким увеличением нагрузки на декодер, которому вдруг потребовалось обработать в разы больше информации. В следующем ролике можно увидеть, как изменяется количество векторов движения (тонкие красные и зеленые линии на видео), а заодно оценить распределение битрейта (бегущая строка, отображающая величину I-, P- и B-кадров). Эти файлы также могут пригодиться при тестировании устройств, кодирующих в реальном времени.

Следующий тип файлов представляет собой несложную конструкцию с циферблатом и стрелкой на нем, делающей полный оборот на 360° за одну секунду. Фотографирование экрана, на котором воспроизводится этот файл, с выдержкой ровно в 1 секунду поможет определить, все ли кадры отобразились. Если не все, то какие из них были пропущены, или демонстрировались дольше других (дублировались). Данные файлы можно использовать при тестировании любых устройств, воспроизводящих видеофайлы и имеющих собственный экран и/или видеовыход. Так, например, воспроизводится видео на одном из современных смартфонов: аппарат не справился с выводом 60 кадров в секунду, два из них пропустил (пустые области), однако, для того, чтобы выдержать положенные 60 fps, другие два кадра он продублировал (более яркие, чем соседние, области).

Во втором случае фотографируется экран эталонного монитора или телевизора, подключенного к видеовыходу тестируемого устройства. Кроме того, с использованием эталонного источника видеосигнала и эталонного монитора/телевизора возможно тестирование любых устройств передачи видеосигнала.

Файлы с волнообразным распределением битрейта Видеофайлы с контрастными циферблатами

Таблицы

Во время знакомства с некоторыми устройствами, воспроизводящими видео, иногда приходится «переводить» текст, написанный маркетологами, на язык, доступный обычному пользователю. К примеру, если в технических характеристиках имеется упоминание о поддержке Full HD-видео, это вовсе не означает, что на экране телевизора вы увидите картинку с разрешением 1920×1080. Например, одно из протестированных ранее устройств вместо картинки с разрешением 1920×1080 (слева) выводит картинку с размером кадра 1920×1080 (справа). Как видите, Разрешение и Размер кадра все-таки сильно различаются.

Конечно, приведенный выше пример — редкий случай; однако, памятуя о возможности повторения таких случаев, мы и подготовили специальные файлы. При проигрывании данных файлов любое воспроизводящее устройство или его экран неизбежно раскроют все свои секреты, если таковые имеются.

Второй тип файлов предназначен для тестирования экранов устройств, в частности, для проверки различимости градаций в тенях и светах. Для этого могут использоваться файлы с разрешениями как 1080p (black-level-1080.mp4, white-level-1080.mp4), так и 720p (black-level-720.mp4, white-level-720.mp4). Данные файлы запускаются в видеоплеере, воспроизведение приостанавливается, после чего нужно внимательно рассмотреть зоны 1 и 2. Они выделены на следующих примерах:

1. Фон в видеофайлах black-level имеет оттенок серого 16,16,16 (в 8-битном представлении RGB). В зоне 1 расположены 8 прямоугольников, фон каждого на 2 единицы темнее следующего в направлении слева на право (то есть от 16,16,16 до 0,0,0). В зоне 2 этих видеофайлов расположены 8 прямоугольников, фон каждого на 2 единицы светлее следующего в направлении слева на право (то есть от 18,18,18 до 32,32,32). Диапазоны на шкале с разметкой в центре кадра отмечают границы прямоугольников. Если правильно отображаются темные градации, то на видеофайлах black-level вся зона 1 не должна отличаться от фона этой тестовой таблицы, то есть и фон, и зона 1 должны быть черными. При этом в зоне 2 должны различаться прямоугольники (они должны быть светлее черного фона), начиная с прямоугольника напротив (ниже) диапазона 2 шкалы с разметкой в центре кадра. Если видны прямоугольники в зоне 1, значит, черный цвет на типичных видеофайлах будет светлее черного, который может отобразить тестируемое устройство, то есть контраст будет ниже возможного. Если невидны прямоугольники в зоне 2, значит, часть самых темных оттенков неотличима от черного цвета, то есть темные объекты будут просто черными, без деталей. Как правило, если в указанных зонах видно (для зоны 1) или не видно (для зоны 2) 1-2 прямоугольника, то к заметному ухудшению качества изображения это не приводит. Если больше - это можно считать дефектом.

2. Фон в видеофайлах white-level имеет оттенок серого 235,235,235. В зоне 1 расположены 10 прямоугольников, фон каждого на 2 единицы темнее следующего в направлении слева на право (то есть от 233,233,233 до 215,215,215). В зоне 2 этих видеофайлов расположены 10 прямоугольников, фон каждого на 2 единицы светлее следующего в направлении слева на право (то есть от 237,237,237 до 255,255,255). Диапазоны на шкале с разметкой в центре кадра отмечают границы прямоугольников. Если правильно отображаются светлые градации, то на видеофайлах white-level вся зона 2 не должна отличаться от фона тестовой таблицы, то есть и фон, и зона 2 должны быть белыми. При этом в зоне 1 должны различаться прямоугольники (они должны быть темнее белого фона), начиная с прямоугольника напротив (выше) диапазона 2 шкалы с разметкой в центре кадра. Если видны прямоугольники в зоне 2, значит, белый цвет на типичных видеофайлах будет темнее белого, который может отобразить тестируемое устройство, то есть контраст будет ниже возможного. Если невидны прямоугольники в зоне 1, значит, часть самых светлых оттенков неотличима от белого цвета, то есть светлые объекты будут просто белыми, без деталей. Как правило, если в указанных зонах видно (для зоны 2) или не видно (для зоны 1) до 5-ти прямоугольников, то к заметному ухудшению качества изображения это не приводит. Если больше - это можно считать дефектом.

 

 

Примечание 1. На исходных файлах *.png (black-level-1080.png,white-level-1080.png,black-level-720.png,white-level-720.png) и примерах *.png (black-level-ex.png,white-level-ex.png) должны различаться градации в обеих зонах. Связано это с тем, что диапазон вывода графических файлов равен 0-255, тогда как для видеофайлов наиболее распространенным диапазоном является 16-235 (но есть и исключения, поэтому в принципе видеоплеер должен иметь настройку выбора рабочего диапазона). В итоге по умолчанию видеоплеер при показе видеофайлов переводит диапазон 16-235 в диапазон 0-255, то есть оттенок 16,16,16 в видеофайле соответствует 0,0,0 (черному) в графическом файле, а оттенок 235,235,235 оттенку 255,255,255 (белому). Цифры приведены для 8-битного кодирования цвета в RGB.

Примечание 2. На самом деле в видеофайлах яркость и цвета кодируются, как правило, цветоразностным способом и только при выводе на устройство отображения цвета переводятся в RGB-представление, однако по факту все сказанное про уровни RGB верно и для цветоразностного кодирования.

1280x720-24p-black-and-white.mp4
1280x720-25p.mp4
1280x720-lines.mp4
1920x1080-23,976p-mira-rotating.m2ts
1920x1080-25p.mp4
1920x1080-lines.mp4
1920x2160-lines-stereo.mp4
black-level-01.mp4
black-level-1080p-02.mp4
grey-720p.mp4
grey-1080p.mp4
test-720p.mp4
test-1080p.mp4
black-level-720.mp4
white-level-01.mp4
white-level-1080p-02.mp4
white-level-720.mp4
test-1080p.mp4
4k8bit.mp4
4k10bit.mp4
UHD-HDR10.mp4
mira-4k.mp4
mira-4k-h265.mp4
white-field.mp4
Plasma-test-ffmpeg-hevc-hdr10-mp4.mp4
Plasma-test-ffmpeg-hevc-hdr10-mp4-4000.mp4
Plasma-test-ffmpeg-hevc-hdr10-mp4-4000-mac.mp4

***

Некоторые файлы, имеющиеся в данной методике, редакция может изменить либо удалить в зависимости от текущих условий. В дальнейшем методика станет пополняться материалом, необходимым для тестирования других классов устройств, не только мобильных. Огромную роль в расширении и усовершенствовании методики сыграют квалифицированные замечания, которые приветствуются в Конференции.

14 февраля 2013 Г.