Методика оценки качества изображения

по уровню разрешения и уровню шумов



Содержание



Зачем нужна оценка качества? Давайте представим себе идеальную ситуацию: мы тестируем какую-то фотокамеру, делаем тестовые снимки, загружаем их в компьютер, нажимаем на кнопочку (то есть вызываем программу обработки снимков) и получаем результат: «Качество изображения — 7,38». При этом мы знаем, чего можно ждать от фотокамер разных классов, например:


Класс камеры Уровень качества
Компактные камеры
начального/среднего уровня
1,0 — 2,0
Компактные камеры
премиум-класса
2,0 — 3,0
Беззеркальные камеры
начального уровня
3,0 — 4,0
Зеркальные камеры начального уровня
Беззеркальные камеры среднего уровня
4,0 — 5,0
Зеркальные камеры среднего уровня
Беззеркальные камеры высокого уровня
5,0 — 6,5
Зеркальные камеры высокого класса
Беззеркальные камеры премиум-класса
6,5 — 9,0
Зеркальные камеры
премиум-класса
9,0 — 10,0
Фотокамеры
Hi-End
10,0 и выше

Эта таблица — ориентировочная, с ней не надо спорить. Она примерно соответствует нашим представлениям о фотокамерах разных классов. И конечно, было бы здорово получить точно измеренную, правдивую оценку какой-либо камеры (например — 7,38). Тогда можно было бы понять, какое место наша фотокамера занимет в своем классе, сравнивать, говорить, что модель А лучше, чем модель В, поскольку ее оценка (7,38) выше оценки камеры В (6,21). Можно было бы утверждать, что сравниваемые камеры формально близки (по набору характеристик, цене), но по тестовым снимкам видно, что модель А дает лучшее качество, и оценка 7,38 это подтверждает.

Практически все тестирующие издания в явном или неявном виде стремятся к объективным оценкам. И все они сталкиваются с известной проблемой: абсолютная истина недостижима. Но зато достижима истина, похожая на правду, не взятая с потолка. Издания, которым удается ее родить (хотя бы на уровне экспертных суждений), заслуживают репутацию вменяемых и даже авторитетных. Если дело касается качества изображения, оценка обычно складывается из двух составляющих. Во-первых, содержит элементы, которые можно оценить или измерить. Во-вторых — элементы, которые измерить практически невозможно.

К первым относится разрешение в линиях на кадр или в линиях на пиксель. А ко вторым, например, оценка качества цветопередачи. Эта задача практически не решается, хотя, конечно, можно взять тестовую шкалу с известными калиброванными цветами, сфотографировать, потом инструментом Пипетка «сколоть» цвета, просуммировать отклонения, сделать выводы…

Но в том-то и дело, что все ведущие производители фототехники намеренно искажают цветопередачу, вводят фирменные цветовые профили, потому что их конечная цель — создание классных фотореалистичных изображений, а не точная передача калиброванных цветов. И насколько им это удается, решает не тестовая программа, а рынок. Если люди покупают фирменный стиль (цветовой профиль), значит, он нравится, значит, он верный. А отличия от калиброванных цветов и то, больше они или меньше, уже не играют особой роли.

Условия съемки одинаковые. Температура проявки RAW — одинаковая (3200 °К). Цветопередача — разная. Кто более прав в цветопередаче? Canon или Nikon?

Точно так же обстоят дела с так называемой «пластикой» изображения. Представьте, что мы рассматриваем две фотографии. На одной кожа ребенка — как у фарфоровой куклы, зачищена под ноль. На другой — ребенок как живой, кожа покрыта пушком, она тонкая, белая, с едва видимыми веснушками и синими жилками, что пробиваются сквозь фарфор кожи. Здесь фарфор и там фарфор, только разного качества. Знакомо, да? А теперь попробуйте перевести это в разрешение, динамический диапазон, цветопередачу. В то, что хоть как-то можно измерить. Боюсь, здесь в ближайшее время вряд ли появится разумный способ оценки, кроме экспертной.


Пластика — дело тонкое, действует на уровне подкорки. Как ее измерить — пока никто не знает.

Но пластика изображения — это высший пилотаж, нам бы разобраться с более простыми вещами — с падением качества при повышении чувствительности, когда кожа ребенка покрывается многочисленными пятнами, «шумовым зерном», или, напротив, становится такой гладкой, что не способна вызвать и тени умиления (когда шумодав вычищает все детали). Как в этом случае можно измерить качество изображения?


Что мы предлагали?

Пока единственное, что мы предлагали в наших тестах, — оценку уровня разрешения. Для этого существуют разнообразные (штриховые, радиальные, кольцевые) мишени (миры). Мы предпочитаем использовать радиальные, хотя это не суть важно — главное понять, сколько линий приходится на пиксель. А в тестах мы обычно давали графики падения разрешения при росте чувствительности.


RAW 24 Мп
фильтр выкл.
JPG 14 Мп
фильтр вкл.

До поры до времени нас это устраивало — пока мы не начали сравнивать разные фотокамеры в рамках одной статьи. Но когда появились элементы сравнения, мы сразу увидели несовершенство относительной оценки в линиях на пиксель. Это несовершенство легко продемострировать с помошью графика разрешения полного кадра (24 Мп) и уменьшенного кадра (14 Мп) той же камеры (кадр 14 Мп получен не в графическом редакторе, это внутрикамерный JPG уменьшенного размера).

Мы видим, что в относительной оценке RAW 24 мегапикселя и JPG 14 мегапикселей дают примерно одинаковое разрешение. Но на практике мы сталкиваемся не с относительными, а абсолютными величинами. Думаю, ни для кого не секрет, что относительное разрешение в линиях на пиксель можно умножить на количество пикселей по ширине кадра и получить количество различимых линий по ширине. Аналогично — по высоте кадра. А насколько различно реальное (абсолютное) разрешение у 24-мегапиксельного кадра и у 14-мегапиксельного — это видно невооруженным глазом.


RAW 24 Мп — JPG 14 Мп RAW 24 Мп — JPG 14 Мп
Сравнение фрагментов: 3,85-кратного увеличения RAW 24 Мп и 5-кратного увеличения JPG 14 Мп.

Итак, чтобы графики относительного разрешения нас не обманывали, мы решили перейти к абсолютной шкале. Для этого можно умножить разрешение на количество пикселей по ширине кадра. Или по высоте кадра. Можно и по ширине, и по высоте. И тогда мы получим разрешение не в различимых линиях, а в различимых пикселях (мегапикселях) — что вполне удобно, чтобы отслеживать уровень качества на той или иной чувствительности. А в чем оно измеряется — в линиях на пикселях, просто в линиях или в попугаях, — это вопрос наглядности. Главное, чтобы оценка давала наглядное представление о качестве кадра.

Но здесь мы сталкиваемся с очевидной проблемой. Качество и разрешение — это связанные, но не равнозначные понятия. Обычно RAW на высокой чувствительности дает зернистую картинку с относительно высоким разрешением, но посредственным качеством. Если мы изучаем JPG с включенным фильтром, картина будет иная: разрешение пониже, зернистость не такая высокая, но мелкие детали изображения будут зачищены фильтром. В любом случае оценки-разрешения недостаточно, чтобы узнать, насколько высоко или низко качество изображения. Чего же не хватает в этой оценке?


ISO 100 ISO 25600
Качество и разрешение — это связанные, но не равнозначные понятия.

Если сравнить снимки, сделанные на чувствительности ISO 100 и ISO 25600, мы увидим, что падение разрешения лишь частично отражает падение качества. Кадр теряет контрастность, приобретает массу цветовых артефактов — все «прелести» цифрового шума. Так что если мы действительно хотим, чтобы наша оценка отражала уровень качества, нам придется учесть и падение контраста, и размытие линий, и появление артефактов. Короче, оценить уровень шума, который по-разному проявляется в зависимости от того, включен или выключен фильтр шумов.

Итак, задача поставлена. Нам нужна оценка уровня шума. Но как ее получить? И в чем можно измерить шум?


Что мы предлагаем?

На самом деле, эта задача встала перед нами еще два года назад, но попытки ее решить особого успеха не принесли (задача не так проста, как может показаться). Так что до поры мы просто давали ту оценку качества, что у нас была — разрешение. А остальные моменты фиксировали визуально — смотрите сами, что творится с кадром на средней и высокой чувствительности. Но в этом году появилось время и желание добить эту задачу.

Основа решения простая:

  1. Мы выбираем фрагмент тестового стенда, содержащий и ровные заливки, и фрагменты текста, и фигуры разных цветов. Например, один из подходящих фрагментов — серая шкала Kodak Gray Scale#13.
  2. У нас есть серии тестовых фотографий, которые делаются в тесте «Шумы» от минимальной до максимальной чувствительности в разных условиях: либо мы снимаем RAW в светлой, а затем в темной сцене, либо JPG с включенным фильтром шумов (тоже сначала в светлой, а затем в темной сцене). Всего в тесте «Шумы» мы снимаем 4 серии кадров.
  3. В каждой серии мы считаем идеальной фотографию, сделанную на минимальной чувствительности — как известно, на минимальной чувствительности даже «мыльницы» дают неплохое качество. Остальные фотографии в серии сравниваются с этим «идеалом».
  4. Каждое сравнение — это просто вычисление разности яркости пикселей «идеала» и кадра, сделанного не на минимальной чувствительности (эту разность легко получить в графическом редакторе — достаточно разместить изображения на двух слоях с режимом наложения «Разница»).

ISO 100 ISO 25600
Фотография серии, сделанная на минимальной чувствительности, считается идеальной. Остальные фотографии серии сравниваются с идеальной. Таким образом мы получаем уровень шума на ISO 800, 1600, 3200, 6400 и т. д.

Давайте посмотрим на два снимка — в качестве иллюстрации мы специально взяли далекие друг от друга семплы ISO 100 и ISO 25600, чтобы различия бросались в глаза. Представьте, что мы просматриваем эти изображения попиксельно и выявляем отличия. Или вычисляем отличия как модуль разности яркости пикселей (для краткости модуль разности мы будем называть «дельтой»). Тогда для первого пикселя «дельта» будет равна


, где

D1 — «дельта» первого пикселя двух файлов;
R1 и R2 — яркости красного в первом и втором файле, соответственно;
G1 и G2 — яркости зеленого цвета;
B1 и B2 — яркости синего цвета.

Понятно, что так мы можем просмотреть все пиксели выбранного фрагмента и рассчитать среднюю «дельту» для всех пикселей:



Средняя «дельта» и есть мера отличия одного кадра от другого. Если мы сравниваем, например, фрагменты одной серии, сделанные на минимальной IS0 100 и на ISO 800, средняя «дельта» даст нам оценку шума на чувствительности ISO 800.

Казалось бы, сравнить два файла (по N пикселей в каждом) несложно, и задача решена. Но здесь появляется следующая серьезная проблема. Во время тестов мы ведем съемку на автоспуске и с крепкого штатива. Но все равно перед каждым снимком приходится касаться камеры, чтобы изменить чувствительность (ISO). При этом даже самые осторожные движения порой сбивают кадр на пиксель или на два.


Совпадающие файлы Файлы, «сбитые» на несколько пикселей
Если сравниваемые изображения совпадают «пиксель в пиксель», сравнение дает точную картину шумов (искажения идеальной картинки). Но даже при небольшом расхождении двух изображений сравнение даст не только уровень шума, но и уровень расхождения.

Правая иллюстрации искусственная, с сильным расхождением в несколько пикселей, чтобы показать суть явления. На деле нам встречается максимальное отклонение порядка 2 пикселей. Но, как будет показано ниже, главная проблема — не расхождение на целое число пикселей, главная проблема — расхождение на долю пикселя.

Эта задача, казалось бы, тоже решается просто. Если кадры не идеально совпадают, перед измерением «дельты» их надо совместить. Это классическая задача — поиск совпадения по минимальной «дельте».


Смещение на целое число
пикселей
Смещение на целое число и долю
пикселя
Если сравниваемые изображения расходятся на целое число пикселей, совместить их очень просто, но если их расхождение составляет долю пикселя, совмещение превращается в очень трудоемкую задачу.

Сложности начинаются, если изображения расходятся не на целое число пикселей, а на целое и долю пикселя. И если передвинуть изображение на целое число пикселей — очень простая задача, то передвинуть его на долю пикселя — задача довольно сложная. Мы пробовали разные варианты. Например, передвижение на половинку пикселя — это пересчет яркостей по формуле среднего:


, где

R1/2 — яркость красного у пикселя, «передвинутого» из ряда 1 в ряд 1,5;
G1/2 и B1/2 — соответственно, яркость зеленого и синего.


Передвижение на треть пикселя:



Передвижение на две трети пикселя:



Мы пытались считать по-разному, но отклонение в долю пикселя оказалось очень коварной штукой, которая всегда оставляет следы. Возможно, при очень глубоком анализе и сложных расчетах удастся научиться сдвигать изображение хоть на 1/100 пикселя, но наша лаборатория просто не может себе позволить настолько углубляться в исследования.


Пример того, как расхождение на долю пикселя сбивает истинное различие двух файлов. Фрагмент слева — разность снимков ISO 100 и ISO 800, сделанных в одной серии. Фрагмент справа — разность снимков ISO 100 и ISO 1600, сделанных в той же серии.

В обоих случаях смещение меньше 0,5 пикселя. Яркость обоих семплов увеличена на 100%, чтобы картинка стала видимой. Смещение на иллюстрации слева дает нам ложную информацию, что шумы на ISO 800 более высоки, чем шумы на ISO 1600.

Итак, мы установили, что смещение фрагментов на долю пикселя может привести к значительному искажению «дельты», а искажение «дельты» создает ложный уровень шума. Это с одной стороны. А с другой — смещение на долю пикселя практически невозможно убрать. Даже если мы сдвигаем картинку на половину пикселя или на треть, мы все равно порой наблюдаем значительные отклонения «дельты» от видимого уровня шумов — от уровня, который виден невооруженным глазом, который можно зафиксировать как экспертную оценку.

Оказалось, что нам мало подсчитать «дельту», нам надо преобразовать ее так, чтобы получить истинную оценку шума (вернее, очень близкую к истинной). И мы сделали это следующим образом:


Аппроксимация по средней
«дельте»
Аппроксимация по минимальной
«дельте»
Пересчет «дельты» по минимальному значению — более правильный,
чем пересчет по среднему значению.

Допустим, мы произвели расчеты и получили график — зависимость «дельты» от чувствительности в точках ISO 100, 800, 1600, 3200, 6400. Мы не знаем точно, какую часть «дельты» дают шумы, а какую — неполное совпадение фрагментов по пикселям. Естественно, первое желание, которое возникает при появлении ломаной кривой — аппроксимировать график линейной функцией: либо по крайним точкам, либо по минимуму СКО (см. иллюстрацию слева). Но после накопления статистики мы убедились, что такой подход не работает, он не дает цифры, совпадающие с визуальной оценкой уровня шума.

И тогда мы поняли, что более точную оценку шумов можно получить, если заменить график на прямую, проходящую через наибольшее отклонение в минус (см. иллюстрацию справа). Объяснить это просто: несовпадение фрагментов по пикселям может только увеличить «дельту», а уменьшить не может в принципе. Значит, зафиксированное минимальное значение «дельты» определяет уровень шумов точнее, чем усредненное значение. Разумеется, в список минимальных значений не входит ноль, это точка отсчета, точка сравнения идеального кадра с самим собой, точка с нулевой «дельтой».

Можем ли мы при этом ошибиться? Да, конечно. Можно предположить, что все расхождения сравниваемых кадров дадут «лишний шум». Но здесь на нас начинает работать теория вероятностей. Раз расхождение кадров на долю пикселя — величина случайная, значит, она будет колебаться: давать где-то сильное увеличение шума, а где-то совсем небольшое. И если мы берем линию, которая проходит через минимальную «дельту», мы отсекаем лишнее увеличение шума.

Вот суть нашего метода. Разумеется, все сказанное относится к линейной аппроксимации. Мы пробовали «играть» в более сложную, с полиномами второй и третьей степени, но значимого результата не получили. А действительно значимый результат мы получили, когда стали сравнивать смежные кадры в серии: первая пара — ISO 100 и ISO 800, вторая пара — ISO 800 и ISO 1600, третья пара — ISO 1600 и ISO 3200. И так далее. В таком подходе «идеалом» для каждого кадра является предыдущий, сделанный на более низкой чувствительности. Чуть измененный метод измерения шумов позволил нам получить довольно стабильные измерения, очень близкие к экспертным оценкам.


Что получается в итоге?

Итак, мы научились измерять шумы. Насколько верно и точно — это покажет практика, а пока мы прогнали по нашей методике семь различных фотокамер и получили результаты, очень похожие на правду (получили оценки, которые вполне мог поставить эксперт, знающий особенности этих фотокамер, изучивший тестовые снимки).

Кроме того, мы научились умножать относительное разрешение в линиях на пиксель на количество мегапикселей матрицы. И в результате у нас образовались две абсолютные оценки качества: уровень разрешения и уровень шума. На графиках ниже первая изображается сплошными линиями, а вторая — пунктирными (точечными).


Canon 7D Mark II, RAW 20 Мп Canon 7D Mark II, JPG 20 Мп

Первая оценка, сплошная линия сверху — это абсолютное разрешение, количество различимых мегапикселей в кадре. Как несложно догадаться, разрешение (детализация) с ростом чувствительности падает. Действительно, когда падает относительное разрешение, падает и абсолютное. Если уменьшается количество различимых линий по высоте и ширине кадра, значит, падает количество различимых пикселей, и в итоге — число реально видимых мегапикселей. Графики это хорошо демонстрируют:

  • Например, синяя сплошная позволяет сказать, что в светлой сцене (Light) на чувствительности ISO 800 матрица Canon 7D Mark II в режиме RAW дает реальное разрешение 17 мегапикселей (график слева). Что очень и очень неплохо для 20-мегапиксельной матрицы.
  • Красная сплошная показывает, как падает разрешение в темной сцене (Dark). Например, в JPG с включенным фильтром шумов (это график справа) на чувствительности ISO 3200 Canon 7D Mark II выдает меньше 10 мегапикселей.

То есть разрешение матрицы в JPG при включенном фильтре шумов на этой чувствительности падает вдвое — кстати, не только у Canon 7D Mark II, а практически у всех фотокамер формата APS-С. Как видно на правом графике ниже, Nikon D7100 в съемке темной сцены также теряет половину разрешения матрицы на ISO 3200.


Nikon D7100, RAW 24 Мп Nikon D7100, JPG 24 Мп

Но давайте перейдем от разрешения ко второй оценке — уровню шумов, который с увеличением чувствительности растет. Пунктирные или точечные линии на графиках — это как раз линии роста шумов. Они показывают, как в кадре накапливаются «лишние» пиксели — либо покрывающие фотографию «зерном» (при выключенном фильтре шумов), либо размывающие тонкие детали изображения (при включенном фильтре). По мере роста чувствительности фотография одновременно теряет детализацию и покрывается шумами — то есть линии разрешения и шумов на графиках постепенно сходятся.


Две оценки на одном поле

Несложно догадаться, что чем больше расстояние между линиями (сплошной и пунктирной), тем выше качество снимка. Чем ближе сходятся линии, тем качество ниже. Это понятно. Но здесь надо учесть, что разрешение измеряется в мегапикселях, а уровень шумов — в условных единицах, связь которых с мегапикселями не очевидна. Очевидно другое — и шумы, и разрешение определяют качество картинки. Когда линии сходятся, качество падает до предела, картинка становится неприятной. А когда линия шумов поднимается выше линии разрешения, картинка становится ужасной. Но в диапазоне от ISO 100 до 12800 это встречается редко — только у фотокамер с матрицей небольшого размера.


Пример снимка с «отрицательным» качеством — когда кривая роста шумов превышает кривую разрешения.

Давайте еще раз озвучим, что условные единицы уровня шумов — это осредненная «дельта», сумма отличий тестовых фрагментов 1 и 2, разделенная на количество пикселей — в каждом фрагменте N пикселей. И еще разделенная на 3, поскольку цвет пикселя складывается из трех цветов RGB.



И еще напомню, что в измененном варианте методики мы рассчитываем «дельту» для ряда ISO 800, 1600, 3200, 6400 и 12800 — все они сравниваются с «идеальным» кадром, сделанным на более низкой чувствительности. Причем каждую пару кадров (ISO 100 и 800, ISO 800 и 1600) наша тестовая программа старается подогнать максимально близко, с точностью до половины пикселя, в идеале «пиксель в пиксель». Но поскольку абсолютно точно совместить тестовые кадры невозможно, после того, как мы рассчитали «дельту» для ряда ISO 800, 1600, 3200, 6400 и 12800 и получили зависимость уровня шума от чувствительности, нам приходится аппроксимировать полученную зависимость линейной функцией по минимальной «дельте».

Но все эти действия не меняют суть «дельты» — мы вычитаем и суммируем единицы яркости, при этом они остаются единицами яркости. И для того, чтобы на поле разрешения они смотрелись как реальные шумы (соответствовали картине), нам пришлось найти коэффициенты пересчета:


Тип тестового кадра К — коэффициент
пересчета
RAW-Light-Low
(RAW, светлая сцена, «низкий» фильтр шумов)
0,40
RAW-Dark-Low
(RAW, темная сцена, «низкий» фильтр шумов)
0,65
JPG-Light -High
(JPG, светлая сцена, «высокий» фильтр шумов)
0,95
JPG-Dark-High
(JPG, темная сцена, «высокий» фильтр шумов)
1,50

Здесь можно долго объяснять, почему выбраны именно такие коэффициенты. Например, для темных сцен они выше, чем для светлых, поскольку в темной сцене яркость пикселей понижена. А следовательно, при сравнении двух пикселей с пониженной яркостью и отклонение яркости будет пониженным. Коэффициенты JPG с включенным фильтром выше коэффициентов RAW, поскольку в абсолютном измерении шумы JPG-High ниже шумов RAW-Low — они снижают качество снимка по-своему, сглаживая картинку, но все равно это портит идеальный образ (снятый на минимальной чувствительности). Кроме того, коэффициенты были подобраны под фрагмент тестового стенда, который мы выбрали в качестве «поля измерения шума».


После множества попыток найти «самое правильное поле измерения шума» оказалось, что карта Kodak Gray Scale #13 — не самая «правильная». Она замечательно подходит для человеческого глаза, дает практически верную визуальную оценку. Но для программного измерения шума наиболее подходящим оказался другой фрагмент нашего тестового стенда. Слева на иллюстрации дан его «идеальный» образ (ISO 100), справа — зашумленный (ISO 12800).

Короче, при подборе коэффициентов учитывалось множество факторов. Вполне возможно, что удалось бы найти и использовать другие коэффициенты, но мы решили использовать эти. Они нас устраивают, поскольку дают (с нашей точки зрения) картину, похожую на правду (на экспертные оценки).

И, что самое главное, коэффициенты зафиксированы для всех тестируемых камер. Все камеры помещены в единую систему измерения и пересчета шумов. Система оценок для всех камер одна. И единственное, чем мы рискуем — что когда-нибудь в тест попадет камера, которая не впишется в эту систему. Но пока этого не произошло. Пока оценки, которая дает наша система (методика), производят впечатление вполне разумных (см. сравнение разных камер в конце статьи).

Последний довод снимает вопрос о том, почему разрешение (в мегапикселях) и уровень шумов (в единицах яркости) размещены на одной координатной плоскости. У нас нет теоретического обоснования, но есть обоснование практическое: мы сделали вполне разумные ходы, чтобы совместить шкалу измерения «мегапиксели — условные единицы шума». А самое главное достоинство такой совмещенной картинки «разрешение—шумы» — это наглядность: графики наглядно показывают, что творится с качеством изображения при повышении чувствительности.


Разные оценки качества

Давайте еще раз озвучим: чем ближе сходятся кривые — тем ниже качество снимка. А если линии смыкаются, мы получаем в кадре нечто страшное — «картинку хуже некуда». Если пунктирная линия оказывается выше сплошной, это уже не низкое качество, это отрицательное качество. Это картинка «мы думали, что хуже некуда, но, оказывается, есть куда…». Впрочем, в диапазоне ISO 100 — 12800 такое встречается только у компактов с небольшими матрицами.


Canon EOS 6D, RAW 20 Мп Canon EOS 6D, JPG 20 Мп

Чтобы еще раз увидеть «кто есть кто», мы приведем графики «разрешение — шумы» и для другой камеры — недавно протестированной нами Canon EOS 6D. Кстати, обратите внимание, насколько далеко разнесены линии разрешения и шумов у полнокадровой зеркалки (хотя Canon 6D относится к начальному уровню своего класса). И еще обратите внимание, что синие линии на наших графиках отображают результаты теста в светлой сцене (Light), а темно-красные линии — в затемненной сцене (Dark). Ярко-красные стрелки даны для примера, обозначают качество в светлой сцене на линии ISO 800 и в темной сцене на линии ISO 3200. Кстати, оценки на графиках также даны отдельно для светлой сцены (синий шрифт) и темной сцены (красный шрифт).

Необходимость оценок, думаю, можно долго не обосновывать. Графики, конечно, дают полную картину, но в большинстве случаев удобнее использовать не полную картину, а некое число, балл, рейтинг, отметку — называйте как хотите. В идеале (см. начало статьи) нам нужен один интегральный показатель качества, который расскажет о камере всё! Даст ее полную характеристику!

Но интегральные оценки выводятся из частных. Интегральные показывают общий уровень, частные — показывают детали. Так что для начала нам нужны именно частные оценки. Например, средний уровень разрешения, который камера дает в диапазоне ISO 100 — 6400. Это определяется просто:


, где

RLight — среднее разрешение в светлой сцене (Light) в диапазоне ISO 100 — 6400;
RDark — среднее разрешение в темной сцене (Dark) в диапазоне ISO 100 — 6400;
RL,XXX — разрешение в светлой сцене (Light) на чувствительности ISO XXX;
RD,XXX — разрешение в темной сцене (Dark) на чувствительности ISO XXX.

Маленькое повторение и дополнение: на графиках RLight обозначается простой буквой R синего цвета, а индекс Light не ставится. Аналогично, RDark обозначается красной буквой R без индекса. В таблицах, которые будут сформированы позже, RLight и RDark вычисляются как средние для данных RAW и JPG с включенным фильтром.


Аналогично мы можем вычислить средний показатель шума:


, где

NLight — средний уровень шума в светлой сцене (Light) в диапазоне ISO 100 — 6400;
NDark — средний уровень шума темной сцене (Dark) в диапазоне ISO 100 — 6400;
NL,XXX — уровень шума в светлой сцене (Light) на чувствительности ISO XXX;
ND,XXX — уровень шума в темной сцене (Dark) на чувствительности ISO XXX.

Здесь также — на графиках NLight обозначается простой буквой N синего цвета, а индекс Light не ставится. Аналогично, NDark обозначается красной буквой N без индекса. В таблицах, которые будут сформированы позже, NLight и NDark вычисляются как средние для данных RAW и JPG с включенным фильтром.


Добавляем еще пару оценок

Обратите внимание, что полученные оценки R и N — абсолютные. Например, R — это среднее количество различимых мегапикселей, которыми может «похвастаться» фотокамера в диапазоне ISO 100 — ISO 6400 в разных условиях (в светлой сцене, в темной сцене, в RAW или JPG). Эта оценка по-своему интересна. Если просмотреть результаты тестов разных камер, мы получим:


  Canon EOS 6D (20 Мп) Nikon D610 (24 Мп) Nikon D7100 (24 Мп)
RAW Light (low filter) R = 16,50 R = 20,14 R = 17,05
JPG Light (high filter) R = 14,50 R = 17,20 R = 14,97

Но мы уже говорили, что разрешение — это частный показатель качества, тем более абсолютное разрешение. Частные показатели нельзя рассматривать в отрыве от других частных показателей. Во-первых, здесь надо учитывать средний уровень шумов — он может быть настолько велик, что высокое разрешение станет бесполезным. Во-вторых, уровень разрешения картинки желательно привязать к разрешению матрицы. Забавно: мы ушли от относительной оценки, но к ней же пришлось вернуться:


, где M — разрешение матрицы тестируемой фотокамеры.

И, наконец, к этой оценке мы добавим еще одну относительную:


, где

RN — относительная оценка, соотношение «разрешение — шумы» (чем-то этот показатель напоминает известное соотношение сигнал/шум). И, что приятно, эта оценка напрямую не зависит от разрешения матрицы.

В итоге мы получаем не один показатель, а целый набор. На примере Canon EOS 6D набор будет выглядеть так:


Canon EOS 6D
 LightDarkAvr
R15,5014,4114,95
RR0,770,720,75
N1,552,492,02
RN10,025,787,40

И в этом наборе относительные показатели разрешения так же информативны, как и абсолютные:

RR показывает, что в светлой сцене (Light) в среднем разрешение камеры составляет 0,77 от разрешения матрицы. А в темной сцене (Dark) — 0,72 от разрешения матрицы.

Напомню, что все оценки — средние в диапазоне чувствительности ISO 100 — 6400 и, кроме того, усреднены по расчетам в RAW и JPG с включенным фильтром шумов. В колонке таблицы Avr дан средний показатель между результатами в светлой и темной сцене. А последняя строчка таблицы — это отношение разрешения к шумам, которым может «похвастаться» фотокамера Canon EOS 6D:

  • 10,02 — в светлой сцене (средняя цифра по результатам расчетов в RAW и JPG с выключенным фильтром шумов);
  • 5,78 — в темной сцене (средняя цифра по результатам расчетов в RAW и JPG с выключенным фильтром шумов);
  • 7,40 — в среднем между Light и Dark.

Пожалуй, последний показатель является самым общим. Его можно считать той «заветной цифрой, которая способна рассказать о камере все».


Сравнение фотокамер: Canon EOS 6D и Nikon D610

Разумеется, перед тем как представить методику на суд читателей, мы прогнали через нее несколько камер. Далеко не все, что побывали в нашей лаборатории, но немало, не одну и не две. Так что вполне можем продемонстрировать, как методика работает — как отображает параметры камер разных классов. Начнем с полнокадровых зеркалок.


Canon EOS 6D
 LightDarkAvr
R15,5014,4114,95
RR0,770,720,75
N1,552,492,02
RN10,025,787,40
Nikon D610
 LightDarkAvr
R18,6717,4818,07
RR0,780,730,75
N1,603,222,41
RN11,665,437,50

Собственно, мы уже их касались, разбирая характеристики на примере Canon EOS 6D. Но теперь мы можем сравнить Canon EOS 6D с другой полнокадровой зеркалкой начального уровня — Nikon D610.

Первое, что мы видим — уровень шума обеих камер невысок. Но Canon EOS 6D шумит чуть меньше — возможно, благодаря 20-мегапиксельной матрице (против 24-мегапиксельной у Nikon D610). Что касается разрешения, здесь Nikon D610 лидирует по абсолютным показателям, а по относительным камеры равны (показатели очень близки). Это говорит о примерно одинаковом качестве, которое выдают две конкурирующие модели. Но при этом:

  • Nikon D610 обладает более высоким абсолютным разрешением, и это не надо сбрасывать со счетов. При печати фотографий 10×15 это никак не скажется, но при печати большого формата или при сильном кадрировании снимка запас разрешения у Nikon D610 выше, чем у Canon 6D.
  • Canon EOS 6D меньше шумит, и работа шумодава этой камеры более качественная. Особенно заметно это становится в темной сцене на высокой чувствительности. Так что уровень шума — это важная самостоятельная оценка, такая же важная, как соотношение RN.

Canon EOS 6D, RAW 20 Мп Canon EOS 6D, JPG 20 Мп
RAW-Light, ISO 6400 RAW-Dark, ISO 6400 JPG-Light, ISO 6400 JPG-Dark, ISO 6400

Четыре графика и таблица с цифрами позволяют увидеть эти особенности двух полнокадровых зеркалок. Кроме того, к графикам прикреплены тестовые кадры, позволяющие увидеть, насколько верны цифры. Обратите внимание на два момента:

  • Что масштаб вертикальной оси определяется разрешением матрицы. Это надо учитывать, если уровень шумов вы решили определить по графику — наклон линейной функции (уровня шумов) зависит от вертикального масштаба.
  • Что на графиках представлены данные в диапазоне ISO 100 — 12800, но оценки рассчитываются в диапазоне ISO 100 — 6400.

Nikon D610, RAW 24 Мп Nikon D610, JPG 24 Мп
RAW-Light, ISO 6400 RAW-Dark, ISO 6400 JPG-Light, ISO 6400 JPG-Dark, ISO 6400

И еще один важный момент: расчеты уровня шума производились не по карте Kodak Gray Scale#13, однако карта дает хорошую визуальную оценку. Мы это уже озвучивали, но действительно важные вещи не грех повторить.


Сравнение фотокамер: Canon EOS 7D Mark II — Nikon D7100 — Pentax K-3

Впрочем, давайте посмотрим, так ли сильно отрывается полный кадр от формата APS-C — на примере трех моделей: Canon 7D Mark II, Nikon D7100 и Pentax K-3


Canon 7D Mark II
 LightDarkAvr
R13,7511,6512,70
RR0,690,580,63
N1,933,502,72
RN7,113,334,68
Nikon D7100
 LightDarkAvr
R16,0114,19715,49
RR0,670,620,65
N2,313,983,14
RN6,943,764,93
Pentax K-3
 LightDarkAvr
R16,4315,6216,03
RR0,680,650,67
N2,023,572,79
RN8,144,375,74

Во-первых, все три камеры оснащены малошумящими матрицами. В обзоре Canon 7D Mark II мы уже сравнивали 7D Mark II с Pentax K-3 и на глаз отмечали, что их матрицы шумят примерно на одном уровне. Но сейчас у нас появился инструмент измерения шумов, который показывает, что рекордсменкой все же является Canon 7D Mark II. И в светлой, и в темной сцене она дает уровень шума ниже, чем Pentax K-3. Здесь не надо забывать, что в таблице даны усредненные данные в диапазоне ISO 100 — 6400, так что отличие даже в одну десятую, даже в пять сотых — существенно.

Графики не только дают более полную картину, чем таблицы, они несколько по иному представляют расчеты. Мы уже говорили, что синие цифры в верхнем левом углу — это расчеты светлой сцены, но только в RAW на левом графике или только в JPG на правом. Красные цифры, соответственно — расчеты темной сцены в RAW в левом графике и в JPG на правом.


Canon 7D Mark II, RAW 20 Мп Canon 7D Mark II, JPG 20 Мп
RAW-Light, ISO 6400 RAW-Dark, ISO 6400 JPG-Light, ISO 6400 JPG-Dark, ISO 6400

Все три камеры формата APS-C демонстрируют нам сужение диапазона качества (расстояния между кривыми разрешения и кривыми шумов) по сравнению с полнокадровыми зеркалками. Особенно это заметно при работе камеры в условиях низкой освещенности (в темной сцене). Кроме того, мы наблюдаем существенное падение разрешения в JPG по сравнению с RAW. Впрочем, мы это отмечали, когда тестировали Canon 7D Mark II, но тогда у нас не было полной картины, мы не видели, на каком уровне находятся шумы. А в случае Canon 7D Mark II фильтр шумов заметно снижает их уровень в светлой сцене JPG и по крайней мере не увеличивает в темной сцене. То есть стратегия Canon 7D Mark II построена следующим образом:

  • Пускай при создании внутрикамерного JPG мы заметно снизим разрешение (обычное снижение — 0,1 линии на пиксель, здесь мы наблюдаем примерно 0,15 линии).
  • Но зато наш фильтр сможет успешно бороться с шумами. Правда, по мере затемнения сцены его эффективность будет падать. Зато общий уровень шумов будет ниже, чем у конкурирующих фотокамер.
  • В итоге мы получим мягкую (слабо детализированную), но чистую картинку.

И если мы посмотрим на снимки Canon 7D Mark II, мы действительно увидим и мягкость, и чистоту — очень грамотную, именно мягкую работу шумодава в светлой сцене. И, увы, снижение качества фильтрации шумов в темной сцене.

Nikon D7100 ведет себя более жестко, для Nikon высокая детализация имеет больший вес. Уровень шумов Nikon D7100 выше, чем у Canon 7D Mark II, но разрешение при создании внутрикамерного JPG снижается не так сильно.


Nikon D7100, RAW 24 Мп Nikon D7100, JPG 24 Мп
RAW-Light, ISO 6400 RAW-Dark, ISO 6400 JPG-Light, ISO 6400 JPG-Dark, ISO 6400

Приятно, что графики точно отражают поведение фотокамер, их фирменный стиль, который так ценят фанаты Canon и Nikon. Теперь давайте посмотрим, что собой представляет Pentax K3 — одна из лучших разработок с брендом Pentax.


Pentax K-3, RAW 24 Мп Pentax K-3, JPG 24 Мп
RAW-Light, ISO 6400 RAW-Dark, ISO 6400 JPG-Light, ISO 6400 JPG-Dark, ISO 6400

Как видно, компания Pentax пошла своим путем, использовала оригинальную стратегию. Матрица Pentax K-3 уникальная, малошумящая (это видно по уровню шума в RAW). При создании JPG шумы растут, но разрешение остается довольно высоким, падает не так сильно, как у Canon 7D Mark II и Nikon D7100. В итоге Pentax K-3 набирает очки за счет низкого шума в RAW и высокого разрешения в JPG и занимает в классе APS-C верхнюю позицию:

  • Canon 7D Mark II — 4,68
  • Nikon D7100 — 4,93
  • Pentax K3 — 5,74
  • Nikon D610 — 7,50
  • Canon 6D — 7,40

Но здесь нам еще раз придется отметить, что хотя оценка RN (соотношение разрешения и шумов) более информативна, чем просто разрешение, она не дает полной информации о работе камеры. Если провести аналогию с автомобилями, это что-то вроде соотношения мощности двигателя и уровня вибрации, которую этот двигатель производит. Но такие характеристики, как мягкость хода, плавность набора скорости, устойчивость, звукоизоляция — остаются за рамками измерений. И в итоге «интеллигентная» Canon 7D Mark II с удивительно пластичной картинкой набирает не так много очков. С другой стороны, мощность и уровень вибрации очень важны, это основа, с нее начинается нормальная езда, которую потом можно превращать в комфортную.


Сравнение фотокамер: Olympus Stylus 1 и Fujifilm X-A2

Когда мы выбирали рабочий диапазон для методики, которая сможет «тестить» камеры разных классов, мы в итоге остановились на ISO 100 — ISO 6400. Хотя для зеркалок (особенно полнокадровых) верхняя граница могла бы быть и выше, а для компактов это слишком много. Но зачем нам плодить разные методики для фоткамер разных классов? И, что еще хуже, разные системы критериев? Давайте вспомним, с чего начиналась статья — с системы оценок, которая может характеризовать не только конкретную фотокамеру, но и ее класс. А также место фотокамеры в своем классе.


Olympus Stylus 1
 LightDarkAvr
R6,185,705,94
RR0,520,480,50
N4,186,685,43
RN1,480,851,09
Fujifilm X-A2
 LightDarkAvr
R10,549,7510,15
RR0,660,610,63
N1,753,452,60
RN6,042,833,91

Так что в этом разделе статьи мы не сравниваем фотокамеры напрямую — они принадлежат к совершенно разным классам. А единственная цель «сравнения» — обозначить уровень оценок для компактных камер (премиум-класс, сенсор 1/1,7″) и для беззеркалок (средний класс, сенсор APS-C).

Начнем с компактной камеры. Надеюсь, ее оценки вы уже просмотрели, теперь давайте посмотрим, откуда они появились.


Olympus Stylus 1, RAW 12 Мп Olympus Stylus 1, JPG 12 Мп
RAW-Light, ISO 6400 RAW-Dark, ISO 6400 JPG-Light, ISO 6400 JPG-Dark, ISO 6400

Вообще, создатели Olympus Stylus 1 потрудились на славу, у этой камеры прекрасно сбалансированы характеристики, она очень удобна в съемке, а ее светосильный 11-кратный зум — просто шедевр. Но маленький сенсор существенно ограничивает возможности камеры. Фактически, это аппарат для съемки на свету, даже легкие сумерки способны загнать его в «глубокие шумы».

И здесь мы видим то, чего не видели на графике качества (разрешения), когда тестировали эту камеру: при росте чувствительности шумы растут настолько быстро, что уже на уровне ISO 3200 достигают линии разрешения. В переводе на русский язык: там, где кривые встречаются, качество фотографии можно называть крайне низким. Когда же Olympus Stylus 1 пытается подавить шумы, встреча кривых происходит еще раньше — на уровне ISO 1000. А на уровне ISO 3200 мы наблюдаем заметное «отрицательное качество». И как следствие, итоговый балл камеры в разы ниже, чем у зеркалок APS-C — 1,09.

Это не критика компактных фотокамер, это изложение фактов, наглядное изображение, чего можно ждать от очень удобной, по-своему продвинутой модели. Она прекрасно фотографирует, если не поднимать чувствительность выше ISO 800 на свету и выше ISO 400 в полутьме. По графикам видно, что на этих ISO расстояние между кривыми достаточно велико, а значит, можно рассчитывать на хорошее качество съемки.


Fujifilm X-A2, RAW 16 Мп Fujifilm X-A2, JPG 16 Мп
RAW-Light, ISO 6400 RAW-Dark, ISO 6400 JPG-Light, ISO 6400 JPG-Dark, ISO 6400

И наконец, посмотрим на графики еще одной камеры — беззеркалки среднего уровня Fujifilm X-A2 с довольно большим сенсором APS-C и относительно невысоким разрешением (16 Мп). График RAW весьма похож на график полнокадровой (!) зеркальной камеры, где постепенно, нерезко снижается разрешение и относительно неспешно растут шумы. Верхнюю чувствительность камеры ограничил производитель, что можно только приветствовать. Так что обратите внимание, что верхняя чувствительность на графиках Fujifilm X-A2 — ISO 6400. Кроме того, минимальная чувствительность Fujifilm X-A2 — ISO 200, но суть дела от этого не меняется.

Характеристики RAW этой камеры превосходны, но характеристики JPG с включенным фильтром не такие кричащие, здесь картина более скромная, хотя она прекрасно демонстрирует стиль работы камеры при создании JPG. Разрешение сразу «зарезается» до половины разрешения матрицы, но потом с ростом чувствительности практически не падает. И это позволяет шумодаву работать довольно эффективно: картинку, которую дает Fujifilm X-A2 на чувствительности ISO 6400, можно назвать очень хорошей, очень чистой.

В среднем Fujifilm X-A2 набрала около 4 баллов (3,91). Это очень высокий балл для беззеркалки, что отчасти определяется большим сенсором, и замечательную работу шумодава Fujifilm сложно не заметить.


Заключение

Теперь осталось дать краткое содержание довольно большого описания методики:

  • Нами разработана методика для оценки качества работы фотокамеры. В разных условиях съемки мы измеряем уровни разрешения и шумов, которые фотокамера обеспечивает в диапазоне чувствительности от ISO 100 до 6400. Разные условия предполагают съемку при нормальном освещении и в затемненной сцене. Кроме того, мы снимаем показания RAW с выключенным фильтром шумов и в JPG с включенным фильтром.
  • Эта методика является расширением нашей прежней методики, где качество оценивалось только по уровню разрешения. К прежней методике добавлен следующий метод измерения уровня шумов:
    • Шум измеряется по серии снимков, сделанных в одних и тех же условиях в диапазоне чувствительности от ISO 100 до 6400.
    • Мерой шума является разность двух фрагментов, «дельта», которая вычисляется при попиксельном сравнении тестового кадра с «идеальным» кадром.
    • Для каждого кадра в серии идеальным считается кадр, снятый на более низкой чувствительности. Кадр ISO 800 сравнивается с кадром ISO 100, кадр ISO 1600 — с кадром ISO 800, и т. д.
    • Перед вычислением «дельты» производится геометрическое совмещение двух кадров с точностью до 0,5 пикселя.
    • После вычисления «дельты» для всех значений ряда ISO 800, 1600, 3200, 6400 полученная зависимость аппроксимируется линейной функцией по минимальному значению «дельты».
    • После чего аппроксимированная «дельта» умножается на коэффициент, привязанный к типу серии. Например, для RAW-Light (RAW, выключенный фильтр шумов, светлая сцена) коэффициент пересчета равен 0,4.
  • В результате измерения разрешения и расчета шумов мы получаем графики падения качества снимка при росте чувствительности.
  • С одной стороны качество ограничивает падение разрешение, с другой — рост шумов. Линии на графиках постепенно сходятся, и очень показательной мерой качества является расстояние между линиями.
  • Результаты RAW и JPG в светлой сцене усредняются и становятся показателями Light.
  • Результаты RAW и JPG в темной сцене усредняются и становятся показателями Dark.
  • Набор показателей, определяющий качество работы камеры, следующий:
    • R — абсолютный показатель разрешения (среднее разрешение в диапазоне ISO 100 — 6400);
    • RR — относительный показатель разрешения (абсолютный, поделенный на разрешение матрицы);
    • N — абсолютный показатель уровня шума (средний уровень шума в диапазоне ISO 100 — 6400);
    • RN — соотношение «разрешение — уровень шума».
  • Показатели RAW и JPG приводятся на графиках: синим цветом обозначаются показатели светлой сцены, красным — показатели темной сцены. Среднее показателей RAW и JPG в светлой сцене становится показателем Light. Среднее показателей RAW и JPG в темной сцене становится показателем Dark. Показатели Light и Dark заносятся в таблицу, а их среднее становится показателем Avr.
  • Наиболее общим показателем является RNAvr, он четко позиционирует возможности камеры. В проведенной обкатке методики были получены результаты:
    • Nikon D610: RNAvr = 7,50
    • Canon 6D: RNAvr = 7,40
    • Pentax K-3: RNAvr = 5,74
    • Nikon D7100: RNAvr = 4,93
    • Canon 7D Mark II: RNAvr = 4,68
    • Fujifilm X-A2: RNAvr = 3,91
    • Olympus Stylus 1: RNAvr = 1,09
  • Примечание: методика дает оценки качества только по уровню разрешения и уровню шумов. Причем под шумами понимается любое искажение кадра, снятого на минимальной чувствительности. Цветопередача, динамический диапазон, «пластика» изображения и другие оценки качества методикой не охватываются.

Итак, сказано немало, методика расписана более чем подробно. Мы допускаем, что при ее дальнейшем развитии возникнут изменения — практика покажет. Но то, что есть на сегодняшний день, кажется нам вполне здравым.




Дополнительно

ВИКТОРИНА TT

Материнские платы какого форм-фактора можно устанавливать в корпус Thermaltake Versa C22 RGB Snow Edition?

Нашли ошибку на сайте? Выделите текст и нажмите Shift+Enter

Код для блога бета

Выделите HTML-код в поле, скопируйте его в буфер и вставьте в свой блог.