В начале февраля этого года калифорнийская компания Foveon анонсировала технологию X3, описывающую новый принцип создания фотосенсоров цифровых камер. В отличие от традиционных CCD и CMOS матриц, использующих мозаичный шаблон (например, шаблон Байера), где в каждой точке сенсора измеряется только одна цветовая компонента, а недостающие вычисляются на основе данных соседних точек, новая технология позволяет, по утверждениям Foveon, создать сенсор, который измеряет три цвета одновременно в каждом пикселе. Подход Foveon использует известный физический принцип, суть которого состоит в том, что фотоны разных длин волн (разного цвета) поглощаются в кремнии на разной глубине. Если создать трехслойный сенсор из PN-переходов и измерять в каждом переходе ток, на который оказывают влияние фотоны падающего на сенсор света, возникает возможность получить количественные характеристики спектра (цвет) этого света, разложенного по длинам волн благодаря упомянутому свойству кремния.

Известный сайт www.dpreview.com опубликовал восторженный анонс технологии X3. Кроме этого, на сайте самой компании www.foveon.com было помещено описание данной технологии. В указанных материалах Foveon утверждает, что новый подход позволяет решить ряд проблем, связанных с традиционными мозаичными фотосенсорами, в частности, проблему цветовых артефактов, возникающую при восстановлении (интерполировании) недостающих цветов. Кроме этого, компания пишет о ряде других преимуществ X3 перед традиционными мозаичными сенсорами, например, о низких шумовых характеристиках X3.

Нашей задачей не будет являться подробный анализ или критика того, что предложил Foveon — несомненно, данная технология интересна и содержит в себе инновационные моменты. Однако, после изучения материалов, опубликованных Foveon, в частности, патента 5,965,875, полученного компанией, возникают некоторые вопросы. Один из этих вопросов, который нас сильно заинтересовал — это рекламируемая низкая шумовая характеристика данного сенсора. На сегодняшний день проблема шума — одна из остро стоящих проблем в цифровой фотографии. Простые приближенные расчеты показывают, что у новой матрицы не может быть все гладко в этом плане — устойчивость к шуму, по сравнению с мозаичной матрицей, должна быть в несколько раз меньше. Используя доступную про новый сенсор информацию, мы попробуем продемонстрировать данный момент, сделав приближенную оценку шумовой  характеристики.Шум в цифрах

Существует несколько причин появления шума, видимого (и не видимого) нами на цифровых фотографиях. Перечисляя данные причины, можно отметить такие, как темновой ток, на который оказывает влияние температура элементов камеры, электромагнитные наводки, причем как внешние (от которых можно защититься в какой-то мере), так и внутренние, от самой камеры, и наконец, а это будет одна из главных причин, шум, возникающий вследствие стохастической природы взаимодействия фотонов света с атомами материала светочувствительных элементов (пикселей) сенсора. Поясним более подробно последний момент.

Для простоты ниже по тексту будем называть пиксель сенсора просто сенсором или детектором.

Фотоны света, падающие на пластину материала детектора (а это кремний с внедренными примесями) и взаимодействующие с атомами кремния, выбивают из атомов электроны, рождая в результате пары электрон-дырка. При этом, при движении фотона внутри кристаллической решетки кремния существует некоторая вероятность того, что фотон, «попав» в атом кремния, выбьет из него электрон, родив пару. Данная вероятность напрямую связана с энергетической характеристикой фотона, которая определяется длиной волны или цветом фотона. Ввиду сложности квантовых эффектов в данном взаимодействии, процесс рождения пар электрон-дырка стохастичен, и каждый раз нельзя сказать точно, сколько фотонов родит пары, а сколько пропадет с какими-то другими эффектами. Электрический сигнал, снимаемый с сенсора (заряд или деградация приложенного заряда) будет соответствовать количеству рожденных пар. Обычно вводится понятие квантовой эффективности сенсора — по существу, это величина, показывающая отношение числа рожденных пар к количественно-энергетической характеристике измеряемого света. Квантовая эффективность будет определять среднее число рождаемых пар (или снимаемый сигнал), при заданных условиях измерения (выдержки и интенсивности света). Отклонение от среднего значения в измеренном сигнале, при каждом конкретном измерении, будет являться причиной стохастического шума.Сенсор X3

В оригинальных материалах Foveon, в частности, утверждает, что X3 позволяет измерять три цветовые компоненты (RGB) света в каждой точке, или же в каждом измерительном элементе сенсора. Заметим, что утверждение  о точном измерении каждой компоненты света неверно. В реальности новый сенсор измеряет комбинацию цветов, поскольку фотоны, предполагаемые для регистрации в нижних слоях (зеленые и красные), должны проникнуть через верхний слой и какая-то их часть взаимодействует там, «не долетев» до нужного слоя. Результирующий сигнал, снимаемый с каждой зоны сенсора, будет представлять собой сумму комбинаций цветов, взятую с разными весовыми коэффициентами,

(1)

где С₁, С₂, С₃ — соответственно сигналы, снимаемые с каждой зоны, а N_1B, N_1G, N_1R, N_2B, N_2G, N_2R, N_3B, N_3G, N_3R — весовые коэффициенты для доли синего, зеленого и красного, регистрируемой в каждой зоне. Задача восстановления цвета RGB из измеренных значений C состоит в решении вышеприведенной системы. Мы, используя информацию из патента 5,965,875, попробуем подставить приближенные цифры в эту систему и посмотреть, как она будет реагировать на ошибки измерения, обусловленные стохастической природой вышеописанных процессов. Шумы X3 против шумов мозаичной матрицы

Как мы уже указывали, все наши расчеты будут приблизительными. К сожалению, Foveon опубликовал очень скудные сведения о том, как устроен и как работает сенсор. Однако даже неполная информация позволяет произвести некоторую оценку, что мы и попробуем сделать.
Рис. 1. Графики чувствительности сенсора X3 (патент 5,965,875)

Приведем график из патента 5,965,875 (Рис.1). На нем изображены кривые, показывающие чувствительность элементов сенсора в зависимости от длины волны света, которым освещают сенсор (это экспериментальные данные, приведенные в патенте). Графики B, G и R показывают уровень сигнала, снимаемый с соответствующей зоны сенсора (первой для синего, второй для зеленого и третьей для красного), на горизонтальной оси откладывается длина волны света, которым освещают сенсор.

Имея опубликованные данные о границах синего, зеленого и красного света (400-490 нм для синего, 490-575 нм для зеленого, и 575-700 нм для красного), мы можем провести вертикальные ограничивающие линии, и, посчитав площадь под соответствующей кривой (что эквивалентно интегралу), получить весовые коэффициенты для (1). При этом нам неважен масштаб по вертикальной оси графика, поскольку мы проведем нормировку коэффициентов, о чем мы упомянем ниже.

Для целей сравнения рассмотрим сенсор X3, примерно равный по площади четырем сенсорам Байеровской RG-GB матрицы (Рис.2). Предположим, что мы освещаем оба сенсора светом, имеющим белый цвет в некотором варианте освещения. При этом сенсор X3 будет получать в 4 раза больше света для синей и красной компоненты и в 2 раза больше для зеленой, по сравнению с мозаичным.

Один из важных моментов, которые надо учесть в нашей оценке — это количественная характеристика числа рожденных пар (электрон-дырка) по каждому цвету в каждом элементе (для мозаичного) или в каждой зоне (для X3) сенсора. Данная характеристика будет связана напрямую с квантовой эффективностью, и будет соответствовать сигналу, снимаемому с каждого элемента (для мозаичного) и с каждой зоны (для X3) при освещении сенсора белым светом (принимая некоторый вариант освещения, например отраженного от белого листа бумаги солнечного света). В простом случае можно рассмотреть вариант, дающий одинаковый выход синего, зеленого и красного сигналов (пропорция 1:1:1). Можно представить ситуацию, когда камера и сенсор откалиброваны именно под такой выход, поскольку такую пропорцию ожидает устройство вывода (например, монитор). Однако очевидно, что более вероятна ситуация, когда пропорция выхода RGB цветов для белого света составляет не один к одному, принимая во внимание, что эта пропорция еще зависит от варианта освещения, а эталона «белого» света в природе не существует. Поскольку мы не знаем, каково реально это соотношение для нового сенсора, но знаем, что X3 изготовляется по схожей полупроводниковой технологии, можно предположить, что пропорция выхода будет подобна существующим для мозаичных сенсоров. Поэтому была взята одна из существующих камер на мозаичном сенсоре и была произведена оценка данного параметра для нее. Для этого мы провели следующий эксперимент. Мы взяли 5-ти мегапиксельную камеру Minolta DiMAGE 7 и сняли лист матовой белой бумаги, освещенный солнечным светом, сильно расфокусированной камерой. Было сделано несколько фотографий такого белого листа, на разных выдержках и с разной светочувствительностью ISO. Съемка производилась в RAW формат, файл которого содержит значения, непосредственно снимаемые с пикселей матрицы. После обработки выяснилось, что пропорция выхода синего, зеленого и красного для данной камеры равна приблизительно 1.6:2:1, и, как и следовало ожидать, не зависит от выдержки и светочувствительности.

При оценке шума мы рассмотрим два варианта — первый, с пропорцией выхода 1.6:2:1, что представляется как более соответствующее реальной ситуации для X3, и второй с пропорцией 1:1:1, как простой вариант в качестве примера.

Из графиков на Рис. 1, приближенно подсчитав площади под кривыми и учитывая границы каждого цвета, мы можем найти коэффициенты для системы (1), также вводя для нашего сравнения, что для сенсора X3 синего и красного света в четыре раза больше, а зеленого в два. (Учитывая множитель 2 в выражениях для зеленого цвета для мозаичного сенсора, коэффициенты зеленого цвета мы увеличиваем в 4 раза, что реально для X3 соответствует увеличению зеленого в 2 раза, как мы указали ранее).

(2)

Отступая немного в сторону, здесь сразу трудно удержаться от искушения и не привести одну интересную картинку. Используя полученные коэффициенты (2), и предполагая, что мы освещаем сенсор некоторым «белым» светом, дающим выход 1:1:1 (соответствующим образом отнормировав сигналы, в данном случае, поделив коэффициенты на 4 и умножив на 255, чтобы получить значение цвета в 8 бит/на канал представлении), нарисуем картинку, которая показывает, какой сигнал снимается с каждой зоны X3, в сравнении с чистым синим, зеленым и красным цветом (Рис. 3). Заметьте, что это не сравнение с сигналами мозаичного сенсора, а простое сравнение с чистыми цветами.
Рис. 3. Сравнение цветов, измеряемых сенсором X3, с чистыми синим, зеленым и красным цветами

Как мы видим, в реальности каждая цветовая компонента «размазывается» по предыдущим/последующим зонам, и измеряемый сигнал состоит из комбинации сигналов от всех цветов, в результате в каждой зоне он лишь отдаленно похож на цвет, который предполагается там измерять.

Возвращаясь к основной теме, найдем обратную систему для (2).

(3)

Имея (2) и (3), проведем два варианта сравнения для разных пропорций, и оценим, как будут отличаться результаты измерений для обоих сенсоров при одинаковом уровне шума в регистрируемом сигнале.

Проведем оценку сначала для варианта с пропорцией 1.6:2:1. Еще раз повторим условия в нашем сравнении. Мы освещаем оба сенсора белым светом, дающим выход сигналов RGB в пропорции 1.6:2:1. Имея одинаковую выдержку в измерении, мы снимаем сигналы RGB с мозаичного, и сигналы С₁, С₂, С₃ c X3, которые далее преобразуются в форму RGB.

Тогда пусть — это среднее значение сигнала красного цвета на мозаичном сенсоре.
 — его дисперсия (среднеквадратичное отклонение).
— относительная ошибка, которая будет являться основной характеристикой шумов, поскольку все значения в результирующей фотографии нормируются к одной и той же максимальной величине (255 для 8-ми битового представления), по пропорции выхода цветов, определяемой в том числе и вариантом освещения.

Учитывая наше условие об освещении белым светом, для мозаичного сенсора, с учетом нормирования на пропорцию выхода и учетом факта, что зеленых сенсоров два, для синего и зеленого сигнала можно написать:

Принимая во внимание факт, что мы имеем стохастический процесс, имеющий нормальное распределение случайной величины (в нашем случае это количество пар электрон-дырка, рожденных фотонами данного цвета), и при увеличении измеряемой величины дисперсия растет пропорционально корню из того числа, во сколько раз увеличивается величина, а относительная ошибка — пропорционально обратной величине этого корня, мы можем написать

	(4)

Для случая сенсора X3, который измеряет тот же свет, с такой же ошибкой в красном сигнале, с теми же пропорциями выхода (1.6:2:1), и, учитывая, что количество света в 4 раза больше по синему и красному, и в 2 по зеленому, получаем:

(5)

Отметим, что, как и следовало ожидать, точность измерения С₁, С₂, С₃ выше, чем точность измерения R, G, B на мозаичной матрице, поскольку мозаичная матрица отсекает довольно большую часть света, в то время как Foveon X3 получает весь свет.

Обозначим значения цветов, получаемые для сенсора X3 из системы (3) как подсчитаем дисперсию и относительную ошибку для них

	(6)

Как мы видим в результате — шумы в синем и красном канале X3 будут примерно в 2,5 раза больше шумов мозаики, а шумы в зеленом канале будут примерно в 5 раз больше. Хотя X3 и получается больше света (в 4 раза для синего и красного, в 2 раза для зеленого), но свойства системы преобразования (3) таковы, что будет наблюдаться значительное увеличение шума по сравнению с мозаичной матрицей.

Для пропорции выхода 1:1:1 результат будет следующим (опуская аналогичные вышеприведенным подробные вычисления).

В мозаичной матрице

(7)

В матрице X3

(8)

Для равной пропорции, как мы видим, шумы по синему каналу больше примерно в 2,5 раза, по зеленому в 6, и по красному в 2 раза. Поскольку мы предположили меньший выход зеленого, это привело к большему увеличению шума для зеленого канала по сравнению с предыдущим вариантом. Выводы

Хотя мы всего лишь сделали предположение о пропорции выхода цветов для X3, и это предположение может не соответствовать реальному положению дел, все равно наши цифры показывают, что независимо от того, каков этот выход, мы будем наблюдать значительное увеличение шума. Можно сделать вывод, что при одинаковых условиях и параметрах измерения шумовая характеристика X3 будет гораздо хуже. Причина данного факта связана с неустойчивостью системы преобразования измеряемого цвета С₁, С₂, С₃ в цвет R, G, B. Система С₁, С₂, С₃ неортогональна, и из нее осуществляется пересчет значений в ортогональную систему R, G, B. Поскольку углы между векторами С₁, С₂, С₃ достаточно малы (например угол между С₁ и С₂ всего 18^o), то при выполнении преобразования ошибка в измерении сигнала (числа пар электрон-дырка из каждой зоны X3) будет значительно усиливаться.

Рекламируемое фирмой Foveon снижение шумов, возможно, было достигнуто за счет дополнительных цифровых фильтров, встроенных в матрицу, или каких либо других решений, о которых компания не опубликовала информации.

Отметим, что наше сравнение на самом деле сделано для ситуации, более благосклонной к X3. В частности, выбор одинаковой выдержки в условиях оценки приводит примерно к 4-х кратному увеличению количества рожденных фотонами пар электрон-дырка, регистрируемых в X3, по сравнению с количеством пар в традиционном сенсоре. В случае проведения расчетов с нормированием на одинаковое максимальное количество пар, рожденных в одном детекторе (то есть выдержку для мозаичной матрицы надо увеличить в 4 раза) соотношение бы изменилось в два раза в сторону улучшения характеристик традиционного сенсора.

Также отметим факт, что в нашем рассуждении замена 4-х пикселей в мозаичной матрице на один в матрице X3 соответствует уменьшению разрешающей способности мозаичной матрицы в 4 раза. Однако если для мозаичной матрицы мы восстанавливаем недостающие цвета, то разрешение сохраняется на уровне реального количества пикселей. Хотя Foveon, как указывалось вначале, утверждает, что у мозаичной матрицы присутствуют цветовые артефакты, возникающие именно из-за мозаичной структуры, заметим, что это не совсем верно в своей первопричине. На самом деле, данные артефакты проявляются вследствие не совсем корректного алгоритма восстановления недостающих цветов (например, кубической интерполяции). Применение более правильных методов интерполирования цветов, на наш взгляд, позволяет, оставляя разрешение соответствующим реальному числу пикселей, получить фотографию практически без указанных артефактов, при этом увеличение шумов в алгоритме восстановления будет незначительным.

Мы провели некоторую приближенную оценку, используя информацию, которая известна о новом сенсоре. На основе этого выясняется, что мозаичная матрица находится в лучшем положении по устойчивости к шуму. Нам представляется, что потенциал фототехники на мозаичных матрицах еще совсем не исчерпан, и направление решения проблем, связанных с мозаичными матрицами, заключается скорее всего не в том, что предложил Foveon.

Вне всяких сомнений можно сказать, что будет интересно провести похожую оценку для реального изделия и сравнить наши результаты с тем, что выдает настоящий сенсор.