Для работы проектов iXBT.com нужны файлы cookie и сервисы аналитики.
Продолжая посещать сайты проектов вы соглашаетесь с нашей
Политикой в отношении файлов cookie
Ну это же Sony Xperia. Хотели опыт съемки, приближенный к системным фотокамерам Sony Alpha — получите. Так же как и на полнокадровой беззеркалке берете файл, загружаете в Lightroom, вытягиваете тени и светлые участки… =)
А если серьезно, я без понятия про какие такие светлые участки вы говорите, уже на Xperia 1 III был вполне нормальный HDR.
Вот я то же самое в новости на реддит предположил. Какой-то прорыв в оптике маловероятен, так что либо блок камер станет больше (чего Sony делать похоже не хочет), либо придется сбалансировать меньшей светосилой.
Инструкции в бинарном коде это тоже просто числа. В зависимости от конкретного числа-инструкции выполнение может пойти туда или сюда. В искусственной нейросети в зависимости от конкретного значения числа-коэффициента активируются те или иные связи.
Сложно принять пример с машинным кодом? Ну тогда взгляните на ПЛИС, ее конфигурация это буквально просто числа.
Многие почему-то думают, что ежели if-then-else нет, то это не алгоритм. Представьте себе, императивная форма записи не единственная =). И логика не обязана быть булевой.
Есть ли какое-то ветвление в сложной математической формуле? Нет. А алгоритм есть. Вся формула, состав и порядок переменных, операторов, скобок-приоритетов и т. п. это и есть алгоритм получения результата. А вычисление формулы это выполнение этого алгоритма. Так же и нейросеть, ее коэффициенты это просто запись алгоритма.
Ну то есть вся ваша позиция зиждется на ожидании, что можно взять и сделать TSMC, только поменьше и подешевле. И что необходимый для этого технологический прорыв или уже сделан, или будет скоро сделан, ну или просто все остальные в мире дураки были до сих пор и не понимали как можно сократить капитальные затраты.
И тем не менее, в сколь-нибудь обозримом будущем полностью собственного производства чипов по современным нормам в России не будет по тем же самым причинам, по которым его не будет в любой другой стране кроме может быть США и Китая (да и у тех дела пока идут ни шатко, ни валко).
Не ну вы явно наивно полагаете, что микроэлектроника по современному техпроцессу — это как табуретки, можно просто взять мастерскую помеьше, рабочих подешевле, и на выходе будут плюс-минус такие же чипы, только меньше штук в месяц.
И вот этот пассаж мол если оплатит государство, то это не считается. А можно нам другого экономиста, пожалуйста? Вы вообще в курсе, что налоги не берутся из воздуха? Если банкет оплатит государство, один процессор все равно будет стоить миллион. Экономика в сумме все равно где-то в стране не сойдется, хотя с таким поверхностным отношением как у вас это может показаться незаметным.
Ну и в целом конечно странный диалог. Вам говорят почему это не получится сделать в сколь-нибудь обозримом будущем, а вы в ответ мол нет, если сделать, то получится. Не, ну если так, то ладно.
Существуют ли ателье? Существую ли например гаражные мастерские? Существует ли малый бизнес в принципе?
Вот когда будет возможность изготавливать чипы по сколь-нибудь современному техпроцессу в гараже, без постройки невероятно дорогостоящих фабрик и выстраивания целой индустрии для их обслуживания — вот тогда и приходите. А до тех пор мелкосерийное производство процессоров силами малого бизнеса — это просто наивная фантазия.
Вы либо думаете что фабрика стоимостью в несколько миллиардов долларов (например Fab15 обошлась TSMC в $9.3 млрд) просто откуда-то свалится и расходы на ее постройку не надо будет отбивать.
Либо надеетесь что у нас изобретут уникальное оборудование, позволяющее производить современные чипы без постройки дорогущей фабрики.
Но пока что ситуация обстоит таким образом, что производить современные чипы, о которых идет речь в статье, в России не получится. Дорогое оборудование мы не потянем, а дешевое еще не придумали.
Но TSMC не строит по заводу на каждого заказчика. У них есть оборудование стоимостью дофига денег, которое загружено на полную и производит дофига штук чипов. Большими партиями, мелкими партиями, неважно.
При попытке производить чипы локально, стоимость оборудования все равно будет такая же заоблачная. И в случае мелкой партии стоимость одного чипа получится совершенно неразумная.
Чипы невозможно производить понемногу, их надо клепать миллиардами чтобы экономика хоть как-то сошлась. Рынок одной только РФ слишком мал для этого.
Но никто же не видел никакого line skipping в 12 Мп режиме на 50 Мп сенсорах, когда они только появились.
Потому что его там и не было? =) 12 МП из 50 МП конечно же делаются обычным оверсемплингом (переразмерением). Pixel binning и line skipping это трюки для случаев, когда сенсор не успевает прочитать все пиксели за необходимое время, например съемка 4K60 (16.6 мс на кадр) на полнокадровый 40 МП сенсор со скоростью чтения 20+ мс.
В случае мобильных сенсоров при переходе от 12 МП к 50 МП сенсорам все стало лучше в первую очередь потому что примерно одновременно с этим сенсоры прибавили в размерах аж в несколько раз, еще бы это не сказалось положительно на качестве вообще и динамическом диапазоне в частности.
И даже если не брать это в расчет, согласитесь маловероятно что прям все резко стали использовать Samsung Smart WDR. Тривиальный стекинг для съемки HDR использовался задолго до и само собой продолжает использоваться сейчас повсеместно на всех мыслимых сенсорах.
сенсор должен быть продвинутого класса. Но тогда можно заодно усложнить электронику, сделав эти алгоритмы не очень нужными
Так в том и закавыка, что все мобильные сенсоры уже достаточно продвинутого класса. Как минимум, они практически все stacked.
Вообще дискуссия стартовала с утверждения (моего), что почти весь прогресс качества мобильного фото-видео это было увеличение размеров сенсоров и оптики, а также количества камер. И что теперь, когда мы подошли к практическому пределу, такого же заметного улучшения больше не будет и что один только технологический прогресс сенсоров тоже не сможет его обеспечить. И значит производителям придется как-то креативно изголяться, вот например пробовать приделывать байонет к телефону =).
Потому что ранее можно было каждый год-два едва ли не удваивать размеры сенсоров-оптики и получать очень заметное улучшение качества вообще всех сценариев съемки. Это можно было продавать раз за разом. Но все упомянутые в нашей дискуссии технологии это в лучшем случае однократное и относительно небольшое (если судить по полноразмерным камерам) улучшение отдельных сценариев. Ну хватит этого на следующий iPhone 17. Но дальше-то все равно все, приехали =___=.
Нельзя просто так взять и ничем не пожертвовав утопить камеры в корпус. Поэтому чтобы сделать их заподлицо придется наоборот поднять часть корпуса до высоты линз. Но держу пари что большинству не настолько нужны камеры заподлицо, чтобы ради этого увеличивать толщину всего блока камер.
Но в байеровской структуре уже пиксели используются через один. Просто демозаик посложнее становится, делов-то.
Не-не, в байеровской структуре для яркости используются все пиксели, это цвет через один (два, три или вот уже даже четыре). Если пропускать яркость, это будет как line skipping, мелкие детали очень сильно страдают.
Ну так если пиксели мельче физического предела, то исключение некоторой части из них ничего не может поменять в принципе, кроме количества света ;).
Выше про 200 МП я отметил в том смысле, что если одни инженеры что-то сделали, а другие применили — это еще не обязательно значит что это хорошее решение =).
Ну а потеря света в любом виде это очень плохо. Если вы исключили половину пикселей, это то же самое, как использовать сенсор вдвое меньшей площади. Такое можно делать только от полной безысходности.
там полноценная продвинутая схема вычитывания, в отличие от Smart WDR.
Про Smart ISO Pro они едва ли не прямым текстом говорят что это суть тот же WDR. Мол если читаем весь сенсор и можем делать pixel binning, тогда both high & low gains для HDR меньшего разрешения, а если кроп и каждый пиксель важен, тогда только один conversion gain. То есть это пусть и не разнесенный по времени, но все-таки брекетинг из двух выполняемых одновременно экспозиций меньшего разрешения.
Вот dual slope gain, если это работает как написано — это крутая штука. У меня есть некоторые сомнения, но если все-таки да, то это прям очень хорошо.
Smart ISO Pro и Dual slope gain сами по себе уже не относятся к вычислительной фотографии
Действительно, напрямую не относятся, мы как-то плавно перешли к обсуждению сугубо технических деталей =). Мой посыл в начале дискуссии был в том, что в контексте коммерческих перспектив смартфонного фото — это все полностью, ну или почти полностью может быть реализовано средствами вычислительной фотографии опираясь на возможности «обычных» мобильных сенсоров.
Например выше упоминается rolling shutter, но в случае двух выдержек (для последующей вычислительной склейки) нет какого-то особого большего чем обычно rolling shutter. Вместо проблем с желе брекетинг создает проблемы со склейкой кадров с движущимися объектами. Но если алгоритмы смогут справиться хорошо, то пользователь не оценит усилий инженеров по созданию более продвинутого сенсора, который все это сделает за одну экспозицию. А часто вы видите такие артефакты на своих смартфонных фото?
15 мс — отличный результат, мало какие сенсоры так могут, AFAIK
Любой stacked сенсор может кратно лучше, даже полнокадровые сенсоры из Sony A1 или Canon R3 считывают картинку за ~5 мс. 15 мс для не-stacked сенсора считается нормальным, но не феноменальным результом.
Мобильные сенсоры как правило еще в несколько раз быстрее. Что в принципе наверное не должно удивлять — в отличие от больших камер в смартфоне нет ни механического затвора, ни возможности прикрыть диафрагму. Глобального затвора тоже, как правило, нет. Поэтому единственное что мобильный сенсор может противопоставить лютому яркому свету — это скорость чтения.
Почему? Это было проблемой на 12 Мп сенсорах, но никак не на 50 Мп, тем более 200 Мп.
Потому что есть существенная разница между просто меньшим разрешением (физически или тем более ресемплированным) и использованием пикселей через один. В последнем качество мелких деталей будет хуже, примерно как в случае line skipping.
Кстати 200 МП это пример того, что инженеры могут сделать, а маркетологи потом продать совершенно бестолковую вещь. Мало того, что там пиксели размером меньше длины волны света и что диффракционный предел наступает существенно раньше (а значит никаких 200 МП там и близко нет, можно было бы поставить «обычные» 48 МП и никто бы не заметил разницы), так это еще и hexadeca-bayer цветовой фильтр, то есть информации о цвете там ровно столько же, сколько и у 12 МП сенсора. В случае WDR это роли не играет, но не надо думать что раз пикселей много, то ими можно разбрасываться, кропать сколько угодно и т. п.
Нет, читайте источники, а не перевранную чушь.
Если у вас есть источник лучше официальной презентации, поделитесь.
Smart-ISO Pro — это dual native ISO (т. е. переключение гейна) + два типа пикселей — соответственно, с разным гейном.
В презентации показаны две ортогональные друг другу вещи: dual native ISO и брекетинг экспозиции (тени + светлые участки). Судя по всему весь прикол лишь в том, что это делается автоматически.
Ну так поэтому я и говорю, что dual native ISO для видео придумали.
А какая всему вышеупомянутому разница видео там дальше или фото?
Там 14-битового режима + физзатвора хватает на отдельные кадры.
Не, проблема с полноразмерными камерами в том, что они чисто физически не могут выполнять экспозицию достаточно быстро для вычислительной фотографии (ну, по крайней мере не могли до самых современных stacked сенсоров). Какой еще стекинг, если одна экспозиция считывается 15 мс или того больше?
Подходы к вычислительной фотографии там появились ещё задолго до смартфонов — Sony DRO.
DRO это вообще не то, что называется вычислительной фотографией:
https://vas3k.blog/blog/computational_photography/
Не развивалась она потому, что сегмент начал тухнуть, а энтузиасты всё равно могли HDR срастить в софте.
Не развивалась она по двум причинам: во-первых, с технической стороны не было ни возможности (без быстрого чтения и тем более с механическим затвором 95% вычислительной фотографии невозможны), ни желания (производители даже банальные вещи добавлять не спешат, что уж говорить о сложном пост-процессинге).
Во-вторых, классическая фотография подразумевала и часто до сих пор подразумевает «честное» фото, сделанное максимально прямолинейно за одну экспозицию. Без склеек, нейросетей, экстраполяции и прочего — вот как фотоны на пиксели упали, вот такая картинка и есть. Сколь-нибудь массовый запрос на сложную пост-обработку прямо в камере появился совсем недавно.
Честно говоря, обе упомянутые технологии не то чтобы вау.
Для решения проблемы «чуть что и все светлые области уже обрезало» у мобильного сенсора одни сенсели работают с одним ISO, другие — с другим.
Проблема в том, что заранее неизвестно какие пиксели с каким ISO должны работать. Smart WDR это фиксированный порядок (Samsung пишет «zig-zag WDR pattern») пикселей с несколькими разными ISO, приносящий разрешение/детализацию в жертву HDR.
Как будто у смартфонов есть проблемы с HDR. Я затрудняюсь придумать сценарий, в котором было бы рациональнее использовать WDR вместо повсеместного выполняемого на лету и незаметно для пользователя брекетинга.
Причём, похоже, её уже давно решили. Smart-ISO Pro — вроде, оно и есть.
Smart-ISO Pro это вообще забавная штука. Сначала они в презентации долго распинаются про dual native ISO, а потом все сводится к тому же самому банальному брекетингу =). Сенсор просто делает две разные экспозиции и объединяет их в одну, и все отличие видимо в том, что это делается на сенсоре автоматически. Ну в принципе почему бы и нет, «аппаратное» исполнение должно быть и энергоэффективнее, и проще для использования с точки зрения ISP.
Dual native ISO же ставит целью уловить максимум света и обойти проблему АЦП/ёмкости. Это несколько другая задача.
Нюанс в том, что почти все это можно сделать все тем же самым уже наверное набившим оскомину брекетингом =/.
Очевидно его не получится применить если нельзя читать сенсор очень быстро и часто. Вот в «полноразмерных» камерах как правило нельзя, поэтому там и нет вычислительной фотографии. Большие сенсоры даже в stacked исполнении слишком медленные для этого безобразия. Вот когда глобальный затвор перестанет быть диковинкой по запредельной цене, и станет возможно вытворять такую же дичь как на смартфонах, только с полным кадром — вот это конечно будет любопытно посмотреть.
Также очевидно что dual native ISO можно вкрячить в любой сенсор с любой емкостью «сенселей» (это так photosites переводятся что ли?). Я и не отрицал такую возможность, просто мне показалось сомнительным что в сенсорах с такими крошечными пикселями это может иметь какой-то смысл. Но раз в том же DJI Mini 4 Pro используется, наверное смысл все-таки есть. Ну или 1/1.3" это уже достаточный размер.
Тем не менее, в рамках изначальной дискуссии, dual native ISO даст на один стоп лучшее качество на высоких ISO. Неплохо, но это ну еще на одну-две модели хватит, а дальше? =)
Вообще выше про разные выдержки с разным усилением я смотрел больше со стороны фото и получаемого динамического диапазона, но безотносительно сценария применения принцип разумеется один и тот же. Я не знаю как это сформулировать лаконично, поэтому я сейчас вывалю полное описание происходящего а вы уж сами пропустите что уже и так знаете.
У пикселя (как по-русски будет photosite?) есть определенная электронная емкость (well capacity), максимальный размер которой пропорционален площади пикселя. Обычно чем больше емкость, тем лучше — это позволяет впитать больше света прежде чем будет достигнуто насыщение, и как следствие позволяет обеспечить больший динамический диапазон.
Но есть и обратная сторона. Если световой поток слабый, то пиксель и близко не будет насыщен. А поскольку АЦП конечно же рассчитан на оцифровку всего диапазона от нуля до максимума, чтобы не получить слишком большую погрешность приходится сначала аналоговым образом усилить сигнал (gain, он же ISO).
У этого есть своя проблема — усиляется вообще все, как естественный статистический шум случайного распределения фотонов, так и сугубо технический электрический шум пикселя.
Dual ISO решает эту проблему элегантным образом: просто выключает часть емкости пикселя, что приводит к возможности насыщения пикселя меньшим количеством света. Статистический шум фотонов само собой тот же самый, шум и погрешность АЦП те же самые, только теперь в схеме отсутствует усиление шума самого пикселя. Вуаля!
При чем тут мобильные сенсоры, спросите вы? Дело в том, что у крошечных (и особенно многопиксельных) сенсоров емкость пикселя и так милипипическая. Если немного поехидничать, мобильные сенсоры недостаточно хороши для проблем, которые решаются dual base ISO =).
Соответственно у небольших сенсоров нет такой проблемы что на максимально допустимой выдержке амплитуда сигнала получилась слишком слабой и надо выкручиваться с gain. Обычно все наоборот, чуть что и все светлые области уже обрезало. Штатный способ решения этой проблемы — выполнение и потом сложение нескольких отдельных более коротких экспозиций, каждая из которых по отдельности не приводит к перенасыщению.
По сути, небольшой сенсор всегда работает в режиме второго высокочувствительного ISO, а в режим первого «переключается» посредством стекинга.
Наверное потому что продавать-то особо и нечего =/. Это в принципе и есть моя основная мысль — известное и понятное кончилось или больше не может дать существенного эффекта, а неизвестное… ну, неизвестно будет ли еще вообще.
Сенсор большего размера легко можно было продать. Даже эту забавную дичь с 200 МП 1/1.4" тоже оказалось можно продать. Но незначительные улучшения и тем более еще несуществующие продать довольно затруднительно.
Вот как раз back-illuminated и stacked, дают не мало <...>
Dual Native ISO <...> On-Chip Lens
Проблема в том, что это все далеко не новинка. Среди всех сенсоров на рынке (коммерческой и промышленной техники, мобильных и полноразмерных и т. д.) все это уже используется в самых разных вариантах и комбинациях. Более того, сенсоры смартфонов как правило еще и одни из самых продвинутых — почти все интересные технологии сначала появились в мобильных устройствах и только потом были перенесены в профессиональную фототехнику.
По сути все технологии, что вообще известны публике, уже либо думали применить в мобильных сенсорах, либо они уже применяются там.
Например back-illuminated. Сначала в 2008 появились Exmor R (и аналогичные у конкурентов) и только потом это расползлось по остальной технике. Сначала в 2012 появились Exmor RS (это вроде вообще первый в мире stacked сенсор), и только относительно недавно stacked сенсоры стали появляться в профессиональных камерах. Глобальный затвор? Мобильных сенсоров с глобальным затвором пруд пруди, это очень нужная штука в промышленности.
On-chip lens? Так извините, все сенсоры уже черти сколько лет используют микролинзы в самых разных конфигурациях — это собственно основная причина почему вообще можно делать небольшие сенсоры высокого разрешения и не бояться потерять в эффективности.
Dual ISO (в разных вариантах) действительно непопулярны в мобильной технике, в отличие от полноразмерых фотокамер. Мне кажется это потому, что в отличие от классических камер, где по ряду причин снимок должен быть получен ровно за одну экспозицию, стекинг является фундаментальной особенностью работы с мобильными сенсорами. Зачем усложнять конструкцию дублируя схемотехнику АЦП, если можно просто за то же суммарное время сделать две экспозиции разной длительности и с разным усилением сигнала?
А вы алгоритмы видимо несколько недооцениваете
Мне иногда приходится писать эти алгоритмы, так что я просто не питаю к ним никакого пиетета =).
Стекинг и сшивание кадров — это фундаментальный фундамент вычислительной фотографии, это можно сказать вычислительная фотография и есть. Нюанс в том, что фундаментально это просто длинная выдержка >___<. Весь прикол лишь в том, что имея несколько отдельных кадров и дофига вычислительных ресурсов можно попытаться убрать шевеленку. Но магии в этом примерно нуль.
И это по крайней мере я, про оптику не в курсе. Вероятно и там есть куда расти
Мне кажется если кто-то сможет придумать что-то новое в плане оптики, то это будет как прорыв в емкости аккумуляторов — какие-то там улучшения в телефонах это будет такая мелочь =).
У меня бывает возникает желание взять и спроектировать-собрать фотокамеру самостоятельно, такое экстремальное DIY. Проблема в том, что крупный сенсор не достать, а мобильный порядка 1/1.7" размером это скучно, у меня в телефоне и то больше.
И вот есть дурацкая идея просто взять несколько штук этих небольших сенсоров и поставить их рядом. 6x1/1.7" это уже целый MFT! Склейка нескольких изображений с небольшим параллаксом скорее всего будет еще той задачей, но хотя бы это безумие достойное изначальной затеи.
Ну или просто поставить перед сенсором один-два speed booster (редуктора фокуса) и мануальный объектив от кропа =___=.
Дело в размерах примерно так на 90%. Именно за счет увеличения размеров сенсоров и оптики и происходила львиная доля прогресса в качестве мобильной фотографии.
за счёт новых технологий
Тут конечно всякое может быть и было бы очень круто если бы смогли совершить прорыв в технологиях, но пока ситуация не позволяет рассчитывать на такое, максимум надеяться.
Последнее сколь-нибудь заметное улучшение технологии в сенсорах было сделано Sony где-то пару лет назад, когда они представили линейку сенсоров LYTIA (оно же Exmor T) с увеличенной электронной емкостью пикселей — это дает небольшое улучшение шума/динамического диапазона в особенно тяжелых условиях съемки. Проблема с прогрессом в этом направлении в том, что современные сенсоры и так уже на грани квантовой эффективности, там едва не одиночные фотоны можно регистрировать. Можно выиграть чуточку тут, чуточку там, но добиться эффекта, сравнимого с даже небольшим увеличением размера сенсора скорее всего уже просто физически невозможно.
В плане «архитектуры» мобильные сенсоры и так уже все back-illuminated и как минимум stacked, а то и с глобальным затвором (что на самом деле палка с двумя концами, но иначе нельзя).
То есть нет каких-то понятных перспективных технологий, которые осталось просто довести до ума. Если и будет какой-то прогресс, то он скорее всего будет совершенно спонтанный и/или революционный. Разработку и маркетинг коммерческого устройства с циклом выпуска в год-два на этом не построишь.
Пленоптика (ну просто чтобы два раза не вставать) это технология, позволяющая фиксировать не только свет, но и так сказать его направление, что дает возможность выбора объекта фокуса и ГРИП пост-фактум. Интересная и в определенных случаях очень полезная технология, но для простого обывателя больше игрушка.
или алгоритмов
Большинство людей сильно переоценивают качественную составляющую алгоритмов в базовом режиме съемки.
Можно улучшить ту часть обработки, которая ответственна за искусственный эффект боке в специальном портретном режиме, можно заставить нейросеть генерировать более правдоподобные детали из ничего при съемке на 100x увеличении, можно даже попытаться уменьшить артефакты склейки кадров в случае быстро движущихся объектов и т. п.
Но применительно к основному сценарию «художественного» фото, который как правило и сравнивается с полноразмерными камерами, алгоритмы обработки весьма просты и вылизаны десятилетиями. Грубо говоря, это тот же самый Lightroom, только автоматический и с заранее выбранным пресетом. Никаких особых хитростей.
Например уменьшение «акварельности» это не прогресс в алгоримах, это просто сенсор стал больше, отношение сигнал-шум стало выше и шумодаву больше не надо работать так агрессивно. Или более натуральная передача мелких деталей это тоже по большей части заслуга не алгоритмов, а того что «исходник» стал лучше и больше не надо выкручивать резкость и контраст настолько сильно.
А если серьезно, я без понятия про какие такие светлые участки вы говорите, уже на Xperia 1 III был вполне нормальный HDR.
Сложно принять пример с машинным кодом? Ну тогда взгляните на ПЛИС, ее конфигурация это буквально просто числа.
Многие почему-то думают, что ежели if-then-else нет, то это не алгоритм. Представьте себе, императивная форма записи не единственная =). И логика не обязана быть булевой.
Есть ли какое-то ветвление в сложной математической формуле? Нет. А алгоритм есть. Вся формула, состав и порядок переменных, операторов, скобок-приоритетов и т. п. это и есть алгоритм получения результата. А вычисление формулы это выполнение этого алгоритма. Так же и нейросеть, ее коэффициенты это просто запись алгоритма.
И тем не менее, в сколь-нибудь обозримом будущем полностью собственного производства чипов по современным нормам в России не будет по тем же самым причинам, по которым его не будет в любой другой стране кроме может быть США и Китая (да и у тех дела пока идут ни шатко, ни валко).
И вот этот пассаж мол если оплатит государство, то это не считается. А можно нам другого экономиста, пожалуйста? Вы вообще в курсе, что налоги не берутся из воздуха? Если банкет оплатит государство, один процессор все равно будет стоить миллион. Экономика в сумме все равно где-то в стране не сойдется, хотя с таким поверхностным отношением как у вас это может показаться незаметным.
Ну и в целом конечно странный диалог. Вам говорят почему это не получится сделать в сколь-нибудь обозримом будущем, а вы в ответ мол нет, если сделать, то получится. Не, ну если так, то ладно.
Либо надеетесь что у нас изобретут уникальное оборудование, позволяющее производить современные чипы без постройки дорогущей фабрики.
Но пока что ситуация обстоит таким образом, что производить современные чипы, о которых идет речь в статье, в России не получится. Дорогое оборудование мы не потянем, а дешевое еще не придумали.
При попытке производить чипы локально, стоимость оборудования все равно будет такая же заоблачная. И в случае мелкой партии стоимость одного чипа получится совершенно неразумная.
Чипы невозможно производить понемногу, их надо клепать миллиардами чтобы экономика хоть как-то сошлась. Рынок одной только РФ слишком мал для этого.
В случае мобильных сенсоров при переходе от 12 МП к 50 МП сенсорам все стало лучше в первую очередь потому что примерно одновременно с этим сенсоры прибавили в размерах аж в несколько раз, еще бы это не сказалось положительно на качестве вообще и динамическом диапазоне в частности.
И даже если не брать это в расчет, согласитесь маловероятно что прям все резко стали использовать Samsung Smart WDR. Тривиальный стекинг для съемки HDR использовался задолго до и само собой продолжает использоваться сейчас повсеместно на всех мыслимых сенсорах.
Так в том и закавыка, что все мобильные сенсоры уже достаточно продвинутого класса. Как минимум, они практически все stacked.
Вообще дискуссия стартовала с утверждения (моего), что почти весь прогресс качества мобильного фото-видео это было увеличение размеров сенсоров и оптики, а также количества камер. И что теперь, когда мы подошли к практическому пределу, такого же заметного улучшения больше не будет и что один только технологический прогресс сенсоров тоже не сможет его обеспечить. И значит производителям придется как-то креативно изголяться, вот например пробовать приделывать байонет к телефону =).
Потому что ранее можно было каждый год-два едва ли не удваивать размеры сенсоров-оптики и получать очень заметное улучшение качества вообще всех сценариев съемки. Это можно было продавать раз за разом. Но все упомянутые в нашей дискуссии технологии это в лучшем случае однократное и относительно небольшое (если судить по полноразмерным камерам) улучшение отдельных сценариев. Ну хватит этого на следующий iPhone 17. Но дальше-то все равно все, приехали =___=.
Выше про 200 МП я отметил в том смысле, что если одни инженеры что-то сделали, а другие применили — это еще не обязательно значит что это хорошее решение =).
Ну а потеря света в любом виде это очень плохо. Если вы исключили половину пикселей, это то же самое, как использовать сенсор вдвое меньшей площади. Такое можно делать только от полной безысходности.
Про Smart ISO Pro они едва ли не прямым текстом говорят что это суть тот же WDR. Мол если читаем весь сенсор и можем делать pixel binning, тогда both high & low gains для HDR меньшего разрешения, а если кроп и каждый пиксель важен, тогда только один conversion gain. То есть это пусть и не разнесенный по времени, но все-таки брекетинг из двух выполняемых одновременно экспозиций меньшего разрешения.
Вот dual slope gain, если это работает как написано — это крутая штука. У меня есть некоторые сомнения, но если все-таки да, то это прям очень хорошо.
Действительно, напрямую не относятся, мы как-то плавно перешли к обсуждению сугубо технических деталей =). Мой посыл в начале дискуссии был в том, что в контексте коммерческих перспектив смартфонного фото — это все полностью, ну или почти полностью может быть реализовано средствами вычислительной фотографии опираясь на возможности «обычных» мобильных сенсоров.
Например выше упоминается rolling shutter, но в случае двух выдержек (для последующей вычислительной склейки) нет какого-то особого большего чем обычно rolling shutter. Вместо проблем с желе брекетинг создает проблемы со склейкой кадров с движущимися объектами. Но если алгоритмы смогут справиться хорошо, то пользователь не оценит усилий инженеров по созданию более продвинутого сенсора, который все это сделает за одну экспозицию. А часто вы видите такие артефакты на своих смартфонных фото?
Любой stacked сенсор может кратно лучше, даже полнокадровые сенсоры из Sony A1 или Canon R3 считывают картинку за ~5 мс. 15 мс для не-stacked сенсора считается нормальным, но не феноменальным результом.
Мобильные сенсоры как правило еще в несколько раз быстрее. Что в принципе наверное не должно удивлять — в отличие от больших камер в смартфоне нет ни механического затвора, ни возможности прикрыть диафрагму. Глобального затвора тоже, как правило, нет. Поэтому единственное что мобильный сенсор может противопоставить лютому яркому свету — это скорость чтения.
Кстати 200 МП это пример того, что инженеры могут сделать, а маркетологи потом продать совершенно бестолковую вещь. Мало того, что там пиксели размером меньше длины волны света и что диффракционный предел наступает существенно раньше (а значит никаких 200 МП там и близко нет, можно было бы поставить «обычные» 48 МП и никто бы не заметил разницы), так это еще и hexadeca-bayer цветовой фильтр, то есть информации о цвете там ровно столько же, сколько и у 12 МП сенсора. В случае WDR это роли не играет, но не надо думать что раз пикселей много, то ими можно разбрасываться, кропать сколько угодно и т. п.
Если у вас есть источник лучше официальной презентации, поделитесь.
В презентации показаны две ортогональные друг другу вещи: dual native ISO и брекетинг экспозиции (тени + светлые участки). Судя по всему весь прикол лишь в том, что это делается автоматически.
А какая всему вышеупомянутому разница видео там дальше или фото?
Не, проблема с полноразмерными камерами в том, что они чисто физически не могут выполнять экспозицию достаточно быстро для вычислительной фотографии (ну, по крайней мере не могли до самых современных stacked сенсоров). Какой еще стекинг, если одна экспозиция считывается 15 мс или того больше?
DRO это вообще не то, что называется вычислительной фотографией:
https://vas3k.blog/blog/computational_photography/
Не развивалась она по двум причинам: во-первых, с технической стороны не было ни возможности (без быстрого чтения и тем более с механическим затвором 95% вычислительной фотографии невозможны), ни желания (производители даже банальные вещи добавлять не спешат, что уж говорить о сложном пост-процессинге).
Во-вторых, классическая фотография подразумевала и часто до сих пор подразумевает «честное» фото, сделанное максимально прямолинейно за одну экспозицию. Без склеек, нейросетей, экстраполяции и прочего — вот как фотоны на пиксели упали, вот такая картинка и есть. Сколь-нибудь массовый запрос на сложную пост-обработку прямо в камере появился совсем недавно.
Проблема в том, что заранее неизвестно какие пиксели с каким ISO должны работать. Smart WDR это фиксированный порядок (Samsung пишет «zig-zag WDR pattern») пикселей с несколькими разными ISO, приносящий разрешение/детализацию в жертву HDR.
Как будто у смартфонов есть проблемы с HDR. Я затрудняюсь придумать сценарий, в котором было бы рациональнее использовать WDR вместо повсеместного выполняемого на лету и незаметно для пользователя брекетинга.
Smart-ISO Pro это вообще забавная штука. Сначала они в презентации долго распинаются про dual native ISO, а потом все сводится к тому же самому банальному брекетингу =). Сенсор просто делает две разные экспозиции и объединяет их в одну, и все отличие видимо в том, что это делается на сенсоре автоматически. Ну в принципе почему бы и нет, «аппаратное» исполнение должно быть и энергоэффективнее, и проще для использования с точки зрения ISP.
Нюанс в том, что почти все это можно сделать все тем же самым уже наверное набившим оскомину брекетингом =/.
Очевидно его не получится применить если нельзя читать сенсор очень быстро и часто. Вот в «полноразмерных» камерах как правило нельзя, поэтому там и нет вычислительной фотографии. Большие сенсоры даже в stacked исполнении слишком медленные для этого безобразия. Вот когда глобальный затвор перестанет быть диковинкой по запредельной цене, и станет возможно вытворять такую же дичь как на смартфонах, только с полным кадром — вот это конечно будет любопытно посмотреть.
Также очевидно что dual native ISO можно вкрячить в любой сенсор с любой емкостью «сенселей» (это так photosites переводятся что ли?). Я и не отрицал такую возможность, просто мне показалось сомнительным что в сенсорах с такими крошечными пикселями это может иметь какой-то смысл. Но раз в том же DJI Mini 4 Pro используется, наверное смысл все-таки есть. Ну или 1/1.3" это уже достаточный размер.
Тем не менее, в рамках изначальной дискуссии, dual native ISO даст на один стоп лучшее качество на высоких ISO. Неплохо, но это ну еще на одну-две модели хватит, а дальше? =)
У пикселя (как по-русски будет photosite?) есть определенная электронная емкость (well capacity), максимальный размер которой пропорционален площади пикселя. Обычно чем больше емкость, тем лучше — это позволяет впитать больше света прежде чем будет достигнуто насыщение, и как следствие позволяет обеспечить больший динамический диапазон.
Но есть и обратная сторона. Если световой поток слабый, то пиксель и близко не будет насыщен. А поскольку АЦП конечно же рассчитан на оцифровку всего диапазона от нуля до максимума, чтобы не получить слишком большую погрешность приходится сначала аналоговым образом усилить сигнал (gain, он же ISO).
У этого есть своя проблема — усиляется вообще все, как естественный статистический шум случайного распределения фотонов, так и сугубо технический электрический шум пикселя.
Dual ISO решает эту проблему элегантным образом: просто выключает часть емкости пикселя, что приводит к возможности насыщения пикселя меньшим количеством света. Статистический шум фотонов само собой тот же самый, шум и погрешность АЦП те же самые, только теперь в схеме отсутствует усиление шума самого пикселя. Вуаля!
При чем тут мобильные сенсоры, спросите вы? Дело в том, что у крошечных (и особенно многопиксельных) сенсоров емкость пикселя и так милипипическая. Если немного поехидничать, мобильные сенсоры недостаточно хороши для проблем, которые решаются dual base ISO =).
Соответственно у небольших сенсоров нет такой проблемы что на максимально допустимой выдержке амплитуда сигнала получилась слишком слабой и надо выкручиваться с gain. Обычно все наоборот, чуть что и все светлые области уже обрезало. Штатный способ решения этой проблемы — выполнение и потом сложение нескольких отдельных более коротких экспозиций, каждая из которых по отдельности не приводит к перенасыщению.
По сути, небольшой сенсор всегда работает в режиме второго высокочувствительного ISO, а в режим первого «переключается» посредством стекинга.
Сенсор большего размера легко можно было продать. Даже эту забавную дичь с 200 МП 1/1.4" тоже оказалось можно продать. Но незначительные улучшения и тем более еще несуществующие продать довольно затруднительно.
Проблема в том, что это все далеко не новинка. Среди всех сенсоров на рынке (коммерческой и промышленной техники, мобильных и полноразмерных и т. д.) все это уже используется в самых разных вариантах и комбинациях. Более того, сенсоры смартфонов как правило еще и одни из самых продвинутых — почти все интересные технологии сначала появились в мобильных устройствах и только потом были перенесены в профессиональную фототехнику.
По сути все технологии, что вообще известны публике, уже либо думали применить в мобильных сенсорах, либо они уже применяются там.
Например back-illuminated. Сначала в 2008 появились Exmor R (и аналогичные у конкурентов) и только потом это расползлось по остальной технике. Сначала в 2012 появились Exmor RS (это вроде вообще первый в мире stacked сенсор), и только относительно недавно stacked сенсоры стали появляться в профессиональных камерах. Глобальный затвор? Мобильных сенсоров с глобальным затвором пруд пруди, это очень нужная штука в промышленности.
On-chip lens? Так извините, все сенсоры уже черти сколько лет используют микролинзы в самых разных конфигурациях — это собственно основная причина почему вообще можно делать небольшие сенсоры высокого разрешения и не бояться потерять в эффективности.
Dual ISO (в разных вариантах) действительно непопулярны в мобильной технике, в отличие от полноразмерых фотокамер. Мне кажется это потому, что в отличие от классических камер, где по ряду причин снимок должен быть получен ровно за одну экспозицию, стекинг является фундаментальной особенностью работы с мобильными сенсорами. Зачем усложнять конструкцию дублируя схемотехнику АЦП, если можно просто за то же суммарное время сделать две экспозиции разной длительности и с разным усилением сигнала?
Мне иногда приходится писать эти алгоритмы, так что я просто не питаю к ним никакого пиетета =).
Стекинг и сшивание кадров — это фундаментальный фундамент вычислительной фотографии, это можно сказать вычислительная фотография и есть. Нюанс в том, что фундаментально это просто длинная выдержка >___<. Весь прикол лишь в том, что имея несколько отдельных кадров и дофига вычислительных ресурсов можно попытаться убрать шевеленку. Но магии в этом примерно нуль.
Мне кажется если кто-то сможет придумать что-то новое в плане оптики, то это будет как прорыв в емкости аккумуляторов — какие-то там улучшения в телефонах это будет такая мелочь =).
У меня бывает возникает желание взять и спроектировать-собрать фотокамеру самостоятельно, такое экстремальное DIY. Проблема в том, что крупный сенсор не достать, а мобильный порядка 1/1.7" размером это скучно, у меня в телефоне и то больше.
И вот есть дурацкая идея просто взять несколько штук этих небольших сенсоров и поставить их рядом. 6x1/1.7" это уже целый MFT! Склейка нескольких изображений с небольшим параллаксом скорее всего будет еще той задачей, но хотя бы это безумие достойное изначальной затеи.
Ну или просто поставить перед сенсором один-два speed booster (редуктора фокуса) и мануальный объектив от кропа =___=.
Тут конечно всякое может быть и было бы очень круто если бы смогли совершить прорыв в технологиях, но пока ситуация не позволяет рассчитывать на такое, максимум надеяться.
Последнее сколь-нибудь заметное улучшение технологии в сенсорах было сделано Sony где-то пару лет назад, когда они представили линейку сенсоров LYTIA (оно же Exmor T) с увеличенной электронной емкостью пикселей — это дает небольшое улучшение шума/динамического диапазона в особенно тяжелых условиях съемки. Проблема с прогрессом в этом направлении в том, что современные сенсоры и так уже на грани квантовой эффективности, там едва не одиночные фотоны можно регистрировать. Можно выиграть чуточку тут, чуточку там, но добиться эффекта, сравнимого с даже небольшим увеличением размера сенсора скорее всего уже просто физически невозможно.
В плане «архитектуры» мобильные сенсоры и так уже все back-illuminated и как минимум stacked, а то и с глобальным затвором (что на самом деле палка с двумя концами, но иначе нельзя).
То есть нет каких-то понятных перспективных технологий, которые осталось просто довести до ума. Если и будет какой-то прогресс, то он скорее всего будет совершенно спонтанный и/или революционный. Разработку и маркетинг коммерческого устройства с циклом выпуска в год-два на этом не построишь.
Пленоптика (ну просто чтобы два раза не вставать) это технология, позволяющая фиксировать не только свет, но и так сказать его направление, что дает возможность выбора объекта фокуса и ГРИП пост-фактум. Интересная и в определенных случаях очень полезная технология, но для простого обывателя больше игрушка.
Большинство людей сильно переоценивают качественную составляющую алгоритмов в базовом режиме съемки.
Можно улучшить ту часть обработки, которая ответственна за искусственный эффект боке в специальном портретном режиме, можно заставить нейросеть генерировать более правдоподобные детали из ничего при съемке на 100x увеличении, можно даже попытаться уменьшить артефакты склейки кадров в случае быстро движущихся объектов и т. п.
Но применительно к основному сценарию «художественного» фото, который как правило и сравнивается с полноразмерными камерами, алгоритмы обработки весьма просты и вылизаны десятилетиями. Грубо говоря, это тот же самый Lightroom, только автоматический и с заранее выбранным пресетом. Никаких особых хитростей.
Например уменьшение «акварельности» это не прогресс в алгоримах, это просто сенсор стал больше, отношение сигнал-шум стало выше и шумодаву больше не надо работать так агрессивно. Или более натуральная передача мелких деталей это тоже по большей части заслуга не алгоритмов, а того что «исходник» стал лучше и больше не надо выкручивать резкость и контраст настолько сильно.