Как заглянуть за угол без зеркала? Новая технология использует стены для «взгляда» за угол – как это работает?

Пост опубликован в блогах iXBT.com, его автор не имеет отношения к редакции iXBT.com
| Мнение | Наука и космос

Представьте себе: обычная, ничем не примечательная стена вдруг обретает способность показывать, что скрывается за поворотом. Звучит как научная фантастика, не правда ли? Однако недавние достижения группы исследователей из Научно-технического университета Китая в Хэфэе приближают нас к этой, казалось бы, невозможной перспективе. Они разработали технологию, которая, по сути, превращает любую шероховатую поверхность в своего рода камеру, способную «заглядывать» за углы. Это не магия, а хитроумное применение физики света и продвинутых алгоритмов.

Почему стена — не зеркало, и как это исправить?

Каждый из нас знает: чтобы увидеть свое отражение, нужно зеркало. Когда лучи света попадают на гладкую, отполированную поверхность зеркала, они отражаются упорядоченно, сохраняя структуру изображения. Стена же — совсем другое дело. Ее поверхность, даже если кажется гладкой на ощупь, на микроуровне полна неровностей, бугорков и впадин. Свет, попадая на такую «пересеченную местность», рассеивается во все стороны хаотично. Именно поэтому мы не видим в стене четкого отражения, а лишь размытое световое пятно. Как метко выразилась Вэньвэнь Ли, одна из авторов исследования, их задача — ««распутать» это размытие и восстановить скрытую сцену». Фактически, они стремятся заставить шероховатую стену работать как зеркало.

Иллюстрация
Автор: ИИ Copilot Designer//DALL·E 3 Источник: www.bing.com

Но как «распутать» то, что кажется безнадежно перемешанным?

Расшифровывая световой хаос: пошаговый подход

В основе метода китайских ученых лежит кропотливый процесс «обучения» системы. Он состоит из нескольких ключевых этапов:

  1. Всестороннее «знакомство» со стеной: Прежде всего, исследователи тщательно изучают саму стену, которая будет служить «объективом». Они делают множество снимков ее поверхности при различных условиях освещения. Это позволяет создать подробнейшую цифровую карту стены, фиксирующую каждую ее микроскопическую неровность и особенность того, как разные ее участки отражают свет. По сути, это своего рода калибровка, создание уникального «паспорта» для конкретной стены.
  2. Создание цифрового двойника: На основе собранных данных формируется точная цифровая модель поверхности стены. Эта модель предсказывает, как именно данная стена будет искажать световые волны, отраженные от скрытого за углом объекта.
  3. Математическое «прозрение»: И вот тут в дело вступают сложные алгоритмы. Зная, как стена искажает свет (благодаря цифровой модели), и анализируя тот самый «хаотичный» свет, который камера улавливает от стены, эти алгоритмы способны, образно говоря, прокрутить процесс искажения в обратную сторону. Они реконструируют исходное изображение объекта, скрытого от прямого взгляда. Это немного похоже на то, как если бы вы пытались восстановить разбитую вазу по осколкам, зная, как именно она разбилась, и какие силы на нее действовали.

И что самое удивительное, вся эта сложная обработка происходит практически мгновенно! Команда продемонстрировала получение изображений в реальном времени со скоростью 25 кадров в секунду. А это, на минуточку, стандартная скорость для видеозаписи.

Схематическая диаграмма. (a) Экспериментальная установка: обычная камера (комбинация объектива и ПЗС-матрицы) делает снимок распределения освещенности на стене, вызванного грубой модуляцией света, исходящего от скрытой сцены (отображаемой на экране мобильного телефона). Затем снимок проходит через алгоритм восстановления изображения сцены. Обратите внимание, что площадь обнаружения намного меньше площади сцены. (b) Микроскопический вид шероховатых стен состоит из пространственно изменяющейся карты нормалей на микроповерхности (c) и материального BRDF на субмикроповерхности (d). Этот материальный BRDF может быть далее разложен на диффузную и зеркальную составляющие. (e) и (f) Сравнение качества изображения для трех моделей стен, продемонстрированное результатами моделирования (e) и выведением взаимной корреляции (f). I. Ламбертианская модель без каких-либо микроскопических проявлений. II. Модель с использованием карты нормалей. III. Модель с использованием карты нормалей и BRDF материала. Цитирование: Wenwen Li, Yijun Zhou, Wei Li, Yutao Chen, Xin Huang, Chen Dai, Jianwei Zeng, Vivek K Goyal, Feihu Xu, and Jian-Wei Pan, «Turning rough surfaces into non-line-of-sight cameras,» Optica 12, 626-634 (2025)
Автор: Wenwen Li et al. Источник: opg.optica.org
Не магия, а технология: доступно и в реальном времени

И вот тут-то и кроется, пожалуй, самое впечатляющее достижение, помимо самой возможности «видеть» невидимое. Как подчеркивает Вэньвэнь Ли, их метод не требует какого-то сверхсложного или уникального оборудования. «Существующая камера вашего телефона, — говорит она, — вполне способна собрать всю необходимую нам информацию». Это заявление открывает поистине грандиозные перспективы. Ведь если технология не нуждается в специальных камерах, ее можно относительно легко интегрировать в уже существующие устройства: смартфоны, планшеты, дроны, системы видеонаблюдения и даже автомобили. И все это — без необходимости дорогостоящих аппаратных модификаций.

Шаг вперед: мнение эксперта

Значимость этой работы подтверждают и независимые специалисты. Клэр Вэлланс из Оксфордского университета, комментируя исследование, отмечает его явное преимущество перед предыдущими попытками решить проблему «заглядывания за угол». По ее словам, именно детальная калибровка стены, то есть учет ее мельчайших пространственных характеристик, позволяет китайским ученым добиваться значительно более высокого разрешения реконструируемых изображений. Это не просто «угадывание» контуров, а получение более четкой картинки.

Экспериментальная установка и результаты. (a) Высокое пространственное разрешение в субмиллиметровом масштабе. (b) Получение изображений с большим FOV. (c) Съемка через замочную скважину NLOS. ПЗС-матрица захватывает ограниченную область обнаружения через замочную скважину диаметром 1 мм (вставка). Три грубых обоев — пенокартон, серебряная краска и отражающая наклейка — тестируются по очереди, чтобы продемонстрировать адаптивность нашего метода к различным типам стен, от зеркальных до диффузных, при пассивной NLOS съемке. Время получения изображения, показанное в видеокадрах, представляет собой комбинацию времени экспозиции и времени вычислений. Цитирование: Wenwen Li, Yijun Zhou, Wei Li, Yutao Chen, Xin Huang, Chen Dai, Jianwei Zeng, Vivek K Goyal, Feihu Xu, and Jian-Wei Pan, «Turning rough surfaces into non-line-of-sight cameras,» Optica 12, 626-634 (2025)
Автор: Wenwen Li et al. Источник: opg.optica.org
Ложка дегтя: текущие ограничения и взгляд в будущее

Однако, как это часто бывает с передовыми разработками, путь к идеалу тернист. На данный момент технология лучше всего справляется с реконструкцией изображений объектов, которые сами излучают свет — например, экранов смартфонов, планшетов или работающих дисплеев. Большинство же предметов в нашем окружении свет не излучают, а лишь отражают его от внешних источников (солнца, ламп). Работа с таким отраженным светом, по словам Ли, пока что дает менее точные результаты. Свет получается более «зашумленным», и восстановить из него четкую картинку сложнее.

Но исследователи не собираются останавливаться на достигнутом. Они уже работают над созданием новых, более совершенных алгоритмов, которые смогут эффективно обрабатывать отраженный свет от самых разных поверхностей. А вы знали, что это одна из самых сложных задач в современной оптике и компьютерном зрении?

Эксперименты по получению полноцветного NLOS-изображения. (a) Чередующаяся RGB-информация скрытой сцены, отображаемой мобильным телефоном, кодируется двумерной плоскостью обнаружения и записывается монохромной камерой. Различные цвета в изображениях обнаружения описывают пространственную разницу для различных RGB-шаблонов. (b) Полноцветные NLOS-изображения восстанавливаются из соответствующих монохромных снимков. (c) Реконструированные спектральные изображения со спектральным диапазоном 400-655 нм. Цитирование: Wenwen Li, Yijun Zhou, Wei Li, Yutao Chen, Xin Huang, Chen Dai, Jianwei Zeng, Vivek K Goyal, Feihu Xu, and Jian-Wei Pan, «Turning rough surfaces into non-line-of-sight cameras,» Optica 12, 626-634 (2025)
Автор: Wenwen Li et al. Источник: opg.optica.org
Заглядывая в будущее: где пригодится «стено-камера»?

Даже с учетом существующих ограничений, потенциал технологии огромен. Вэньвэнь Ли видит множество возможных применений.

  • Для сил правопорядка и спасателей: Возможность безопасно «осмотреть» помещение или опасную зону перед входом, не подвергая риску людей. Это может спасти жизни при штурме зданий или разборе завалов.
  • Для беспилотных автомобилей: Представьте, автомобиль сможет «увидеть» пешехода или другое транспортное средство, внезапно появляющееся из-за «слепого» поворота или припаркованной машины. Это качественно новый уровень безопасности дорожного движения.
  • В робототехнике: Роботы смогут лучше ориентироваться в сложных и незнакомых пространствах, обходя препятствия, которые не находятся в их прямой видимости.

Конечно, до повсеместного внедрения таких систем еще далеко. Предстоит решить немало технических задач, улучшить точность и надежность. Но сам факт того, что обычная стена, благодаря науке, может перестать быть просто преградой, а стать источником важной визуальной информации, поистине захватывает дух. Работа команды из Хэфэя — это яркий пример того, как фундаментальные знания о природе света в сочетании с мощью современных вычислений открывают перед нами поистине фантастические перспективы. Кто знает, возможно, через несколько лет функция «заглянуть за угол» станет такой же обыденной в наших гаджетах, как сегодня — фотокамера или GPS-навигатор. Поживем — увидим!

0 комментариев

Добавить комментарий

Сейчас на главной

Новости

Публикации

Гравитация следует законам Ньютона и Эйнштейна на любых масштабах: доказывает ли это существование темной материи?

Наблюдая за космосом, современные астрономы сталкиваются с серьезной физической проблемой. Эта проблема касается того, как движутся звезды внутри галактик и как сами галактики перемещаются внутри...

Обзор NAS TerraMaster F2-425 или как я пришел к покупке сетевого хранилища, после утраты более 10 000 фото

После того, как я случайно сломал свой основной телефон где-то на побережье Эгейского моря, столкнулся с потерей личных фотографий и видеороликов с близкими мне людьми. Почему-то я всегда считал,...

Моточасы вместо километров: зачем сельхозтехнике особый способ учёта пробега

У сельхозмашин (тракторов, комбайнов, погрузчиков), коммунальной технике (снегоуборочной, грейдеров) показатель наработки выражается в мото — часах, а не в километрах (как у привычных...

Как бактерии стали многоклеточными: система разделения ДНК эволюционировала во внутриклеточный каркас

Биологическая эволюция редко создает принципиально новые механизмы с нуля. В подавляющем большинстве случаев природа модифицирует уже существующие структуры, адаптируя их под совершенно новые...

Компьютерные расчеты термоядерных реакций оказались ошибочными: как эксперимент с испаренной медью переписывает законы физики плазмы

Воздействие сверхмощного оптического лазера на металл разрушает межатомные связи за квадриллионные доли секунды. В точке удара материал мгновенно переходит в состояние горячей сверхплотной плазмы,...

Самые крупные карповые в мире и в России: история семейства, размеры и что из них готовят

Когда слышишь слово «карповые», в голове обычно возникает что-то очень земное и понятное: карась в деревенском пруду, карп на рынке, сазан в рассказах рыбаков. Но у этого семейства есть и совсем...