Как видеть сквозь стены с минимумом вложений: новая технология, которая превращает научную фантастику в реальность

Пост опубликован в блогах iXBT.com, его автор не имеет отношения к редакции iXBT.com

Вы когда-нибудь мечтали о том, чтобы иметь суперзрение, чтобы видеть то, что скрыто от взгляда обычного человека? Проникать взглядом за стены, двери, здания или другие препятствия? Если да, то вы не одиноки. Эта идея вдохновляла писателей, режиссеров и изобретателей на протяжении десятилетий. И теперь она становится реальностью.

Группа ученых из Университета Южной Флориды (USF) разработала алгоритм, который позволяет реконструировать трехмерную картину скрытой сцены, используя всего лишь одну фотографию.

Эта технология называется 3D-реконструкцией скрытых сцен и основана на использовании обычной цифровой камеры, которая может захватить слабые тени, брошенные на близлежащие поверхности объектами, находящимися за препятствиями. Эти тени содержат информацию о форме, цвете и расположении скрытых объектов, которую алгоритм, разработанный ассистентом профессора компьютерных наук и инженерии USF Джоном Мюррей-Брюсом и его докторантом Робинсоном Чайковским, может использовать для создания высокоточной 3D-модели скрытой сцены.



Сценарий визуализации NLOS с двусторонним разрешением и представление скрытой сцены. Изображение сценария визуализации и предлагаемой сферической координаты проекции высоты. С началом координат в верхнем левом углу дверной коробки скрытая точка сцены идентифицируется по дальности ρ, азимуту θ и ψ проекции высоты. b Показывает ψ проекции высоты в предлагаемой сферической системе координат проекции высоты, она представляет собой проекцию условного угла места сферических координат на плоскость xz и такова, что tan(ψ)=tan(φ)sec(θ). (Для наглядности ось Z перевернута от (a) к направлению вверх.) c Элементное представление поверхности, полученное из 10 равных делений осей азимута и проекции высоты с фиксированным диапазоном, ρ. Красной точкой обозначен пример элемента поверхности, центр которого находится в точке (ρ, θ, ψ) = (1, 11 π/40, 13 π/40), а угловые экстенты равныπ/20 по азимуту и проекции по углу места.d, e Изобразите изменения в наблюдаемом измерении, вызванные перемещением скрытого точечного источника (красной точки) из своего положения в (d) в новое положение в (e) таким образом, что его дальность и прогнозируемый угол места остаются фиксированными, а изменяется только его азимутальный угол. Свет от скрытой точки сцены перекрывается краями дверного проема, создавая освещенную область трапециевидной формы на потолке. Наблюдение на рисунке (d) имеет освещенную трапециевидную область, наклонный край которой круче, чем у (e), поскольку азимутальный угол точечного источника увеличивается от (d) до (e); В остальном высоты освещенных частей трапеции в (d) и (e) равны, поскольку угол проекции не изменяется
Сценарий визуализации NLOS с двусторонним разрешением и представление скрытой сцены. Изображение сценария визуализации и предлагаемой сферической координаты проекции высоты. С началом координат в верхнем левом углу дверной коробки скрытая точка сцены идентифицируется по дальности ρ, азимуту θ и ψ проекции высоты. b Показывает ψ проекции высоты в предлагаемой сферической системе координат проекции высоты, она представляет собой проекцию условного угла места сферических координат на плоскость xz и такова, что tan(ψ)=tan(φ)sec(θ). (Для наглядности ось Z перевернута от (a) к направлению вверх.) c Элементное представление поверхности, полученное из 10 равных делений осей азимута и проекции высоты с фиксированным диапазоном, ρ. Красной точкой обозначен пример элемента поверхности, центр которого находится в точке (ρ, θ, ψ) = (1, 11 π/40, 13 π/40), а угловые экстенты равныπ/20 по азимуту и проекции по углу места. d, e Изобразите изменения в наблюдаемом измерении, вызванные перемещением скрытого точечного источника (красной точки) из своего положения в (d) в новое положение в (e) таким образом, что его дальность и прогнозируемый угол места остаются фиксированными, а изменяется только его азимутальный угол. Свет от скрытой точки сцены перекрывается краями дверного проема, создавая освещенную область трапециевидной формы на потолке. Наблюдение на рисунке (d) имеет освещенную трапециевидную область, наклонный край которой круче, чем у (e), поскольку азимутальный угол точечного источника увеличивается от (d) до (e); В остальном высоты освещенных частей трапеции в (d) и (e) равны, поскольку угол проекции не изменяется
Автор: Nature Communications (2024) DOI: 10.1038/s41467-024-45397-7 Источник: www.nature.com

Исследование Чайковского и Мюррей-Брюса было опубликовано в журнале Nature Communications и является первой в своем роде успешной 3D реконструкцией скрытой сцены с использованием обычной камеры. Ранее исследователи могли создавать только грубые 2D-реконструкции небольших пространств, или требовали специализированного, дорогостоящего оборудования для 3D-визуализации.

«Наша работа достигает аналогичного результата, при минимальных требованиях», — сказал Чайковский. «Вам больше не нужно тратить миллион долларов на оборудование для этого».

Конечно, алгоритм еще не совершенен и требует дальнейшего улучшения. Сейчас он работает достаточно медленно и неточно, и не может справиться со сложными сценами, с множеством движущихся объектов или переменным освещением (кстати исходный код есть в открытом доступе). Поэтому ученые планируют продолжать свои исследования, чтобы повысить скорость и точность алгоритма, а также расширить спектр его применения в будущем. Они ожидают, что через 10-20 лет технология будет достаточно надежной, чтобы быть внедренной в различные области жизни.

Это уникальное достижение в области компьютерного зрения, которое открывает новые возможности для различных сфер деятельности. Например, такая технология может помочь предотвратить автомобильные катастрофы, если водитель сможет заранее увидеть опасность, которая подстерегает его за поворотом. Также она может быть полезна для правоохранительных органов, которые могут оценить ситуацию с заложниками, не рискуя своей жизнью. Кроме того, она может способствовать поиску и спасению людей, которые оказались в затруднительном положении, например, под завалами или в пещерах.

1 комментарий

P
Забавная работка. Но не надо скромничать, автор. Если ещё возможно, добавь скриншоты из Supplementary information, там примеры работы алгоритма для разных объектов есть. До «видеть сквозь стены» ещё как до Шанхая пешком, до применений в реальных условиях ещё дальше, но как фундаментальная работа про сферических коней в вакууме, в общем, неплохо.

Добавить комментарий

Сейчас на главной

Новости

Публикации

Стальной каркас над Манхэттеном: как строили Empire State Building

Весной 1930 года на Пятой авеню почти не было места для огромной стройки. Участок бывшего отеля Waldorf-Astoria был зажат улицами, вокруг шёл обычный манхэттенский трафик, а подрядчики собирались...

✦ ИИ  Что происходит, когда сервер нейросети перестаёт отвечать посреди запроса

Нейросеть начала писать ответ, вывела несколько предложений и внезапно остановилась. Иногда появляется сообщение об ошибке, иногда текст просто обрывается, а в некоторых случаях приложение...

Почему в квантовой физике все случайно: как устроено правило Борна и можно ли его доказать

В основе современной квантовой физики лежат два совершенно разных закона, которые описывают поведение микромира в зависимости от того, наблюдаем мы за ним или нет.Первый закон — это...

«Спидола» ПМП-60: приемник, который спас завод и стал легендой

В конце 1950-х годов Рижский электротехнический завод ВЭФ столкнулся с проблемой, знакомой многим советским предприятиям: ламповая радиоаппаратура перестала пользоваться спросом и затоварила...

Обзор защищенного смартфона AGM X7 Pro: тепловизор высокого разрешения, фонарь и беспроводная зарядка

В этом обзоре посмотрим на очередной защищенный смартфон под названием AGM X7 Pro. Аббревиатуру бренда так и хочется прочитать на автомобильный манер как AMG, и свой стиль у аппарата определенно...