Новая система компьютерного зрения превращает любой блестящий объект в своего рода камеру, позволяя наблюдателю видеть за углами или за препятствиями.

Адам Зеве | Офис новостей Массачусетского технологического института

Подпись:Исследователи из Массачусетского технологического института и Университета Райса создали технику компьютерного зрения, которая использует отражения для изображения мира, превращая глянцевые объекты в «камеры», позволяя пользователю видеть мир так, как если бы он смотрел через «линзы» повседневной жизни. предметы, такие как керамическая кофейная кружка или металлическая пресс-папье.

Когда автомобиль едет по узкой городской улице, отражения от глянцевой краски или боковых зеркал припаркованных автомобилей могут помочь водителю увидеть вещи, которые в противном случае были бы скрыты от глаз, например, ребенка, играющего на тротуаре позади припаркованных машин.

Основываясь на этой идее, исследователи из Массачусетского технологического института и Университета Райса создали технику компьютерного зрения, которая использует отражения для изображения мира. Их метод использует отражения для превращения глянцевых объектов в «камеры», позволяя пользователю видеть мир так, как если бы он смотрел через «линзы» повседневных предметов, таких как керамическая кофейная кружка или металлическая пресс-папье.   

Используя изображения объекта, снятые под разными углами, этот метод преобразует поверхность этого объекта в виртуальный датчик, который улавливает отражения. Система искусственного интеллекта отображает эти отражения таким образом, что позволяет ей оценивать глубину сцены и захватывать новые виды, которые были бы видны только с точки зрения объекта. Можно использовать эту технику, чтобы заглянуть за углы или за объекты, которые блокируют обзор наблюдателя.

Этот метод может быть особенно полезен в автономных транспортных средствах. Например, это может позволить беспилотному автомобилю использовать отражения от объектов, которые он проезжает, таких как фонарные столбы или здания, чтобы видеть вокруг припаркованного грузовика.

«Мы показали, что любая поверхность может быть преобразована в датчик с помощью этой формулы, которая преобразует объекты в виртуальные пиксели и виртуальные датчики. Это можно применять во многих различных областях», — говорит Кушагра Тивари, аспирант группы Camera Culture Group в Media Lab и соавтор статьи об этом исследовании.

К Тивари присоединились в статье соавтор Акшат Дейв, аспирант Университета Райса; Нихил Бехари, научный сотрудник Массачусетского технологического института; Цофи Клингхоффер, аспирант Массачусетского технологического института; Ашок Вирарагхаван, профессор электротехники и вычислительной техники Университета Райса; и старший автор Рамеш Раскар, адъюнкт-профессор медиаискусства и науки и руководитель группы Camera Culture в Массачусетском технологическом институте. Исследование будет представлено на конференции по компьютерному зрению и распознаванию образов.

Размышляя над размышлениями

Герои криминальных телевизионных шоу часто «увеличивают и улучшают» кадры наблюдения, чтобы запечатлеть отражения — возможно, отражения, пойманные в солнцезащитных очках подозреваемого, — которые помогают им раскрыть преступление. 

«В реальной жизни использовать эти отражения не так просто, как просто нажать кнопку улучшения. Получить полезную информацию из этих отражений довольно сложно, потому что отражения дают нам искаженное представление о мире», — говорит Дэйв.

Это искажение зависит от формы объекта и мира, который отражает объект, о которых исследователи могут иметь неполную информацию. Кроме того, глянцевый объект может иметь свой цвет и текстуру, которые смешиваются с отражениями. Кроме того, отражения — это двумерные проекции трехмерного мира, что затрудняет оценку глубины отраженных сцен.

Исследователи нашли способ преодолеть эти трудности. Их метод, известный как ORCa (что означает «объекты как камеры сияющего поля»), работает в три этапа. Во-первых, они фотографируют объект с разных точек зрения, фиксируя множественные отражения на глянцевом объекте.

Затем для каждого изображения с реальной камеры ORCa использует машинное обучение для преобразования поверхности объекта в виртуальный датчик, который улавливает свет и отражения, попадающие в каждый виртуальный пиксель на поверхности объекта. Наконец, система использует виртуальные пиксели на поверхности объекта для моделирования трехмерной среды с точки зрения объекта.

Ловля лучей

Отображение объекта под разными углами позволяет ORCa захватывать многоракурсные отражения, которые система использует для оценки глубины между глянцевым объектом и другими объектами в сцене, в дополнение к оценке формы глянцевого объекта. ORCa моделирует сцену как 5D-поле излучения, которое собирает дополнительную информацию об интенсивности и направлении световых лучей, которые исходят из каждой точки сцены и падают на нее.

Дополнительная информация, содержащаяся в этом поле яркости 5D, также помогает ORCa точно оценивать глубину. А поскольку сцена представлена ​​в виде 5D-поля излучения, а не 2D-изображения, пользователь может видеть скрытые функции, которые в противном случае были бы заблокированы углами или препятствиями.

На самом деле, как только ORCa зафиксирует это пятимерное поле сияния, пользователь может разместить виртуальную камеру в любом месте сцены и синтезировать то, что увидит эта камера, объясняет Дэйв. Пользователь также может вставлять виртуальные объекты в окружающую среду или изменять внешний вид объекта, например, с керамического на металлический.

«Особенно сложно было перейти от 2D-изображения к 5D-среде. Вы должны убедиться, что отображение работает и является физически точным, поэтому оно основано на том, как свет распространяется в пространстве и как свет взаимодействует с окружающей средой. Мы потратили много времени на размышления о том, как смоделировать поверхность», — говорит Тивари.

Точные оценки

Исследователи оценили свою технику, сравнив ее с другими методами моделирования отражений, что немного отличается от задачи, которую выполняет ORCa. Их метод хорошо показал себя при отделении истинного цвета объекта от отражений и превзошел базовые линии, извлекая более точную геометрию объекта и текстуры.

Они сравнили оценки глубины системы с смоделированными наземными данными о фактическом расстоянии между объектами в сцене и пришли к выводу, что прогнозы ORCa надежны.   

«Последовательно, с ORCa он не только точно оценивает окружающую среду как 5D-изображение, но для достижения этого на промежуточных этапах он также хорошо оценивает форму объекта и отделяет отражения от текстуры объекта», — говорит Дэйв.

Опираясь на это доказательство концепции, исследователи хотят применить эту технику к изображениям с дронов. ORCa может использовать слабые отражения от объектов, над которыми пролетает дрон, чтобы воссоздать сцену с земли. Они также хотят улучшить ORCa, чтобы он мог использовать другие сигналы, такие как тени, для восстановления скрытой информации или объединять отражения от двух объектов для отображения новых частей сцены.

«Оценка зеркальных отражений очень важна для наблюдения за углами, и это следующий естественный шаг к тому, чтобы увидеть углы, используя слабые отражения в сцене», — говорит Раскар.

«Обычно системам зрения трудно обрабатывать блестящие объекты. Эта бумага очень креативна, потому что она превращает давнюю слабость блеска объектов в преимущество. Используя отражения окружающей среды от блестящего объекта, бумага может не только видеть скрытые части сцены, но и понимать, как сцена освещена. Это позволяет приложениям в трехмерном восприятии, которые включают, помимо прочего, возможность компоновать виртуальные объекты в реальные сцены таким образом, чтобы они казались бесшовными даже в сложных условиях освещения», — говорит Ачута Кадамби, доцент кафедры электротехники и компьютерных наук в Калифорнийский университет в Лос-Анджелесе, который не участвовал в этой работе. «Одна из причин, по которой другие не могли использовать блестящие объекты таким образом, заключается в том, что для большинства предыдущих работ требовались поверхности с известной геометрией или текстурой. Авторы вывели интригующую новую формулу, не требующую таких знаний».

Исследование было частично поддержано организацией Intelligence Advanced Research Projects Activity и Национальным научным фондом.