Фотометрическое стерео

редактировать

Фотометрическое стерео анализирует несколько изображений объекта при различных условиях освещения, чтобы оценить нормальное направление в каждом пикселе.

Фотометрическое стерео - это метод в компьютерном зрении для оценки нормалей поверхности объектов путем наблюдения за этим объектом при различных условиях освещения. Он основан на том факте, что количество света, отраженного поверхностью, зависит от ориентации поверхности по отношению к источнику света и наблюдателю. При измерении количества света, отраженного в камеру, пространство возможных ориентаций поверхности ограничено. При наличии достаточного количества источников света под разными углами ориентация поверхности может быть ограничена одной ориентацией или даже чрезмерно ограничена.

Этот метод был первоначально представлен Вудхэмом в 1980 году. Особый случай, когда данные представляют собой одно изображение, известен как форма из затенения и был проанализирован BKP Horn в 1989 году. Фотометрическое стерео с тех пор был распространен на многие другие ситуации, включая расширенные источники света и не ламбертовскую отделку поверхности. Текущее исследование направлено на то, чтобы метод работал при наличии проецируемых теней, бликов и неравномерного освещения.

Содержание

1 Базовый метод
2 Неламбертовские поверхности
- 2.1 Зеркальные отражения
- 2.2 Общие BRDF и не только
3 См. Также
4 Ссылки

Базовый метод

Исходя из исходных предположений Вудхэма - коэффициент отражения Ламберта, известные точечные удаленные источники света и однородное альбедо - проблема может быть решена путем обращения линейного уравнения $I = L ⋅ N {\ displaystyle I = L \ cdot n}$ ${\ Displaystyle I = L \ cdot n}$ , где $I {\ displaystyle I}$ $I$ - (известный) вектор $m {\ displaystyle m}$ $m$ наблюдаемые интенсивности, $n {\ displaystyle n}$ $n$ - (неизвестная) нормаль к поверхности, и $L {\ displaystyle L}$ $L$ представляет собой (известную) $3 × m {\ displaystyle 3 \ times m}$ $3 \ times m$ матрицу нормализованных направлений света.

Эту модель можно легко распространить на поверхности с неоднородным альбедо, сохраняя при этом линейность задачи. Принимая коэффициент отражения альбедо $k {\ displaystyle k}$ $k$ , формула для интенсивности отраженного света принимает следующий вид:

I = k (L ⋅ n) {\ displaystyle I = k (L \ cdot n)}

{\ Displaystyle I = К (L \ cdot n)}

Если $L {\ displaystyle L}$ $L$ квадратное (ровно 3 источника света) и не единственное число, его можно перевернуть, получив:

L - 1 I = kn {\ displaystyle L ^ {- 1} I = kn}

L^{{-1}}I=kn

Поскольку известно, что вектор нормали имеет длину 1, $k {\ displaystyle k}$ $k$ должен быть длиной вектор $kn {\ displaystyle kn}$ $kn$ , а $n {\ displaystyle n}$ $n$ - нормализованное направление этого вектора. Если $L {\ displaystyle L}$ $L$ не является квадратным (имеется более трех источников света), обобщение обратного может быть получено с помощью псевдообратной матрицы Мура-Пенроуза с помощью просто умножив обе стороны на $LT {\ displaystyle L ^ {T}}$ $L ^ {T}$ , получив:

LTI = LT k (L ⋅ n) {\ displaystyle L ^ {T} I = L ^ {T} k (L \ cdot n)}

{\ displaystyle L ^ {T} I = L ^ {T} k (L \ cdot n)}

(LTL) - 1 LTI = kn {\ displaystyle (L ^ {T} L) ^ {- 1} L ^ {T} I = kn}

(L ^ {T} L) ^ {{- 1}} L ^ {T} I = kn

После этого вектор нормали и альбедо могут быть решены, как описано выше.

Неламбертианские поверхности

Классическая проблема фотометрического стерео касается только ламбертовских поверхностей с совершенно диффузным отражением. Это нереально для многих типов материалов, особенно металлов, стекла и гладких пластиков, и приведет к аберрациям в результирующих векторах нормалей.

Многие методы были разработаны, чтобы опровергнуть это предположение. В этом разделе перечислены некоторые из них.

Зеркальные отражения

Исторически в компьютерной графике обычно используемая модель для рендеринга поверхностей начиналась с ламбертовских поверхностей и сначала развивалась, чтобы включать простые зеркальные отражения. Компьютерное зрение пошло по тому же пути с фотометрическим стерео. Зеркальные отражения были одними из первых отклонений от ламбертовской модели. Это несколько разработанных приспособлений.

Многие методы в конечном итоге полагаются на моделирование функции отражения поверхности, то есть того, сколько света отражается в каждом направлении. Эта функция отражения должна быть обратимой. Измеряется интенсивность отраженного света по направлению к камере, и функция обратной отражательной способности подгоняется к измеренным значениям интенсивности, что приводит к уникальному решению для вектора нормали.

Общие BRDF и не только

Согласно Модель с функцией распределения двунаправленной отражательной способности (BRDF), поверхность может распределять количество света, которое она получает, в любом направлении наружу. Это наиболее распространенная модель для непрозрачных поверхностей. Некоторые методы были разработаны для моделирования (почти) общих BRDF. На практике все это требует наличия множества источников света для получения надежных данных. Это методы, с помощью которых можно измерить поверхности с общими BRDF.

Определите явный BRDF перед сканированием. Для этого требуется другая поверхность, которая имеет такую же или очень похожую BRDF, фактическая геометрия которой (или, по крайней мере, векторы нормали для многих точек на поверхности) уже известна. Затем огни индивидуально освещаются известной поверхностью и измеряется количество отражений в камере. Используя эту информацию, можно создать справочную таблицу, которая отображает отраженные интенсивности для каждого источника света в список возможных векторов нормалей. Это накладывает ограничения на возможные векторы нормали, которые может иметь поверхность, и сводит проблему фотометрического стерео к интерполяции между измерениями. Типичными известными поверхностями для калибровки справочной таблицы являются сферы для их широкого разнообразия ориентаций поверхностей.
Ограничение BRDF симметричностью. Если BRDF симметричен, направление света можно ограничить конусом относительно направления на камеру. Какой это конус, зависит от самого BRDF, вектора нормали к поверхности и измеренной интенсивности. При наличии достаточной измеренной интенсивности и результирующих направлений света эти конусы могут быть аппроксимированы и, следовательно, векторы нормали к поверхности.

Некоторый прогресс был достигнут в моделировании даже более общих поверхностей, таких как пространственно изменяющиеся функции двунаправленного распределения (SVBRDF), Двунаправленные функции распределения коэффициента отражения поверхностного рассеяния (BSSRDF) и учет взаимных отражений. Однако такие методы все еще довольно ограничены в фотометрической стереосистеме. Лучшие результаты были достигнуты с структурированным светом.

См. Также

Ссылки