Моделирование и рендеринг на основе изображений

В компьютерная графика и компьютерное зрение, моделирование и рендеринг на основе изображений (IBMR ) методы полагаются на набор двумерных изображений сцены для создания трехмерной модели, а затем визуализации некоторых новых видов этой сцены.

Традиционный подход компьютерной графики был использован для создания геометрической модели в 3D и попытки перепроецировать ее на двухмерное изображение. Компьютерное зрение, наоборот, в основном сосредоточено на обнаружении, группировке и извлечении признаков (краев, лиц и т. Д.), Присутствующих в данном изображении, а затем на попытке интерпретировать их как трехмерные подсказки. Моделирование и рендеринг на основе изображений позволяет использовать несколько двумерных изображений для создания непосредственно новых двумерных изображений, минуя этап ручного моделирования.

• 1 Моделирование света
• 2 Методы и алгоритмы IBMR
• 3 См. Также
• 4 Ссылки
• 5 Внешние ссылки

Вместо рассмотрения только При использовании физической модели твердого тела методы IBMR обычно больше ориентированы на моделирование света. Фундаментальная концепция IBMR - это функция пленоптического освещения, которая представляет собой параметризацию светового поля. Пленоптическая функция описывает световые лучи, содержащиеся в данном объеме. Его можно представить в семи измерениях: луч определяется его положением $(x,\; y,\; z)\; \{\backslash \; displaystyle\; (x,\; y,\; z)\}$, его ориентацией $(\theta ,\; \varphi )\; \{\backslash \; displaystyle\; (\backslash \; theta,\; \backslash \; phi)\}$, его длина волны $(\lambda )\; \{\backslash \; displaystyle\; (\backslash \; lambda)\}$и его время $(\; t)\; \{\backslash \; displaystyle\; (t)\}$: $P\; (x,\; y,\; z,\; \theta ,\; \varphi ,\; \lambda ,\; t)\; \{\backslash \; displaystyle\; P\; (x,\; y,\; z,\; \backslash \; theta,\; \backslash \; phi,\; \backslash \; lambda,\; t)\; \}$. Методы IBMR пытаются аппроксимировать пленоптическую функцию для рендеринга нового набора двухмерных изображений из другого. Учитывая высокую размерность этой функции, практические методы накладывают ограничения на параметры, чтобы уменьшить это число (обычно до 2–4).

• Просмотр морфинг генерирует переход между изображениями
• Панорамная визуализация визуализирует панорамы с использованием мозаики отдельных неподвижных изображений
• Lumigraph полагается на плотную выборку сцены
• Космическая вырезка создает 3D-модель на основе проверки согласованности фотографий

• Синтез вида
• 3D-реконструкция
• Структура из движения

• Quan, Long. Моделирование на основе изображений. Springer Science Business Media, 2010. [1]
• Це Чжу; Шуай Ли (2016). «Синтез представлений на основе изображений глубины: новые идеи и перспективы создания и заполнения отверстий». IEEE Transactions on Broadcasting. 62 (1): 82–93. дои : 10.1109 / TBC.2015.2475697.
• манси Шарма; Сантану Чаудхури; Бреджеш Лалл; РС. Венкатеш (2014). «Гибкая архитектура для многооконного 3DTV на основе неоткалиброванных камер». Журнал визуальной коммуникации и изображения. 25 (4): 599–621. doi : 10.1016 / j.jvcir.2013.07.012.
• манси Шарма; Сантану Чаудхури; Бреджеш Лалл (2014). Kinect-Variety Fusion: новый гибридный подход к созданию контента 3DTV без артефактов. На 22-й Международной конференции по распознаванию образов (ICPR), Стокгольм, 2014. doi : 10.1109 / ICPR.2014.395.
• Манси Шарма; Сантану Чаудхури; Бреджеш Лалл (2012). Создание 3D-телевизионных изображений с функцией виртуального панорамирования / наклона / масштабирования. Труды восьмой индийской конференции по компьютерному зрению, графике и обработке изображений, ACM New York, NY, США. doi :10.1145/2425333.2425374.