В компьютерное зрение и компьютерная графика, 3D-реконструкция - это процесс фиксации формы и внешнего вида реальных объектов. Этот процесс может быть выполнен как активными, так и пассивными методами. Если модели позволяют изменять свою форму во времени, это называется реконструкцией.
Исследование 3D-реконструкции всегда было сложной задачей. Используя 3D-реконструкцию, можно определить 3D-профиль любого объекта, а также узнать 3D-координату любой точки на профиле. Трехмерная реконструкция объектов - это общенаучная проблема и основная технология в самых разных областях, таких как компьютерное геометрическое проектирование (CAGD ), компьютерная графика, компьютерная анимация., компьютерное зрение, медицинское изображение, вычислительная наука, виртуальная реальность, цифровые носители и т. Д.. Например, информация о поражении пациентов может быть представлена в 3D на компьютере, что предлагает новый и точный подход к диагностике и, таким образом, имеет жизненно важное клиническое значение. Цифровые модели рельефа могут быть восстановлены с использованием таких методов, как как бортовая лазерная альтиметрия или радар с синтезированной апертурой.
Активные методы, т.е. методы измерения дальности с учетом глубины map, реконструируйте трехмерный профиль с помощью подхода численного приближения и постройте объект в сценарии на основе модели. Эти методы активно воздействуют на реконструированный объект механически или радиометрически с использованием дальномеров, чтобы получить карту глубины, например структурированный свет, лазерный дальномер и другие методы активного зондирования. В простом примере механического метода будет использоваться глубиномер для измерения расстояния до вращающегося объекта, установленного на поворотный стол. Более применимые радиометрические методы излучают излучение в направлении объекта, а затем измеряют его отраженную часть. Примеры варьируются от движущихся источников света, цветного видимого света, времяпролетных лазеров до микроволн или трехмерного ультразвука. Подробнее см. 3D-сканирование.
Пассивные методы 3D-реконструкции не мешают реконструируемому объекту; они используют только датчик для измерения яркости, отраженной или испускаемой поверхностью объекта, чтобы сделать вывод о его трехмерной структуре через понимание изображения. Как правило, датчик представляет собой датчик изображения в камере, чувствительной к видимому свету, а входом в метод является набор цифровых изображений (одно, два или более) или видео. В этом случае мы говорим о реконструкции на основе изображений, и на выходе получается 3D-модель. По сравнению с активными методами, пассивные методы могут применяться в более широком диапазоне ситуаций.
Монокулярные сигналы методы относятся к использованию одного или нескольких изображений с одной точки обзора (камеры) для приступаем к построению 3D. Он использует двухмерные характеристики (например, силуэты, затенение и текстуру) для измерения трехмерной формы, поэтому его также называют Shape-From-X, где X может быть силуэтами, штриховкой <99.>, текстуры и т. д. Трехмерная реконструкция с помощью монокулярных сигналов выполняется просто и быстро, требуется только одно подходящее цифровое изображение, поэтому достаточно только одной камеры. Технически он позволяет избежать стереосоответствий, что довольно сложно.
Создание и реконструкция трехмерных форм из одно- или многовидовых карт глубины или силуэтовФормы на основе затенения Благодаря анализу информации о оттенках в изображение, используя коэффициент отражения Ламберта, глубина нормальной информации поверхности объекта восстанавливается для реконструкции.
Photometric Stereo Этот подход является более сложным чем метод закрашивания. Изображения, сделанные при различных условиях освещения, используются для определения глубины. Стоит упомянуть, что для этого подхода требуется более одного изображения.
Форма из текстуры Предположим, что такой объект с гладкой поверхностью покрыт реплицированными текстурными блоками, и его проекция из 3D в 2D вызывает искажение и перспектива. Искажение и перспектива, измеренные на двухмерных изображениях, дают подсказку для обратного решения глубины нормальной информации поверхности объекта.
Бинокулярное стереозрение получает трехмерную геометрическую информацию об объекте из множества изображений на основе исследования зрительной системы человека . Результаты представлены в виде карт глубины. Изображения объекта, полученные двумя камерами одновременно с разными углами обзора или одной камерой в разное время и под разными углами обзора, используются для восстановления его трехмерной геометрической информации и реконструкции его 3D профиль и расположение. Это более прямой метод, чем монокулярные методы, такие как шейпинг из тени.
Метод бинокулярного стереозрения требует, чтобы две идентичные камеры с параллельной оптической осью наблюдали за одним и тем же объектом, получая два изображения с разных точек зрения. С точки зрения тригонометрических соотношений, информация о глубине может быть вычислена по несоответствию. Метод бинокулярного стереозрения хорошо разработан и стабильно способствует благоприятной 3D-реконструкции, что приводит к лучшей производительности по сравнению с другими 3D-конструкциями. К сожалению, это требует больших вычислительных ресурсов, к тому же он довольно плохо работает при большом базовом расстоянии.
Подход к использованию бинокулярного стереозрения для получения трехмерной геометрической информации объекта основан на визуальном несоответствии. На следующем рисунке представлена простая схематическая диаграмма бинокулярного стереозрения с горизонтальным зрением, где b - базовая линия между проективными центрами двух камер.
Геометрия стереоскопической системыНачало системы координат камеры находится в оптическом центре объектива камеры, как показано на рисунке. На самом деле плоскость изображения камеры находится за оптическим центром объектива камеры. Однако для упрощения вычислений изображения перед оптическим центром линзы рисуются с помощью f. Ось u и ось v системы координат изображения O 1 uv находятся в одном направлении с осью x и осью y системы координат камеры соответственно. Начало системы координат изображения находится на пересечении плоскости изображения и оптической оси. Предположим, что такая мировая точка P, которой соответствуют точки изображения P 1(u1,v1) и P 2(u2,v2), соответственно на левой и правой плоскости изображения. Предположим, что две камеры находятся в одной плоскости, тогда y-координаты P 1 и P 2 идентичны, то есть v 1=v2. Согласно отношениям тригонометрии,
где (x p, y p, z p) - координаты P в системе координат левой камеры, f - фокусное расстояние камеры. Визуальное несоответствие определяется как разница в местоположении точки изображения определенной точки мира, полученная двумя камерами,
, на основании которого можно вычислить координаты P.
Следовательно, если известны координаты точек изображения, помимо параметров двух камер, можно определить трехмерную координату точки.
Трехмерная реконструкция состоит из следующих разделов:
Получение цифрового 2D-изображения является источником информации для 3D-реконструкции. Обычно используемая 3D-реконструкция основана на двух или более изображениях, хотя в некоторых случаях может использоваться только одно изображение. Существуют различные методы получения изображений, которые зависят от случая и целей конкретного приложения. Должны быть соблюдены не только требования приложения, но также следует учитывать визуальное несоответствие, освещенность, производительность камеры и особенности сценария.
Калибровка камеры в Binocular Stereo Vision относится к определению соотношения отображения между точками изображения P 1(u1,v1) и P 2(u2,v2) и пространственной координаты P (x p, y p, z p) в трехмерном сценарии. Калибровка камеры - основная и важная часть 3D-реконструкции с помощью бинокулярного стереозрения.
Целью извлечения признаков является получение характеристик изображений, посредством которых обрабатывается стереосоответствие. В результате характеристики изображений тесно связаны с выбором методов сопоставления. Не существует такой универсально применимой теории для извлечения признаков, что приводит к большому разнообразию стереосоответствий в исследованиях бинокулярного стереозрения.
Стерео-соответствие предназначено для установления соответствия между примитивными факторами в изображениях, то есть для соответствия P 1(u1,v1) и P 2(u2,v2) двух изображений. Следует отметить определенные факторы помех в сценарии, например освещение, шум, физические характеристики поверхности и т. д.
В соответствии с точным соответствием в сочетании с параметрами местоположения камеры, трехмерную геометрическую информацию можно восстановить без затруднений. В связи с тем, что точность 3D-реконструкции зависит от точности соответствия, погрешности параметров местоположения камеры и т. Д., Предыдущие процедуры должны выполняться осторожно, чтобы добиться относительно точной 3D-реконструкции.
Клинические процедуры диагностики, последующего наблюдения за пациентом, компьютерной хирургии, хирургического планирования и т. Д. Облегчаются точными 3D-моделями желаемой части анатомии человека. Основным мотивом 3D-реконструкции является
Применение:
Трехмерная реконструкция применяется во многих областях. Это:
Постановка проблемы:
В основном алгоритмы, доступные для 3D-реконструкции, очень медленные и не могут использоваться в режиме реального времени. Хотя представленные алгоритмы все еще находятся в зачаточном состоянии, они обладают потенциалом для быстрых вычислений.
Существующие подходы:
Триангуляция Делоне (25 точек)Делоне и альфа-формы
Оба метода недавно были расширены для восстановления облаков точек с шумом. В этом методе качество точек определяет выполнимость метода. Для точной триангуляции, поскольку мы используем весь набор облаков точек, точки на поверхности с ошибкой выше порога будут явно представлены на реконструированной геометрии.
Марширующие кубикиМетоды нулевого набора
Реконструкция поверхности выполняется с использованием функции расстояния, которая присваивает каждой точке в пространстве знаковое расстояние до поверхности S. Контурный алгоритм используется для извлечения нулевого набора, который используется для получения полигонального представления объекта. Таким образом, задача восстановления поверхности из неорганизованного облака точек сводится к определению соответствующей функции f с нулевым значением для выбранных точек и отличным от нуля для остальных. Алгоритм под названием маршевые кубы установил использование таких методов. Существуют разные варианты данного алгоритма, некоторые используют дискретную функцию f, а другие используют полигармоническую радиальную базисную функцию, которая используется для настройки начального набора точек. Также использовались такие функции, как перемещение наименьших квадратов, базовые функции с локальной поддержкой, основанные на уравнении Пуассона. Потеря точности геометрии в областях с чрезмерной кривизной, то есть углах, кромках, является одной из основных встречающихся проблем. Кроме того, предварительная обработка информации с помощью какой-либо техники фильтрации также влияет на определение углов, смягчая их. Существует несколько исследований, связанных с методами постобработки, используемыми при реконструкции для обнаружения и уточнения углов, но эти методы увеличивают сложность решения.
Сплошная геометрия с объемной визуализацией Изображение любезно предоставлено Патриком Крисом Хрупкий доктор философии, Калифорнийский университет в Санта-БарбареТехника виртуальной реальности
Вся объемная прозрачность объекта визуализируется с помощью техники виртуальной реальности. Изображения будут выполняться путем проецирования лучей через объемные данные. Для каждого луча необходимо рассчитать непрозрачность и цвет для каждого вокселя. Затем информация, вычисленная по каждому лучу, будет агрегирована в пиксель на плоскости изображения. Этот прием помогает нам всесторонне увидеть всю компактную структуру объекта. Поскольку метод требует огромного количества вычислений, что требует сильной конфигурации компьютеров, подходит для данных с низким контрастом. Можно рассмотреть два основных метода проецирования лучей:
Воксельная сетка
Ввод этого метода фильтрации пространство выбирается с использованием сетки трехмерных вокселей для уменьшения количества точек. Для каждого воксела выбирается центроид как представитель всех точек. Есть два подхода: выбор центроида вокселя или выбор центроид точек, лежащих внутри вокселя. Получение среднего значения внутренних точек требует более высоких вычислительных затрат, но дает лучшие результаты. Таким образом, получается подмножество входного пространства, которое приблизительно представляет нижележащую поверхность. Метод воксельной сетки представляет то же самое проблемы, как и другие методы фильтрации: невозможность определения t Окончательное количество точек, которые представляют поверхность, потеря геометрической информации из-за уменьшения количества точек внутри вокселя и чувствительность к шумным входным пространствам.
Искать 3D-реконструкция в Wiktionary, бесплатном словаре. |