Трехмерная реконструкция - 3D reconstruction

редактировать
Трехмерная реконструкция общей анатомии правого бокового вида небольшого морского слизняка Pseudunela viatoris.

В компьютерное зрение и компьютерная графика, 3D-реконструкция - это процесс фиксации формы и внешнего вида реальных объектов. Этот процесс может быть выполнен как активными, так и пассивными методами. Если модели позволяют изменять свою форму во времени, это называется реконструкцией.

Содержание
  • 1 Мотивация и приложения
  • 2 Активные методы
  • 3 Пассивные методы
    • 3.1 Методы монокулярных сигналов
    • 3.2 Бинокулярное стереозрение
      • 3.2.1 Постановка проблемы и основные сведения
      • 3.2.2 Получение изображения
      • 3.2.3 Калибровка камеры
      • 3.2.4 Извлечение функций
      • 3.2.5 Стереосогласование
      • 3.2.6 Восстановление
      • 3.2.7 3D Реконструкция медицинских изображений
  • 4 См. Также
  • 5 Ссылки
  • 6 Внешние ссылки
  • 7 Внешние ссылки
Мотивация и приложения

Исследование 3D-реконструкции всегда было сложной задачей. Используя 3D-реконструкцию, можно определить 3D-профиль любого объекта, а также узнать 3D-координату любой точки на профиле. Трехмерная реконструкция объектов - это общенаучная проблема и основная технология в самых разных областях, таких как компьютерное геометрическое проектирование (CAGD ), компьютерная графика, компьютерная анимация., компьютерное зрение, медицинское изображение, вычислительная наука, виртуальная реальность, цифровые носители и т. Д.. Например, информация о поражении пациентов может быть представлена ​​в 3D на компьютере, что предлагает новый и точный подход к диагностике и, таким образом, имеет жизненно важное клиническое значение. Цифровые модели рельефа могут быть восстановлены с использованием таких методов, как как бортовая лазерная альтиметрия или радар с синтезированной апертурой.

Активные методы
3D эхо-зондирование карта подводного каньона

Активные методы, т.е. методы измерения дальности с учетом глубины map, реконструируйте трехмерный профиль с помощью подхода численного приближения и постройте объект в сценарии на основе модели. Эти методы активно воздействуют на реконструированный объект механически или радиометрически с использованием дальномеров, чтобы получить карту глубины, например структурированный свет, лазерный дальномер и другие методы активного зондирования. В простом примере механического метода будет использоваться глубиномер для измерения расстояния до вращающегося объекта, установленного на поворотный стол. Более применимые радиометрические методы излучают излучение в направлении объекта, а затем измеряют его отраженную часть. Примеры варьируются от движущихся источников света, цветного видимого света, времяпролетных лазеров до микроволн или трехмерного ультразвука. Подробнее см. 3D-сканирование.

Пассивные методы

Пассивные методы 3D-реконструкции не мешают реконструируемому объекту; они используют только датчик для измерения яркости, отраженной или испускаемой поверхностью объекта, чтобы сделать вывод о его трехмерной структуре через понимание изображения. Как правило, датчик представляет собой датчик изображения в камере, чувствительной к видимому свету, а входом в метод является набор цифровых изображений (одно, два или более) или видео. В этом случае мы говорим о реконструкции на основе изображений, и на выходе получается 3D-модель. По сравнению с активными методами, пассивные методы могут применяться в более широком диапазоне ситуаций.

Методы монокулярных сигналов

Монокулярные сигналы методы относятся к использованию одного или нескольких изображений с одной точки обзора (камеры) для приступаем к построению 3D. Он использует двухмерные характеристики (например, силуэты, затенение и текстуру) для измерения трехмерной формы, поэтому его также называют Shape-From-X, где X может быть силуэтами, штриховкой <99.>, текстуры и т. д. Трехмерная реконструкция с помощью монокулярных сигналов выполняется просто и быстро, требуется только одно подходящее цифровое изображение, поэтому достаточно только одной камеры. Технически он позволяет избежать стереосоответствий, что довольно сложно.

Создание и реконструкция трехмерных форм из одно- или многовидовых карт глубины или силуэтов

Формы на основе затенения Благодаря анализу информации о оттенках в изображение, используя коэффициент отражения Ламберта, глубина нормальной информации поверхности объекта восстанавливается для реконструкции.

Photometric Stereo Этот подход является более сложным чем метод закрашивания. Изображения, сделанные при различных условиях освещения, используются для определения глубины. Стоит упомянуть, что для этого подхода требуется более одного изображения.

Форма из текстуры Предположим, что такой объект с гладкой поверхностью покрыт реплицированными текстурными блоками, и его проекция из 3D в 2D вызывает искажение и перспектива. Искажение и перспектива, измеренные на двухмерных изображениях, дают подсказку для обратного решения глубины нормальной информации поверхности объекта.

Бинокулярное стереозрение

Бинокулярное стереозрение получает трехмерную геометрическую информацию об объекте из множества изображений на основе исследования зрительной системы человека . Результаты представлены в виде карт глубины. Изображения объекта, полученные двумя камерами одновременно с разными углами обзора или одной камерой в разное время и под разными углами обзора, используются для восстановления его трехмерной геометрической информации и реконструкции его 3D профиль и расположение. Это более прямой метод, чем монокулярные методы, такие как шейпинг из тени.

Метод бинокулярного стереозрения требует, чтобы две идентичные камеры с параллельной оптической осью наблюдали за одним и тем же объектом, получая два изображения с разных точек зрения. С точки зрения тригонометрических соотношений, информация о глубине может быть вычислена по несоответствию. Метод бинокулярного стереозрения хорошо разработан и стабильно способствует благоприятной 3D-реконструкции, что приводит к лучшей производительности по сравнению с другими 3D-конструкциями. К сожалению, это требует больших вычислительных ресурсов, к тому же он довольно плохо работает при большом базовом расстоянии.

Постановка проблемы и основы

Подход к использованию бинокулярного стереозрения для получения трехмерной геометрической информации объекта основан на визуальном несоответствии. На следующем рисунке представлена ​​простая схематическая диаграмма бинокулярного стереозрения с горизонтальным зрением, где b - базовая линия между проективными центрами двух камер.

Геометрия стереоскопической системы

Начало системы координат камеры находится в оптическом центре объектива камеры, как показано на рисунке. На самом деле плоскость изображения камеры находится за оптическим центром объектива камеры. Однако для упрощения вычислений изображения перед оптическим центром линзы рисуются с помощью f. Ось u и ось v системы координат изображения O 1 uv находятся в одном направлении с осью x и осью y системы координат камеры соответственно. Начало системы координат изображения находится на пересечении плоскости изображения и оптической оси. Предположим, что такая мировая точка P, которой соответствуют точки изображения P 1(u1,v1) и P 2(u2,v2), соответственно на левой и правой плоскости изображения. Предположим, что две камеры находятся в одной плоскости, тогда y-координаты P 1 и P 2 идентичны, то есть v 1=v2. Согласно отношениям тригонометрии,

u 1 = fxpzp {\ displaystyle u_ {1} = f {\ frac {x_ {p}} {z_ {p}}}}u_1 = f \ frac {x_p} {z_p}

u 2 = fxp - bzp {\ displaystyle u_ {2} = f {\ frac {x_ {p} -b} {z_ {p}}}}u_2 = f \ frac {x_p-b} {z_p}

v 1 = v 2 = fypzp {\ displaystyle v_ {1} = v_ {2} = f {\ frac {y_ {p}} {z_ {p}}}}v_1 = v_2 = f \ гидроразрыв {y_p} {z_p}

где (x p, y p, z p) - координаты P в системе координат левой камеры, f - фокусное расстояние камеры. Визуальное несоответствие определяется как разница в местоположении точки изображения определенной точки мира, полученная двумя камерами,

d = u 1 - u 2 = fbzp {\ displaystyle d = u_ {1} -u_ {2} = f { \ frac {b} {z_ {p}}}}{\ displaystyle d = u_ {1} -u_ {2} = f {\ frac {b} {z_ {p}}}}

, на основании которого можно вычислить координаты P.

Следовательно, если известны координаты точек изображения, помимо параметров двух камер, можно определить трехмерную координату точки.

xp = bu 1 d {\ displaystyle x_ {p} = {\ frac {bu_ {1}} {d}}}x_p = \ frac {bu_1} {d}

yp = bv 1 d {\ displaystyle y_ {p} = {\ frac { bv_ {1}} {d}}}y_p = \ frac {bv_1} {d}

zp = bfd {\ displaystyle z_ {p} = {\ frac {bf} {d}}}z_p = \ frac {bf} {d}

Трехмерная реконструкция состоит из следующих разделов:

Получение изображения

Получение цифрового 2D-изображения является источником информации для 3D-реконструкции. Обычно используемая 3D-реконструкция основана на двух или более изображениях, хотя в некоторых случаях может использоваться только одно изображение. Существуют различные методы получения изображений, которые зависят от случая и целей конкретного приложения. Должны быть соблюдены не только требования приложения, но также следует учитывать визуальное несоответствие, освещенность, производительность камеры и особенности сценария.

Калибровка камеры

Калибровка камеры в Binocular Stereo Vision относится к определению соотношения отображения между точками изображения P 1(u1,v1) и P 2(u2,v2) и пространственной координаты P (x p, y p, z p) в трехмерном сценарии. Калибровка камеры - основная и важная часть 3D-реконструкции с помощью бинокулярного стереозрения.

Извлечение признаков

Целью извлечения признаков является получение характеристик изображений, посредством которых обрабатывается стереосоответствие. В результате характеристики изображений тесно связаны с выбором методов сопоставления. Не существует такой универсально применимой теории для извлечения признаков, что приводит к большому разнообразию стереосоответствий в исследованиях бинокулярного стереозрения.

Стерео-соответствие

Стерео-соответствие предназначено для установления соответствия между примитивными факторами в изображениях, то есть для соответствия P 1(u1,v1) и P 2(u2,v2) двух изображений. Следует отметить определенные факторы помех в сценарии, например освещение, шум, физические характеристики поверхности и т. д.

Восстановление

В соответствии с точным соответствием в сочетании с параметрами местоположения камеры, трехмерную геометрическую информацию можно восстановить без затруднений. В связи с тем, что точность 3D-реконструкции зависит от точности соответствия, погрешности параметров местоположения камеры и т. Д., Предыдущие процедуры должны выполняться осторожно, чтобы добиться относительно точной 3D-реконструкции.

3D-реконструкция медицинских изображений

Клинические процедуры диагностики, последующего наблюдения за пациентом, компьютерной хирургии, хирургического планирования и т. Д. Облегчаются точными 3D-моделями желаемой части анатомии человека. Основным мотивом 3D-реконструкции является

  • Повышенная точность за счет объединения нескольких изображений.
  • Подробные оценки поверхности.
  • Может использоваться для планирования, моделирования, направления или иной помощи хирургу в выполнении медицинская процедура.
  • Можно определить точное положение и ориентацию анатомии пациента.
  • Помогает в ряде клинических областей, таких как планирование лучевой терапии и проверка лечения, хирургия позвоночника, замена тазобедренного сустава, нейровмешательства и стентирование аорты.

Применение:

Трехмерная реконструкция применяется во многих областях. Это:

Постановка проблемы:

В основном алгоритмы, доступные для 3D-реконструкции, очень медленные и не могут использоваться в режиме реального времени. Хотя представленные алгоритмы все еще находятся в зачаточном состоянии, они обладают потенциалом для быстрых вычислений.

Существующие подходы:

Триангуляция Делоне (25 точек)

Делоне и альфа-формы

  • Метод Делоне включает извлечение поверхностей тетраэдра из начального облака точек. Идея «формы» для набора точек в пространстве дается концепцией альфа-форм. Учитывая конечное множество точек S и действительный параметр альфа, альфа-форма S является многогранником (обобщением любого измерения двухмерного многоугольника и трехмерного многогранника), который не является ни выпуклым, ни обязательно связным. Для большого значения альфа-форма идентична выпуклой оболочке S. Алгоритм, предложенный Edelsbrunner и Mucke, удаляет все тетраэдры, которые ограничены окружающей сферой меньше, чем α. Затем получается поверхность с помощью внешних треугольников из полученного тетраэдра.
  • Другой алгоритм, называемый Tight Cocone, помечает исходные тетраэдры как внутренние и внешние. Находящиеся внутри и снаружи треугольники создают результирующую поверхность.

Оба метода недавно были расширены для восстановления облаков точек с шумом. В этом методе качество точек определяет выполнимость метода. Для точной триангуляции, поскольку мы используем весь набор облаков точек, точки на поверхности с ошибкой выше порога будут явно представлены на реконструированной геометрии.

Марширующие кубики

Методы нулевого набора

Реконструкция поверхности выполняется с использованием функции расстояния, которая присваивает каждой точке в пространстве знаковое расстояние до поверхности S. Контурный алгоритм используется для извлечения нулевого набора, который используется для получения полигонального представления объекта. Таким образом, задача восстановления поверхности из неорганизованного облака точек сводится к определению соответствующей функции f с нулевым значением для выбранных точек и отличным от нуля для остальных. Алгоритм под названием маршевые кубы установил использование таких методов. Существуют разные варианты данного алгоритма, некоторые используют дискретную функцию f, а другие используют полигармоническую радиальную базисную функцию, которая используется для настройки начального набора точек. Также использовались такие функции, как перемещение наименьших квадратов, базовые функции с локальной поддержкой, основанные на уравнении Пуассона. Потеря точности геометрии в областях с чрезмерной кривизной, то есть углах, кромках, является одной из основных встречающихся проблем. Кроме того, предварительная обработка информации с помощью какой-либо техники фильтрации также влияет на определение углов, смягчая их. Существует несколько исследований, связанных с методами постобработки, используемыми при реконструкции для обнаружения и уточнения углов, но эти методы увеличивают сложность решения.

Сплошная геометрия с объемной визуализацией Изображение любезно предоставлено Патриком Крисом Хрупкий доктор философии, Калифорнийский университет в Санта-Барбаре

Техника виртуальной реальности

Вся объемная прозрачность объекта визуализируется с помощью техники виртуальной реальности. Изображения будут выполняться путем проецирования лучей через объемные данные. Для каждого луча необходимо рассчитать непрозрачность и цвет для каждого вокселя. Затем информация, вычисленная по каждому лучу, будет агрегирована в пиксель на плоскости изображения. Этот прием помогает нам всесторонне увидеть всю компактную структуру объекта. Поскольку метод требует огромного количества вычислений, что требует сильной конфигурации компьютеров, подходит для данных с низким контрастом. Можно рассмотреть два основных метода проецирования лучей:

  • Метод порядка объектов: проецируемые лучи проходят через объем от задней части к передней (от объема к плоскости изображения).
  • Порядок изображения или отбрасывание лучей Метод: проецируемые лучи проходят через объем спереди назад (от плоскости изображения к объему). Существуют другие методы составления изображения, соответствующие методы в зависимости от целей пользователя. Некоторые обычные методы в медицинских изображениях: MIP (проекция максимальной интенсивности), MinIP (проекция минимальной интенсивности), AC (альфа-композитинг ) и NPVR (нефотореалистичная объемный рендеринг ).
Трассировка луча через сетку вокселей. Вокселы, которые проходят в дополнение к вокселям, выбранным с помощью стандартного 8-связного алгоритма, показаны заштрихованными.

Воксельная сетка

Ввод этого метода фильтрации пространство выбирается с использованием сетки трехмерных вокселей для уменьшения количества точек. Для каждого воксела выбирается центроид как представитель всех точек. Есть два подхода: выбор центроида вокселя или выбор центроид точек, лежащих внутри вокселя. Получение среднего значения внутренних точек требует более высоких вычислительных затрат, но дает лучшие результаты. Таким образом, получается подмножество входного пространства, которое приблизительно представляет нижележащую поверхность. Метод воксельной сетки представляет то же самое проблемы, как и другие методы фильтрации: невозможность определения t Окончательное количество точек, которые представляют поверхность, потеря геометрической информации из-за уменьшения количества точек внутри вокселя и чувствительность к шумным входным пространствам.

См. Также
Ссылки
Внешние ссылки
Искать 3D-реконструкция в Wiktionary, бесплатном словаре.
Внешний ссылки
Последняя правка сделана 2021-07-19 01:05:27
Содержание доступно по лицензии CC BY-SA 3.0 (если не указано иное).
Обратная связь: support@alphapedia.ru
Соглашение
О проекте