Обратная засечка камеры

Обратная засечка камеры - это процесс оценки параметров модели камеры-обскуры, приближенной к камере, которая произвел данную фотографию или видео. Обычно параметры камеры-обскуры представлены в матрице 3 × 4, называемой матрицей камеры.

. Этот процесс часто называют геометрической калибровкой камеры или просто калибровкой камеры, хотя этот термин может также относиться к калибровке фотометрической камеры.

• 1 Обратная засечка камеры
  • 1.1 Однородные координаты
  • 1.2 Проекция
  • 1.3 Внутренние параметры
  • 1.4 Внешние параметры
  • 1.5 Камера резекция
• 2 Алгоритмы
  • 2.1 Метод Чжана
    • 2.1.1 Выведение
  • 2.2 Алгоритм Цая
  • 2.3 Метод Селби (для рентгеновских камер)
• 3 См. также
• 4 Ссылки
• 5 Внешние ссылки

Однородные координаты

В этом контексте мы используем $[uv\; 1]\; T\; \{\backslash \; displaystyle\; [u\; \backslash \; v\; \backslash \; 1]\; ^\; \{\; T\}\}$для представления положения 2D-точки в пиксельных координатах и ​​$[xwywzw\; 1]\; T\; \{\backslash \; displaystyle\; [x\_\; \{w\}\; \backslash \; y\_\; \{w\}\; \backslash \; z\_\; \{w\}\; \backslash \; 1]\; ^\; \{\; T\}\}$используется для представления положения трехмерной точки в мировых координатах. В обоих случаях они представлены в однородных координатах (т.е. они имеют дополнительный последний компонент, который изначально, по соглашению, равен 1), что является наиболее распространенным обозначением в робототехнике и твердое тело преобразуется.

Projection

Ссылаясь на модель камеры-обскуры, матрица камеры $M\; \{\backslash \; displaystyle\; M\}$используется для обозначения проективного отображения мировых координат в пиксельные координаты.

$zc\; [uv\; 1]\; =\; K\; [RT]\; [xwywzw\; 1]\; =\; M\; [xwywzw\; 1]\; \{\backslash \; displaystyle\; z\_\; \{c\}\; \{\backslash \; begin\; \{bmatrix\}\; u\; \backslash \backslash \; v\; \backslash \backslash \; 1\; \backslash \; end\; \{bmatrix\}\}\; =\; K\; \backslash ,\; \{\backslash \; begin\; \{bmatrix\}\; RT\; \backslash \; end\; \{bmatrix\}\}\; \{\backslash \; begin\; \{bmatrix\}\; x\_\; \{w\}\; \backslash \backslash \; y\_\; \{w\}\; \backslash \backslash \; z\_\; \{w\}\; \backslash \backslash \; 1\; \backslash \; end\; \{bmatrix\}\}\; =\; M\; \{\; \backslash \; begin\; \{bmatrix\}\; x\_\; \{w\}\; \backslash \backslash \; y\_\; \{w\}\; \backslash \backslash \; z\_\; \{w\}\; \backslash \backslash \; 1\; \backslash \; end\; \{bmatrix\}\}\}$

где $M\; =\; K\; [RT]\; \{\backslash \; displaystyle\; M\; =\; K\; \backslash ,\; \{\backslash \; begin\; \{bmatrix\}\; RT\; \backslash \; end\; \{bmatrix\}\}\}$.

Внутренние параметры

$K\; =\; [\alpha \; x\; \gamma \; u\; 0\; 0\; 0\; \alpha \; yv\; 0\; 0\; 0\; 0\; 1\; 0]\; \{\backslash \; displaystyle\; K\; =\; \{\backslash \; begin\; \{bmatrix\}\; \backslash \; alpha\; \_\; \{x\}\; \backslash \; gamma\; u\_\; \{0\}\; 0\; \backslash \backslash \; 0\; \backslash \; alpha\; \_\; \{y\}\; v\_\; \{0\}\; 0\; \backslash \backslash \; 0\; 0\; 1\; 0\; \backslash \; end\; \{bmatrix\}\}\}$

Внутренняя матрица $K\; \{\backslash \; displaystyle\; K\}$содержит 5 внутренних параметров конкретной модели камеры. Эти параметры охватывают фокусное расстояние, формат датчика изображения и главную точку. Параметры $\alpha \; x\; =\; f\; \cdot \; mx\; \{\backslash \; displaystyle\; \backslash \; alpha\; \_\; \{x\}\; =\; f\; \backslash \; cdot\; m\_\; \{x\}\}$и $\alpha \; y\; =\; f\; \cdot \; my\; \{\backslash \; displaystyle\; \backslash \; alpha\; \_\; \{y\}\; =\; f\; \backslash \; cdot\; m\_\; \{y\}\}$представляют фокусное расстояние в пикселях, где $mx\; \{\backslash \; displaystyle\; m\_\; \{x\}\}$и $my\; \{\backslash \; displaystyle\; m\_\; \{y\}\}$- это коэффициенты масштабирования, связывающие пиксели с расстоянием, а $f\; \{\backslash \; displaystyle\; f\}$- это фокусное расстояние в единицах расстояния. $\gamma \; \{\backslash \; displaystyle\; \backslash \; gamma\}$представляет коэффициент перекоса между осями x и y и часто равен 0. $u\; 0\; \{\backslash \; displaystyle\; u\_\; \{0\}\}$и $v\; 0\; \{\backslash \; displaystyle\; v\_\; \{0\}\}$представляют главную точку, которая в идеале должна находиться в центре изображения.

Нелинейные внутренние параметры, такие как искажение объектива, также важны, хотя они не могут быть включены в линейную модель камеры, описываемую матрицей внутренних параметров. Многие современные алгоритмы калибровки камеры также оценивают эти внутренние параметры в форме методов нелинейной оптимизации. Это делается в форме оптимизации камеры и параметров искажения в форме того, что обычно известно как регулировка пучка.

Внешние параметры

$[R\; 3\; \times \; 3\; T\; 3\; \times \; 1\; 0\; 1\; \times \; 3\; 1]\; 4\; \times \; 4\; \{\backslash \; displaystyle\; \{\}\; \{\backslash \; begin\; \{bmatrix\}\; R\_\; \{3\; \backslash \; times\; 3\}\; T\_\; \{3\; \backslash \; times\; 1\}\; \backslash \backslash \; 0\_\; \{1\; \backslash \; times\; 3\}\; 1\; \backslash \; end\; \{bmatrix\}\}\; \_\; \{4\; \backslash \; times\; 4\; \}\}$

$R,\; T\; \{\backslash \; displaystyle\; R,\; T\}$- это внешние параметры, которые обозначают преобразования системы координат из трехмерных мировых координат в трехмерные координаты камеры. Эквивалентно, внешние параметры определяют положение центра камеры и направление камеры в мировых координатах. $T\; \{\backslash \; displaystyle\; T\}$- позиция начала мировой системы координат, выраженная в координатах системы координат, центрированной по камере. $T\; \{\backslash \; displaystyle\; T\}$часто ошибочно принимают за положение камеры. Положение камеры, $C\; \{\backslash \; displaystyle\; C\}$, в мировых координатах: $C\; =\; -\; R\; -\; 1\; T\; =\; -\; RTT\; \{\backslash \; displaystyle\; C\; =\; -R\; ^\; \{-\; 1\}\; T\; =\; -R\; ^\; \{T\}\; T\}$(поскольку $R\; \{\backslash \; displaystyle\; R\}$является матрицей поворота ).

Калибровка камеры часто используется на начальном этапе компьютерного зрения.

. Когда используется камера, свет из окружающей среды фокусируется на плоскости изображения и фиксируется. Этот процесс уменьшает размеры данных, принимаемых камерой, с трех до двух (свет от 3D-сцены сохраняется на 2D-изображении). Таким образом, каждый пиксель на плоскости изображения соответствует лучу света от исходной сцены.

Обратная засечка камеры

Обратная засечка камеры определяет, какой падающий свет связан с каждым пикселем на результирующем изображении. В идеальной камере-обскуре для этого достаточно простой проекционной матрицы . В более сложных системах камеры ошибки, возникающие из-за смещения линз и деформаций их структур, могут привести к более сложным искажениям в конечном изображении.

Матрица проекции камеры выводится из внутренних и внешних параметров камеры и часто представляется серией преобразований; например, матрица внутренних параметров камеры, матрица вращения 3 × 3 и вектор смещения. Матрица проекции камеры может использоваться для связывания точек в пространстве изображения камеры с местоположениями в трехмерном мировом пространстве.

Обратная засечка камеры часто используется в приложении стереозрения, где матрицы проекции камеры двух камер используются для вычисления мировых координат 3D точки, просматриваемой обеими камерами.

Некоторые люди называют это калибровкой камеры, но многие ограничивают термин «калибровка камеры» только для оценки внутренних или внутренних параметров.

Существует множество различных подходов к вычислению внутренних и внешних параметров для конкретной настройки камеры. Наиболее распространены:

1. Метод прямого линейного преобразования (DLT)
2. Метод Чжана
3. Метод Цая
4. Метод Селби (для рентгеновских камер)

Метод Чжана

Модель Чжана - это метод калибровки камеры, в котором используются традиционные методы калибровки (известные точки калибровки) и методы самокалибровки (соответствие между точками калибровки, когда они находятся в разных положениях). Для выполнения полной калибровки по методу Чжана требуется как минимум три различных изображения калибровочной мишени / датчика, перемещая датчик или саму камеру. Если некоторые из внутренних параметров заданы как данные (ортогональность изображения или координаты оптического центра), количество требуемых изображений может быть уменьшено до двух.

На первом этапе аппроксимация оценочной матрицы $H\; \{\backslash \; displaystyle\; H\}$проекции между целью калибровки и плоскостью изображения определяется с использованием метода DLT. Впоследствии, применив методы самокалибровки, получили изображение абсолютной конической матрицы [Ссылка]. Основной вклад метода Чжана состоит в том, как извлекать ограниченные внутренние $K\; \{\backslash \; displaystyle\; K\}$и $n\; \{\backslash \; displaystyle\; n\}$числа $R\; \{\backslash \; displaystyle\; R\}$и $T\; \{\backslash \; displaystyle\; T\}$параметры калибровки из $n\; \{\backslash \; displaystyle\; n\}$позы калибровочной цели.

Вывод

Предположим, у нас есть гомография $H\; \{\backslash \; displaystyle\; \{\backslash \; textbf\; \{H\}\}\}$, которая отображает точки $x\; \pi \; \{\backslash \; displaystyle\; x\; \_\; \{\backslash \; pi\}\}$на «плоскости зонда» $\pi \; \{\backslash \; displaystyle\; \backslash \; pi\}$к точкам $x\; \{\backslash \; displaystyle\; x\; \}$на изображении.

Круговые точки $I,\; J\; =\; [1\; \pm \; j\; 0]\; T\; \{\backslash \; displaystyle\; I,\; J\; =\; \{\backslash \; begin\; \{bmatrix\}\; 1\; \backslash \; pm\; j\; 0\; \backslash \; end\; \{bmatrix\}\}\; ^\; \{\backslash \; mathrm\; \{T\}\}\}$лежат как на нашей плоскости зонда $\pi \; \{\backslash \; displaystyle\; \backslash \; pi\}$, так и на абсолютной конике $\Omega \; \infty \; \{\backslash \; displaystyle\; \backslash \; Omega\; \_\; \{\; \backslash \; infty\}\}$. Расположение на $\Omega \; \infty \; \{\backslash \; displaystyle\; \backslash \; Omega\; \_\; \{\backslash \; infty\}\}$, конечно, означает, что они также проецируются на изображение абсолютной коники (IAC) $\omega \; \{\backslash \; displaystyle\; \backslash \; omega\; \}$, таким образом, $x\; 1\; T\; \omega \; x\; 1\; =\; 0\; \{\backslash \; displaystyle\; x\_\; \{1\}\; ^\; \{T\}\; \backslash \; omega\; x\_\; \{1\}\; =\; 0\}$и $Икс\; 2\; T\; \omega \; Икс\; 2\; знак\; равно\; 0\; \{\backslash \; Displaystyle\; x\_\; \{2\}\; ^\; \{T\}\; \backslash \; omega\; x\_\; \{2\}\; =\; 0\}$. Круговые точки проецируются как

$x\; 1\; =\; HI\; =\; [h\; 1\; h\; 2\; h\; 3]\; [1\; j\; 0]\; =\; h\; 1\; +\; jh\; 2\; x\; 2\; =\; HJ\; =\; [h\; 1\; h\; 2\; h\; 3]\; [1\; -\; j\; 0\; ]\; =\; час\; 1\; -\; jh\; 2\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{align\}\; x\_\; \{1\}\; =\; \{\backslash \; textbf\; \{H\}\}\; I\; =\; \{\backslash \; begin\; \{bmatrix\}\; h\_\; \{1\}\; h\_\; \{2\}\; h\_\; \{3\}\; \backslash \; конец\; \{bmatrix\}\}\; \{\backslash \; begin\; \{bmatrix\}\; 1\; \backslash \backslash \; j\; \backslash \backslash \; 0\; \backslash \; end\; \{bmatrix\}\}\; =\; h\_\; \{1\}\; +\; jh\_\; \{2\}\; \backslash \backslash \; x\_\; \{2\}\; =\; \{\backslash \; textbf\; \{H\}\}\; J\; =\; \{\backslash \; begin\; \{bmatrix\}\; h\_\; \{1\}\; h\_\; \{2\}\; h\_\; \{3\}\; \backslash \; end\; \{bmatrix\}\}\; \{\backslash \; begin\; \{bmatrix\}\; 1\; \backslash \backslash \; -\; j\; \backslash \backslash \; 0\; \backslash \; end\; \{bmatrix\}\}\; =\; h\_\; \{1\}\; -jh\_\; \{2\}\; \backslash \; end\; \{align\}\}\}$.

Фактически мы можем игнорировать $x\; 2\; \{\backslash \; displaystyle\; x\_\; \{2\}\}$, заменяя наше новое выражение на $x\; 1\; \{\; \backslash \; displaystyle\; x\_\; \{1\}\}$следующим образом:

$x\; 1\; T\; \omega \; x\; 1\; =\; (h\; 1\; +\; jh\; 2)\; T\; \omega \; (h\; 1\; +\; jh\; 2)\; =\; (h\; 1\; T\; +\; jh\; 2\; T)\; \omega \; (час\; 1\; +\; jh\; 2)\; знак\; равно\; час\; 1\; T\; \omega \; час\; 1\; +\; J\; (час\; 2\; T\; \omega \; час\; 2)\; =\; 0\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{align\}\; x\_\; \{1\}\; ^\; \{T\}\; \backslash \; omega\; x\_\; \{\; 1\}\; =\; \backslash \; left\; (h\_\; \{1\}\; +\; jh\_\; \{2\}\; \backslash \; right)\; ^\; \{T\}\; \backslash \; omega\; \backslash \; left\; (h\_\; \{1\}\; +\; jh\_\; \{2\}\; \backslash \; right)\; \backslash \backslash \; =\; \backslash \; left\; (h\_\; \{1\; \}\; ^\; \{T\}\; +\; jh\_\; \{2\}\; ^\; \{T\}\; \backslash \; right)\; \backslash \; omega\; \backslash \; left\; (h\_\; \{1\}\; +\; jh\_\; \{2\}\; \backslash \; right)\; \backslash \backslash \; =\; h\_\; \{1\}\; ^\; \{T\}\; \backslash \; omega\; h\_\; \{\; 1\}\; +\; j\; \backslash \; left\; (h\_\; \{2\}\; ^\; \{T\}\; \backslash \; omega\; h\_\; \{2\}\; \backslash \; right)\; \backslash \backslash \; =\; 0\; \backslash \; end\; \{align\}\}\}$

Ts Алгоритм ai

Это двухэтапный алгоритм, вычисляющий позу (трехмерная ориентация, перемещение по осям x и y) на первом этапе. На втором этапе он вычисляет фокусное расстояние, коэффициенты искажения и смещение оси Z.

Метод Селби (для рентгеновских камер)

Метод калибровки камеры Селби касается автокалибровки X системы лучевых камер. Системы рентгеновских камер, состоящие из рентгеновской трубки и твердотельного детектора, могут быть смоделированы как системы камер-обскур, включающие 9 внутренних и внешних параметров камеры. Регистрация на основе интенсивности, основанная на произвольном рентгеновском изображении и эталонной модели (в виде набора томографических данных), может затем использоваться для определения относительных параметров камеры без необходимости использования специального калибровочного органа или каких-либо достоверных данных.

• Дополненная реальность
• Дополненная виртуальность
• Смешанная реальность
• Модель камеры-обскуры
• Перспектива-n-Point
• Оценка трехмерной позы

1. ^Ричард Хартли и Эндрю Зиссерман (2003). Многоканальная геометрия в компьютерном зрении. Издательство Кембриджского университета. С. 155–157. ISBN 0-521-54051-8.
2. ^Z. Чжан, «Новый гибкий метод калибровки камеры», IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.22, No. 11, pages 1330–1334, 2000
3. ^P. Штурм и С. Мэйбанк, «О калибровке камеры на плоскости: общий алгоритм, особенности, приложения», In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 432–437, Форт-Коллинз, Колорадо, США, июнь 1999 г.
4. ^Абдель-Азиз, Ю.И., Карара, Х.М. «Прямое линейное преобразование координат компаратора в координаты пространства объекта в фотограмметрии ближнего действия », Труды симпозиума по фотограмметрии ближнего действия (стр. 1-18), Фоллс-Черч, Вирджиния: Американское общество фотограмметрии, (1971)
5. ^Роджер Я. Цай, «Универсальная калибровка камеры для высокоточной метрологии машинного зрения в 3D с использованием стандартных телекамер и объективов», Журнал робототехники и автоматизации IEEE, Vol. RA-3, № 4, август 1987 г.
6. ^Борис Питер Селби и др., «Позиционирование пациента с помощью самокалибровки детектора рентгеновского излучения для терапии с визуальным контролем», Австралийские физико-технические науки в Медицина, Том 34, № 3, страницы 391–400, 2011

• Калибровка камеры Zhang и программное обеспечение для калибровки Tsai по лицензии LGPL
• Метод калибровки камеры Zhang с программным обеспечением
• Набор инструментов для калибровки камеры C ++ с исходным кодом
• Camera Calibration Toolbox для Matlab
• DLR CalDe и DLR CalLab Camera Calibration Toolbox
• Camera Calibration - лекция по дополненной реальности в TU Muenchen, Германия
• Подход Цая
• Калибровка камеры (с использованием ARToolKit )
• Четырехэтапная процедура калибровки камеры с неявной коррекцией изображения