Фазовая корреляция

Фазовая корреляция - это подход для оценки относительного поступательного смещения между двумя похожими изображениями (корреляция цифрового изображения ) или другие наборы данных. Он обычно используется в регистрации изображений и основан на представлении данных в частотной области, обычно вычисляемом с помощью быстрых преобразований Фурье. Этот термин применяется, в частности, к подмножеству методов взаимной корреляции, которые отделяют фазовую информацию от представления в пространстве Фурье перекрестной коррелограммы.

• 1 Пример
• 2 Метод
• 3 Обоснование
  • 3.1 Преимущества
  • 3.2 Ограничения
• 4 Приложения
• 5 См. Также
• 6 Ссылки
• 7 Внешние ссылки

Следующее изображение демонстрирует использование фазовой корреляции для определения относительного поступательного движения между двумя изображениями, поврежденными независимым гауссовым шумом. Изображение было переведено на (30,33) пикселей. Соответственно, можно ясно увидеть пик в представлении фазовой корреляции примерно на (30,33).

Для двух входных изображений $ga\; \{\backslash \; displaystyle\; \backslash \; g\_\; \{a\}\}$и $gb\; \{\backslash \; displaystyle\; \backslash \; g\_\; \{b\}\}$:

Примените функцию окна (например, окно Хэмминга ) к обоим изображениям, чтобы уменьшить краевые эффекты (это может быть необязательным в зависимости от характеристик изображения). Затем вычислите дискретное 2D преобразование Фурье обоих изображений.

$G\; a\; =\; F\; \{ga\},\; G\; b\; =\; F\; \{gb\}\; \{\backslash \; displaystyle\; \backslash \; \backslash \; mathbf\; \{G\}\; \_\; \{a\}\; =\; \{\backslash \; mathcal\; \{F\}\}\; \backslash \; \{g\_\; \{a\}\; \backslash \},\; \backslash ;\; \backslash \; mathbf\; \{G\}\; \_\; \{b\}\; =\; \{\backslash \; mathcal\; \{F\}\}\; \backslash \; \{g\_\; \{b\}\; \backslash \}\}$

Вычислите спектр перекрестной мощности, взяв комплексно-сопряженное второго результата, поэлементное умножение преобразований Фурье вместе и поэлементная нормализация этого произведения.

$R\; =\; G\; a\; \circ \; G\; b\; \ast \; |\; G\; a\; \circ \; G\; b\; \ast \; |\; \{\backslash \; displaystyle\; \backslash \; R\; =\; \{\backslash \; frac\; \{\backslash \; mathbf\; \{G\}\; \_\; \{a\}\; \backslash \; circ\; \backslash \; mathbf\; \{G\}\; \_\; \{b\}\; ^\; \{*\}\}\; \{|\; \backslash \; mathbf\; \{G\}\; \_\; \{a\}\; \backslash \; circ\; \backslash \; mathbf\; \{G\}\; \_\; \{b\}\; ^\; \{*\}\; |\}\}\}$

Где $\circ \; \{\backslash \; displaystyle\; \backslash \; circ\}$- произведение Адамара (начальное произведение), а абсолютные значения также берутся по входам. Записывается построчно для индекса элемента $(j,\; k)\; \{\backslash \; displaystyle\; (j,\; k)\}$:

$R\; j\; k\; =\; G\; a,\; j\; k\; \cdot \; G\; b,\; j\; k\; \ast \; |\; G\; a,\; j\; k\; \cdot \; G\; b,\; j\; k\; \ast \; |\; \{\backslash \; displaystyle\; \backslash \; R\_\; \{jk\}\; =\; \{\backslash \; frac\; \{G\_\; \{a,\; jk\}\; \backslash \; cdot\; G\_\; \{b,\; jk\}\; ^\; \{*\}\}\; \{|\; G\_\; \{a,\; jk\}\; \backslash \; cdot\; G\_\; \{b,\; jk\}\; ^\; \{\; *\}\; |\}\}\}$

Получите нормализованную взаимную корреляцию, применив обратное преобразование Фурье.

$r\; =\; F\; -\; 1\; \{R\}\; \{\backslash \; displaystyle\; \backslash \; r\; =\; \{\backslash \; mathcal\; \{F\}\}\; ^\; \{-\; 1\}\; \backslash \; \{R\; \backslash \}\}$

Определить положение пика в $r\; \{\; \backslash \; displaystyle\; \backslash \; r\}$.

$(\Delta \; x,\; \Delta \; y)\; =\; arg\; \; max\; (x,\; y)\; \{r\}\; \{\backslash \; displaystyle\; \backslash \; (\backslash \; Delta\; x,\; \backslash \; Delta\; y)\; =\; \backslash \; arg\; \backslash \; max\; \_\; \{(x,\; y)\}\; \backslash \; \{r\; \backslash \}\}$

Обычно методы интерполяции используются для оценки местоположения пика на перекрестной коррелограмме с не- целым числом значений, несмотря на то, что данные дискретны, и эту процедуру часто называют «подпиксельной регистрацией». В технической литературе приведено большое количество методов субпиксельной интерполяции. Были использованы общие методы интерполяции пиков, такие как параболическая интерполяция, а пакет компьютерного зрения OpenCV использует метод на основе центроида, хотя они обычно имеют худшую точность по сравнению с более сложными методами.

Поскольку представление данных Фурье уже вычислено, особенно удобно использовать теорему о сдвиге Фурье с действительными -значными (субцелыми) сдвигами. для этой цели, которая по существу интерполирует с использованием синусоидальных базисных функций преобразования Фурье. Особенно популярная оценка на основе FT дана Foroosh et al. В этом методе местоположение пика субпикселя аппроксимируется простой формулой, включающей значение пика пикселя и значения его ближайших соседей, где $r\; (0,\; 0)\; \{\backslash \; displaystyle\; r\; \_\; \{(0,0)\}\}$- пиковое значение, а $r\; (1,\; 0)\; \{\backslash \; displaystyle\; r\; \_\; \{(1,0)\}\}$- ближайший сосед в направлении x (при условии, что в большинстве похоже, что целочисленный сдвиг уже обнаружен и сравниваемые изображения отличаются только субпиксельным сдвигом).

$\Delta \; Икс\; знак\; равно\; r\; (1,\; 0)\; r\; (1,\; 0)\; \pm \; r\; (0,\; 0)\; \{\backslash \; displaystyle\; \backslash \; \backslash \; Delta\; x\; =\; \{\backslash \; frac\; \{r\; \_\; \{(1,0)\}\}\; \{r\; \_\; \{(\; 1,0)\}\; \backslash \; pm\; r\; \_\; \{(0,0)\}\}\}\}$

The Foroosh et al. метод довольно быстрый по сравнению с большинством методов, хотя он не всегда самый точный. Некоторые методы смещают пик в пространстве Фурье и применяют нелинейную оптимизацию для максимизации пика коррелограммы, но они, как правило, очень медленные, поскольку они должны применять обратное преобразование Фурье или его эквивалент в целевой функции.

Также возможно вывести положение пика из фазовых характеристик в пространстве Фурье без обратного преобразования, как отметил Стоун. В этих методах обычно используется метод линейных наименьших квадратов (LLS) для фазовых углов с плоской моделью. Большая задержка вычисления фазового угла в этих методах является недостатком, но скорость иногда может быть сравнима с Foroosh et al. метод в зависимости от размера изображения. По скорости они часто выгодно отличаются от многократных итераций чрезвычайно медленных целевых функций в итеративных нелинейных методах.

Поскольку все методы вычисления субпиксельного сдвига в основном являются интерполяционными, производительность конкретного метода зависит от того, насколько хорошо базовые данные соответствуют предположениям в интерполяторе. Этот факт также может ограничивать полезность высокой числовой точности в алгоритме, поскольку неопределенность из-за выбора метода интерполяции может быть больше, чем любая численная ошибка или ошибка аппроксимации в конкретном методе.

Методы субпикселей также особенно чувствительны к шуму в изображениях, и полезность конкретного алгоритма отличается не только его скоростью и точностью, но и его устойчивостью к определенным типам шума в приложении.

Метод основан на теореме о сдвиге Фурье. Пусть два изображения $ga\; \{\backslash \; displaystyle\; \backslash \; g\_\; \{a\}\}$и $gb\; \{\backslash \; displaystyle\; \backslash \; g\_\; \{b\}\}$будут версиями каждого изображения со сдвигом по кругу. другое:

$gb\; (x,\; y)\; =\; defga\; ((x\; -\; \Delta \; x)\; mod\; M,\; (y\; -\; \Delta \; y)\; mod\; N)\; \{\backslash \; displaystyle\; \backslash \; g\_\; \{b\}\; (x,\; y)\; \backslash \; \{\backslash \; stackrel\; \{\; \backslash \; mathrm\; \{def\}\}\; \{=\}\}\; \backslash \; g\_\; \{a\}\; ((x-\; \backslash \; Delta\; x)\; \{\backslash \; bmod\; \{M\}\},\; (y-\; \backslash \; Delta\; y)\; \{\backslash \; bmod\; \{N\}\})\}$

(где изображения имеют размер $M\; \times \; N\; \{\backslash \; displaystyle\; \backslash \; M\; \backslash \; times\; N\}$).

Тогда дискретные преобразования Фурье изображений будут сдвинуты относительно в фазе :

$G\; b\; (u,\; v)\; =\; G\; a\; (u,\; v)\; e\; -\; 2\; \pi \; i\; (u\; \Delta \; Икс\; M\; +\; v\; \Delta \; Y\; N)\; \{\backslash \; Displaystyle\; \backslash \; mathbf\; \{G\}\; \_\; \{b\}\; (u,\; v)\; =\; \backslash \; mathbf\; \{G\}\; \_\; \{a\}\; (u,\; v)\; e\; ^\; \{-\; 2\; \backslash \; pi\; i\; (\{\; \backslash \; frac\; \{u\; \backslash \; Delta\; x\}\; \{M\}\}\; +\; \{\backslash \; frac\; \{v\; \backslash \; Delta\; y\}\; \{N\}\})\}\}$

Затем можно вычислить нормализованный спектр перекрестной мощности, чтобы вычесть разность фаз:

$R\; (u,\; v)\; =\; G\; a\; G\; b\; \ast \; |\; G\; a\; G\; b\; \ast \; |\; =\; G\; a\; G\; a\; \ast \; e\; 2\; \pi \; i\; (u\; \Delta \; x\; M\; +\; v\; \Delta \; y\; N)\; |\; G\; a\; G\; a\; \ast \; e\; 2\; \pi \; i\; (u\; \Delta \; x\; M\; +\; v\; \Delta \; y\; N)\; |\; =\; G\; a\; G\; a\; \ast \; e\; 2\; \pi \; i\; (u\; \Delta \; x\; M\; +\; v\; \Delta \; y\; N)\; |\; G\; a\; G\; a\; \ast \; |\; знак\; равно\; е\; 2\; \pi \; я\; (U\; \Delta \; Икс\; M\; +\; v\; \Delta \; Y\; N)\; \{\backslash \; Displaystyle\; \{\backslash \; begin\; \{align\}\; R\; (u,\; v)\; =\; \{\backslash \; frac\; \{\backslash \; mathbf\; \{G\}\; \_\; \{a\}\; \backslash \; mathbf\; \{G\; \}\; \_\; \{b\}\; ^\; \{*\}\}\; \{|\; \backslash \; mathbf\; \{G\}\; \_\; \{a\}\; \backslash \; mathbf\; \{G\}\; \_\; \{b\}\; ^\; \{*\}\; |\}\}\; \backslash \backslash \; =\; \{\backslash \; frac\; \{\backslash \; mathbf\; \{G\}\; \_\; \{a\}\; \backslash \; mathbf\; \{G\}\; \_\; \{a\}\; ^\; \{*\}\; e\; ^\; \{2\; \backslash \; pi\; i\; (\{\backslash \; frac\; \{u\; \backslash \; Delta\; x\}\; \{M\}\}\; +\; \{\backslash \; frac\; \{v\; \backslash \; Delta\; y\}\; \{N\; \}\})\}\}\; \{|\; \backslash \; mathbf\; \{G\}\; \_\; \{a\}\; \backslash \; mathbf\; \{G\}\; \_\; \{a\}\; ^\; \{*\}\; e\; ^\; \{2\; \backslash \; pi\; i\; (\{\backslash \; frac\; \{u\; \backslash \; Delta\; x\}\; \{M\}\}\; +\; \{\backslash \; frac\; \{v\; \backslash \; Delta\; y\}\; \{N\}\})\}\; |\}\}\; \backslash \backslash \; =\; \{\backslash \; frac\; \{\backslash \; mathbf\; \{G\}\; \_\; \{a\}\; \backslash \; mathbf\; \{G\}\; \_\; \{a\}\; ^\; \{*\}\; e\; ^\; \{2\; \backslash \; pi\; i\; (\{\backslash \; frac\; \{u\; \backslash \; Delta\; x\}\; \{M\}\}\; +\; \{\backslash \; frac\; \{v\; \backslash \; Delta\; y\}\; \{N\}\})\}\}\; \{|\; \backslash \; mathbf\; \{G\}\; \_\; \{a\}\; \backslash \; mathbf\; \{G\}\; \_\; \{a\}\; ^\; \{*\}\; |\}\}\; \backslash \backslash \; =\; e\; ^\; \{2\; \backslash \; pi\; i\; (\{\backslash \; frac\; \{u\; \backslash \; Delta\; x\}\; \{M\}\}\; +\; \{\backslash \; frac\; \{v\; \backslash \; Delta\; y\}\; \{\; N\}\})\}\; \backslash \; end\; \{align\}\}\}$

, поскольку величина мнимой экспоненты всегда равна единице, а фаза $G\; a\; G\; a\; \ast \; \{\backslash \; displaystyle\; \backslash \; \backslash \; mathbf\; \{G\}\; \_\; \{a\}\; \backslash \; mathbf\; \{G\}\; \_\; \{a\}\; ^\; \{*\}\}$всегда равно нулю.

Обратное преобразование Фурье комплексной экспоненты - это дельта Кронекера, то есть единственный пик:

$r\; (x,\; y)\; =\; \delta \; (x\; +\; \Delta \; x,\; y\; +\; \Delta \; y)\; \{\backslash \; displaystyle\; \backslash \; r\; (x,\; y)\; =\; \backslash \; delta\; (x\; +\; \backslash \; Delta\; x,\; y\; +\; \backslash \; Delta\; y)\}$

Этот результат можно было получить путем прямого вычисления взаимной корреляции. Преимущество этого метода заключается в том, что дискретное преобразование Фурье и его обратное можно выполнять с помощью быстрого преобразования Фурье, которое намного быстрее, чем корреляция для больших изображений.

Преимущества

В отличие от многих алгоритмов пространственной области, метод фазовой корреляции устойчив к шуму, окклюзии и другим дефектам, типичным для медицинских или спутниковых изображений.

Этот метод может может быть расширен для определения различий поворота и масштабирования между двумя изображениями, сначала преобразовав изображения в логополярные координаты. Благодаря свойствам преобразования Фурье, параметры поворота и масштабирования могут быть определены способом, инвариантным к переносу.

Ограничения

На практике более вероятно, что $gb\; \{\backslash \; displaystyle\; \backslash \; g\_\; \{b\}\}$будет простым линейным сдвигом $ga\; \{\backslash \; displaystyle\; \backslash \; g\_\; \{a\}\}$, а не круговым сдвиг в соответствии с приведенным выше объяснением. В таких случаях $r\; \{\backslash \; displaystyle\; \backslash \; r\}$не будет простой дельта-функцией, что снизит производительность метода. В таких случаях оконная функция (например, окно Гаусса или Тьюки) должна использоваться во время преобразования Фурье, чтобы уменьшить краевые эффекты, или изображения должны быть дополнены нулями, чтобы краевые эффекты можно было игнорировать. Если изображения состоят из плоского фона со всеми деталями, расположенными далеко от краев, то линейный сдвиг будет эквивалентен круговому сдвигу, и приведенный выше вывод будет точным. Пик может быть увеличен с помощью краевой или векторной корреляции.

Для периодических изображений (например, шахматной доски) фазовая корреляция может дать неоднозначные результаты с несколькими пиками в конечном результате.

Фазовая корреляция - это предпочтительный метод для преобразования телевизионных стандартов, поскольку он оставляет наименьшее количество артефактов.

Общие

• Взаимная корреляция
• Масштабированная корреляция

Телевидение

• Преобразование телевизионных стандартов
• Обратное преобразование стандартов

1. ^H. Форуш (Шекарфороуш), Дж. Б. Зерубиа и М. Бертод, «Расширение фазовой корреляции для регистрации субпикселей», IEEE Transactions on Image Processing, т. 11, № 3, март 2002 г., стр. 188-200.
2. ^Например. М. Шёдал и Л. Бенкерт, «Электронная спекл-фотография: анализ алгоритма, дающего смещение с субпиксельной точностью», Appl Opt. 1993 1 мая; 32 (13): 2278-84. doi: 10.1364 / AO.32.002278
3. ^Гарольд С. Стоун, «Быстрый прямой алгоритм на основе Фурье для регистрации субпикселей изображений», IEEE Transactions on Geoscience and Remote Sensing, V. 39, No. 10, Oct. 2001, стр.2235-2242
4. ^E. Де Кастро и К. Моранди «Регистрация переведенных и повернутых изображений с использованием конечных преобразований Фурье», IEEE Transactions on Pattern Analysis and Machine Intelligence, сентябрь 1987 г.
5. ^Б. С. Редди и Б. Н. Чаттерджи, «Техника на основе БПФ для перевода, поворота и масштабно-инвариантной регистрации изображений», IEEE Transactions on Image Processing 5, no. 8 (1996): 1266–1271.
6. ^http://www.jprr.org/index.php/jprr/article/viewFile/355/148

• Использование Matlab для выполнения нормализованной взаимной корреляции изображений