Обнаружение угла

Результат типичного алгоритма обнаружения угла

Обнаружение угла - это подход, используемый в компьютерном зрении системы для извлечения определенных видов изображений и определения содержания. Обнаружение углов часто используется в обнаружении движения, изображения регистрации, слежении за видео, мозаике изображения, сшивании панорамы, 3D-реконструкция и распознавание объектов. Обнаружение углов перекликается с темой обнаружения точек интереса.

• 1 Формализация
• 2 Алгоритм обнаружения углов Моравека
• 3 Алгоритмы обнаружения углов Харриса и Стивенса / Ши - Томази
• 4 Угловой детектор Ферстнера
• 5 Многомасштабный оператор Харриса
• 6 Метод кривизны кривой уровня
• 7 Лапласиан Гауссиана, разности гауссиана и определитель точек интереса в пространстве шкалы Гессе
• 8 Масштабные точки интереса на основе критериев силы признаков Линдеберга-Гессе
• 9 Аффинно-адаптированные операторы точек интереса
• 10 Алгоритм обнаружения углов Ванга и Брэди
• 11 Детектор углов SUSAN
• 12 Трайкович и Хедли Угловой детектор
• 13 Детекторы признаков на основе AST
• 14 Автоматический синтез детекторов
• 15 Детекторы пространственно-временных точек интереса
• 16 Библиография
• 17 Справочные реализации
• 18 См. также
• 19 Внешние ссылки

Угол может быть определен как пересечение Использование двух ребер. Угол также можно определить как точку, для которой существуют два доминирующих и разных направления кромок в локальной окрестности точки.

Интересная точка - это точка на изображении, которая имеет четко определенное положение и может быть надежно обнаружена. Это означает, что точка интереса может быть, но она также может быть, например, изолированной точкой локального максимума или минимума интенсивности, окончанием линии или точкой на кривой, где кривизна локально максимальна.

На практике большинства так называемых методов обнаружения точек обнаружения в целом, фактически термины «угол» и «точка интереса» используются более или менее взаимозаменяемо в литературе. Как следствие, если должны быть обнаружены только углы, необходимо провести локальный анализ обнаруженных точек интереса, чтобы определить какие из них являются реальными углами. Примерами обнаружения краев, которые можно использовать с постобработкой для обнаружения, являются оператор Кирша и набор маскирования Фрей-Чена.

«Угол», «точка интереса» и «функция» "используются в литературе как синонимы, запутывая проблему. В частности, существует несколько детекторов больших двоичных объектов, которые можно назвать« операторами точки » интереса », но иногда ошибочно называют« детекторами углов ». Кроме того, существует понятие обнаружение гребня для обнаружения присутствия удлиненных объектов.

Угловые детекторы обычно не очень надежны и часто требуют больших избыточных возможностей,

Одним из факторов, определяющих качество детектора углов, его способность обнаруживать один и тот же угол на нескольких похожих изображениях в условиях разного освещения, перемещения, поворота и других преобразований.

Простым подходом к обнаружению углов в изображениях является использование корреляции, но это требует больших вычислительных затрат и неоптимально. ьзуемый альтернативный подход основан на методе, предложенном Харрисом и Стивенсом (ниже), который, в свою очередь, является улучшением метода Моравека.

Это один из самых ранних алгоритмов обнаружения углов, определяющий угол как точку с нижним самоподобием. Алгоритм проверяет каждый пиксель в изображении, чтобы увидеть, присутствует ли угол, насколько он похож на пиксель на соседние, в степени перекрывающиеся участки. Сходство измеряется как сумма квадратов разностей (SSD) между поставщиками двух участков. Меньшее число указывает на большее сходство.

Если пиксель находится в области одинаковой интенсивности, то соседние участки будут выглядеть одинаково. Если пиксель находится на краю, то следующие участки в направлении, перпендикулярном краю, будут выглядеть совершенно иначе, но соседние участки в направлении, параллельном краю, приведут только к небольшому изменению. Если пиксель находится на объекте с вариациями во всех направлениях, то ни один из ближайших участков не будет выглядеть одинаково.

Сила угла между определяется как наименьший SSD патчем и его соседями (горизонтально, вертикально и по двум диагоналям). Причина в том, что если это число велико, то вариация по всем сдвигам либо равна ему, либо больше, поэтому при захвате все соседние участки выглядят по-разному.

Если показатель прочности вычисляется для всех местоположений, то он локально максимален для одного местоположения, указывает, что в нем присутствует интересующий объект.

Как указывает Моравец, одна из основных проблем с этим оператором заключается в том, что он не изотропный : если присутствует край, который не находится в направлении соседей (горизонтальный, вертикальный или диагональный), тогда Самый маленький SSD будет большим, и край будет неправильно выбран в качестве точки интереса.

См. Харрис Угловой детектор.

Харрис и Стивенс усовершенствовали детектор углов Моравека, рассматривая разницу углов непосредственно по направлению вместо использования смещенных участков. (Эта угловая оценка часто используется как автокорреляция, поскольку этот термин используется в статье, которая описывает этот детектор. Однако математические данные в статье показывают, что используется сумма квадратов раз.)

ограничения общности мы будем предполагать, что используетсямерное изображение в градациях серого. Пусть это изображение будет задано как $I\; \{\backslash \; displaystyle\; I\}$. Возьмите фрагмент изображения в области $(u,\; v)\; \{\backslash \; displaystyle\; (u,\; v)\}$и сместите его на $(x,\; y)\; \{\backslash \; displaystyle\; (x,\; y)\}$. Взвешенная сумма квадратов разностей (SSD) между этими патчами, обозначенная $S\; \{\backslash \; displaystyle\; S\}$, определяется как:

$S\; (x,\; y)\; =\; \sum \; u\; \sum \; vw\; (U,\; v)\; (I\; (U\; +\; X,\; v\; +\; Y)\; -\; I\; (U,\; v))\; 2\; \{\backslash \; Displaystyle\; S\; (x,\; y)\; =\; \backslash \; sum\; \_\; \{u\}\; \backslash \; sum\; \_\; \{v\}\; w\; (u,\; v)\; \backslash ,\; \backslash \; влево\; (I\; (u\; +\; x,\; v\; +\; y)\; -I\; (u,\; v)\; \backslash \; right)\; ^\; \{2\}\}$

$I\; (u\; +\; x,\; v\; +\; y)\; \{\backslash \; displaystyle\; I\; (u\; +\; x,\; v\; +\; y)\}$может быть аппроксимировано разложением Тейлора. Пусть $I\; x\; \{\backslash \; displaystyle\; I\_\; \{x\}\}$и $I\; y\; \{\backslash \; displaystyle\; I\_\; \{y\}\}$будут частными производными из $I\; \{\backslash \; displaystyle\; I\}$, такое, что

$I\; (u\; +\; x,\; v\; +\; y)\; \approx \; I\; (u,\; v)\; +\; I\; x\; (u,\; v)\; x\; +\; I\; y\; (u,\; v)\; y\; \{\backslash \; displaystyle\; I\; (u\; +\; x,\; v\; +\; y)\; \backslash \; приблизительно\; I\; (u,\; v)\; +\; I\_\; \{x\}\; (u,\; v)\; x\; +\; I\_\; \{y\}\; (u,\; v)\; y\; \}$

Это дает приближение

$S\; (x,\; y)\; \approx \; \sum \; u\; \sum \; vw\; (u,\; v)\; (I\; x\; (u,\; v)\; x\; +\; I\; y\; (u,\; v)\; y)\; 2,\; \{\backslash \; displaystyle\; S\; (x,\; y)\; \backslash \; приблизительно\; \backslash \; sum\; \_\; \{u\}\; \backslash \; sum\; \_\; \{v\}\; w\; (u,\; v)\; \backslash ,\; \backslash \; left\; (I\_\; \{x\}\; (u,\; v)\; x\; +\; I\_\; \{y\}\; (u,\; v)\; y\; \backslash \; right)\; ^\; \{2\},\}$

может быть записан в матричной форме:

$S\; (x,\; y)\; \approx \; (xy)\; A\; (xy),\; \{\backslash \; displaystyle\; S\; (x,\; y)\; \backslash \; приблизительно\; \{\backslash \; begin\; \{pmatrix\}\; x\; y\; \backslash \; end\; \{pmatrix\}\}\; A\; \{\backslash \; begin\; \{pmatrix\}\; x\; \backslash \backslash \; y\; \backslash \; end\; \{pmatrix\}\},\}$

где A - тензор структуры ,

$A\; =\; \sum \; u\; \sum \; vw\; (u,\; v)\; [I\; x\; (u,\; v)\; 2\; I\; x\; (u,\; v)\; I\; y\; (u,\; v)\; I\; x\; (u,\; v)\; I\; y\; (u,\; v)\; I\; y\; (\; u,\; v)\; 2]\; =\; [⟨я\; Икс\; 2⟩\; ⟨Я\; Икс\; Я\; Y⟩\; ⟨Я\; Икс\; Я\; Y⟩\; ⟨Я\; Y\; 2⟩]\; \{\backslash \; Displaystyle\; A\; =\; \backslash \; sum\; \_\; \{u\}\; \backslash \; sum\; \_\; \{v\}\; w\; (u,\; v)\; \{\backslash \; begin\; \{bmatrix\}\; I\_\; \{x\}\; (u,\; v)\; ^\; \{2\}\; I\_\; \{x\}\; (u,\; v)\; I\_\; \{y\}\; (u,\; v)\; \backslash \backslash \; I\_\; \{x\}\; (u,\; v)\; I\_\; \{y\}\; (u,\; v)\; I\_\; \{y\}\; (u,\; v)\; ^\; \{2\}\; \backslash \; end\; \{bmatrix\}\}\; =\; \{\backslash \; begin\; \{bmatrix\}\; \backslash \; langle\; I\_\; \{x\; \}\; ^\; \{2\}\; \backslash \; rangle\; \backslash \; langle\; I\_\; \{x\}\; I\_\; \{y\}\; \backslash \; rangle\; \backslash \backslash \backslash \; langle\; I\_\; \{x\}\; I\_\; \{y\}\; \backslash \; rangle\; \backslash \; langle\; I\_\; \{y\}\; ^\; \{2\}\; \backslash \; rangle\; \backslash \; end\; \{\; bmatrix\}\}\}$

На словах мы находим ковариацию частной производной плотности изображения $I\; \{\backslash \; displaystyle\; I\}$по отношению к осям $x\; \{\backslash \; displaystyle\; x\}$и $y\; \{\backslash \; displaystyle\; y\}$.

Угловые скобки обозначают усреднение (то есть суммирование по $(u,\; v)\; \{\backslash \; displaystyle\; (u,\; v)\}$). $w\; (u,\; v)\; \{\backslash \; displaystyle\; w\; (u,\; v)\}$обозначает тип окна, которое скользит по изображению. Если используется прямоугольный фильтр , ответ будет анизотропным, но если используется гауссовский, то ответ будет изотропным.

угол (или вообще точка интереса) характеризуется большой изменением $S\; \{\backslash \; displaystyle\; S\}$во всех направлениях вектора $(xy)\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{pmatrix\}\; x\; y\; \backslash \; end\; \{pmatrix\}\}\}$. Анализируя собственные значения $A\; \{\backslash \; displaystyle\; A\}$, эту характеристику можно выразить следующим образом: $A\; \{\backslash \; displaystyle\; A\}$должно иметь два "больших собственных значения для интересующей Основываясь на величинах собственных значений, на основании этого аргумента можно сделать следующие выводы:

1. Если $\lambda \; 1\; \approx \; 0\; \{\backslash \; displaystyle\; \backslash \; lambda\; \_\; \{1\}\; \backslash \; приблизительно\; 0\}$и $\lambda \; 2\; \approx \; 0\; \{\backslash \; displaystyle\; \backslash \; lambda\; \_\; \{2\}\; \backslash \; приблизительно\; 0\}$, затем этот пиксель $(x,\; y)\; \{\backslash \; displaystyle\; (x,\; y)\}$не имеет интересных особенностей.
2. Если $\lambda \; 1\; \approx \; 0\; \{\backslash \; displaystyle\; \backslash \; lambda\; \_\; \{1\}\; \backslash \; приблизительно\; 0\}$и $\lambda \; 2\; \{\backslash \; displaystyle\; \backslash \; lambda\; \_\; \{2\}\}$имеет большое положительное значение, тогда обнаружено ребро.
3. Если $\lambda \; 1\; \{\backslash \; displaystyle\; \backslash \; lambda\; \_\; \{1\}\}$и $\lambda \; 2\; \{\backslash \; displaystyle\; \backslash \; lambda\; \_\; \{2\}\}$имеют большие положительные значения, тогда обнаруживается угол.

Харрис и Стивенс отмечают, что точное вычисление собственных значений вычислительно затратно, так как требует вычисления квадратного корня и вместо этого предлагает свою функцию функцию $M\; c\; \{\backslash \; displaystyle\; M\_\; \{c\}\}$, где $\kappa \; \{\backslash \; displaystyle\; \backslash \; kappa\}$- настраиваемый параметр чувствительности eter:

$M\; c\; =\; \lambda \; 1\; \lambda \; 2\; -\; \kappa \; (\lambda \; 1\; +\; \lambda \; 2)\; 2\; =\; det\; \; (A)\; -\; \kappa \; след\; 2\; \; (A)\; \{\backslash \; displaystyle\; M\_\; \{c\}\; =\; \backslash \; lambda\; \_\; \{1\}\; \backslash \; lambda\; \_\; \{2\}\; -\; \backslash \; kappa\; \backslash ,\; (\backslash \; lambda\; \_\; \{1\}\; +\; \backslash \; lambda\; \_\; \{2\})\; ^\; \{2\; \}\; =\; \backslash \; operatorname\; \{det\}\; (A)\; -\; \backslash \; kappa\; \backslash ,\; \backslash \; operatorname\; \{trace\}\; ^\; \{2\}\; (A)\}$

Следовательно, алгоритму не нужно фактически вычислять разложение по собственным значениям <матрицы 152>A {\ displaystyle A}, а вместо этого достаточно для оценки детерминанта и трассы для $A\; \{\backslash \; displaystyle\; A\}$, чтобы найти углы или, скорее, точки интереса в целом.

Угловой детектор Ши - Томази напрямую вычисляет $min\; (\lambda \; 1,\; \lambda \; 2)\; \{\backslash \; displaystyle\; min\; (\backslash \; lambda\; \_\; \{1\},\; \backslash \; lambda\; \_\; \{2\})\}$потому что при предположениях углы более устойчивые для установки. Обратите внимание, что этот метод также иногда называют угловым детектором Канаде - Томази.

Значение $\kappa \; \{\backslash \; displaystyle\; \backslash \; kappa\}$должно быть определено эмпирически, и в литературе значения в диапазоне 0,04–0,15 указаны как возможные.

Можно избежать установки параметра $\kappa \; \{\backslash \; displaystyle\; \backslash \; kappa\}$, используя угловую меру Нобла $M\; c\; \prime \; \{\backslash \; displaystyle\; M\_\; \{c\}\; \text{'}\}$, что составляет среднее гармоническое собственных значений:

$M\; c\; \prime \; =\; 2\; det\; \; (A)\; trace\; \; (A)\; +\; ϵ,\; \{\backslash \; displaystyle\; M\_\; \{c\}\; \text{'}=\; 2\; \{\backslash \; frac\; \{\backslash \; operatorname\; \{det\}\; (A)\}\; \{\backslash \; operatorname\; \{trace\}\; (A)\; +\; \backslash \; epsilon\}\},\}$

$ϵ\; \{\backslash \; displaystyle\; \backslash \; epsilon\}$является небольшим положительным постоянным.

Если $A\; \{\backslash \; displaystyle\; A\}$можно интерпретировать как матрицу точности для положения угла, ковариационная матрица для положения угла: $A\; -\; 1\; \{\backslash \; displaystyle\; A\; ^\; \{-\; 1\}\}$, т.е.

$1\; ⟨I\; x\; 2⟩\; ⟨I\; y\; 2⟩\; -\; ⟨I\; x\; I\; y⟩\; 2\; [⟨I\; y\; 2⟩\; -\; ⟨I\; x\; I\; y⟩\; -\; ⟨I\; x\; I\; y⟩\; ⟨I\; x\; 2⟩].\; \{\backslash \; displaystyle\; \{\backslash \; frac\; \{1\}\; \{\backslash \; langle\; I\_\; \{x\}\; ^\; \{2\}\; \backslash \; rangle\; \backslash \; langle\; I\_\; \{y\}\; ^\; \{2\}\; \backslash \; rangle\; -\; \backslash \; langle\; I\_\; \{x\}\; I\_\; \{y\}\; \backslash \; rangle\; ^\; \{2\; \}\}\}\; \{\backslash \; begin\; \{bmatrix\}\; \backslash \; langle\; I\_\; \{y\}\; ^\; \{2\}\; \backslash \; rangle\; -\; \backslash \; langle\; I\_\; \{x\}\; I\_\; \{y\}\; \backslash \; rangle\; \backslash \backslash \; -\; \backslash \; langle\; I\_\; \{x\}\; I\_\; \{y\}\; \backslash \; rangle\; \backslash \; langle\; I\_\; \{x\}\; ^\; \{2\}\; \backslash \; rangle\; \backslash \; end\; \{bmatrix\}\}.\}$

Сумма собственных значений $A\; -\; 1\; \{\backslash \; displaystyle\; A\; ^\; \{-\; 1\}\}$, которая в этом может быть интерпретирована как обобщенная дисперсия (или «общая неопределенность») углового положения, связано с угловой мерой Нобла $M\; c\; \text{'}\{\backslash \; displaystyle\; M\_\; \{c\}\text{'}\}$по следующему уравнению:

$\lambda \; 1\; (A\; -\; 1)\; +\; \lambda \; 2\; (A\; -\; 1)\; =\; trace\; \; (A)\; det\; \; (A)\; \approx \; 2\; M\; c\; \prime .\; \{\backslash \; displaystyle\; \backslash \; lambda\; \_\; \{1\}\; (A\; ^\; \{-\; 1\})\; +\; \backslash \; lambda\; \_\; \{2\}\; (A\; ^\; \{-\; 1\})\; =\; \{\backslash \; frac\; \{\backslash \; operatorname\; \{trace\}\; (A)\}\; \{\backslash \; operatorname\; \{\; det\}\; (A)\}\}\; \backslash \; приблизительно\; \{\backslash \; frac\; \{2\}\; \{M\_\; \{c\}\; \text{'}\}\}.\}$

Определение углов с использованием алгоритма Ферстнера

В некоторых случаях можно вычислить положение угла с субпиксельной точностью. Чтобы достичь приближенного решения, алгоритм Ферстнера находит точку, ближайшую ко всем касательным линии угла в данном окне, и представляет собой решение по методу наименьших квадратов. Алгоритм основан на том факте, что для идеального угла касательной линии пересекаются в одной точке точки.

Уравнение касательной $T\; x\; \prime \; (x)\; \{\backslash \; displaystyle\; T\; \_\; \{\backslash \; mathbf\; \{x\; \text{'}\}\}\; (\backslash \; mathbf\; \{x\})\}$в пикселе $Икс\; \prime \; \{\backslash \; Displaystyle\; \backslash \; mathbf\; \{x\; \text{'}\}\}$определяется по формуле:

$T\; x\; \prime \; (x)\; =\; \nabla \; I\; (x\; \prime )\; \top \; (x\; -\; x\; \prime )\; =\; 0\; \{\backslash \; Displaystyle\; T\; \_\; \{\backslash \; mathbf\; \{x\; \text{'}\}\}\; (\backslash \; mathbf\; \{x\})\; =\; \backslash \; nabla\; I\; (\backslash \; mathbf\; \{x\text{'}\})\; ^\; \{\backslash \; top\}\; (\backslash \; mathbf\; \{x\}\; -\; \backslash \; mathbf\; \{x\; \text{'}\})\; =\; 0\}$

где $\nabla \; I\; (x\; \prime )\; =\; [I\; x,\; I\; y]\; \top \; \{\backslash \; displaystyle\; \backslash \; nabla\; I\; (\backslash \; mathbf\; \{x\; \text{'}\})\; =\; [I\; \_\; \{\backslash \; mathbf\; \{x\}\},\; I\_\; \{\; \backslash \; mathbf\; \{y\}\}]\; ^\; \{\backslash \; top\}\}$- вектор градиента изображения $I\; \{\backslash \; displaystyle\; I\}$в $x\; \prime \; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{\; x\; \text{'}\}\}$.

Точка $x\; 0\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{x\}\; \_\; \{0\}\}$ближайшая ко всем касательным линиям в окне $N\; \{\backslash \; displaystyle\; N\}$:

$x\; 0\; =\; argmin\; x\; \in \; R\; 2\; \times \; 1\; \int \; x\; \prime \; \in \; NT\; x\; \prime \; (x)\; 2\; dx\; \prime \; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{x\}\; \_\; \{0\}\; =\; \{\backslash \; underset\; \{\backslash \; mathbf\; \{x\}\; \backslash \; in\; \backslash \; mathbb\; \{R\}\; ^\; \{2\; \backslash \; times\; 1\}\}\; \{\backslash \; operatorname\; \{argmin\}\}\}\; \backslash \; int\; \_\; \{\backslash \; mathbf\; \{x\; \text{'}\}\; \backslash \; in\; N\}\; T\_\; \{\backslash \; mathbf\; \{x\; \text{'}\}\}\; (\backslash \; mathbf\; \{x\})\; ^\; \{2\}\; d\; \backslash \; mathbf\; \{x\text{'}\}\}$

Расстояние от $x\; 0\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{x\}\; \_\; \{0\}\}$до касательных линий $T\; x\; \prime \; \{\backslash \; displaystyle\; T\; \_\; \{\backslash \; mathbf\; \{x\; \text{'}\}\}\}$взвешивается по величине градиента, что придает большее значение касательным, проходящим через пиксели с сильными градиентами.

Решение относительно $x\; 0\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{x\}\; \_\; \{0\}\}$:

$x\; 0\; =\; argmin\; x\; \in \; R\; 2\; \times \; 1\; \int \; x\; \prime \; \in \; N\; (\nabla \; I\; (x\; \prime )\; \top \; (x\; -\; x\; \prime ))\; 2\; dx\; \prime \; =\; argmin\; x\; \in \; R\; 2\; \times \; 1\; \int \; x\; \prime \; \in \; N\; (x\; -\; x\; \prime )\; \top \; \nabla \; I\; (x\; \prime )\; \nabla \; I\; (x\; \prime )\; \top \; (x\; -\; x\; \prime )\; dx\; \prime \; знак\; равно\; argmin\; x\; \in \; R\; 2\; \times \; 1\; (x\; \top \; A\; x\; -\; 2\; x\; \top \; b\; +\; c)\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{align\}\; \backslash \; mathbf\; \{x\}\; \_\; \{0\}\; =\; \{\backslash \; underset\; \{\backslash \; mathbf\; \{x\}\; \backslash \; in\; \backslash \; mathbb\; \{R\}\; ^\; \{2\; \backslash \; times\; 1\}\}\; \{\backslash \; operatorname\; \{argmin\}\}\}\; \backslash \; int\; \_\; \{\backslash \; mathbf\; \{x\; \text{'}\}\; \backslash \; in\; N\}\; (\backslash \; nabla\; I\; (\backslash \; mathbf\; \{x\; \text{'}\})\; ^\; \{\backslash \; top\}\; (\backslash \; mathbf\; \{x\}\; -\; \backslash \; mathbf\; \{x\text{'}\}))\; ^\; \{2\}\; d\; \backslash \; mathbf\; \{x\; \text{'}\}\; \backslash \backslash \; =\; \{\backslash \; underset\; \{\backslash \; mathbf\; \{x\}\; \backslash \; in\; \backslash \; mathbb\; \{R\}\; ^\; \{2\; \backslash \; times\; 1\}\}\; \{\backslash \; operatorname\; \{argmin\}\}\}\; \backslash \; int\; \_\; \{\backslash \; mathbf\; \{x\; \text{'}\}\; \backslash \; in\; N\}\; (\backslash \; mathbf\; \{x\}\; -\; \backslash \; mathbf\; \{x\text{'}\})\; ^\; \{\; \backslash \; вверх\}\; \backslash \; nabla\; I\; (\backslash \; mathbf\; \{x\; \text{'}\})\; \backslash \; nabla\; I\; (\backslash \; mathbf\; \{x\text{'}\})\; ^\; \{\backslash \; top\}\; (\backslash \; mathbf\; \{x\}\; -\; \backslash \; mathbf\; \{x\; \text{'}\})\; d\; \backslash \; mathbf\; \{x\text{'}\; \}\; \backslash \backslash \; =\; \{\backslash \; underset\; \{\backslash \; mathbf\; \{x\}\; \backslash \; in\; \backslash \; mathbb\; \{R\}\; ^\; \{2\; \backslash \; times\; 1\}\}\; \{\backslash \; operatorname\; \{argmin\}\}\}\; \backslash ,\; (\backslash \; mathbf\; \{x\}\; ^\; \{\backslash \; top\}\; А\; \backslash \; mathbf\; \{x\}\; -2\; \backslash \; mathbf\; \{x\}\; ^\; \{\backslash \; top\}\; \backslash \; ma\; thbf\; \{b\}\; +\; c)\; \backslash \; end\; \{align\}\}\}$

$A\; \in \; R\; 2\; \times \; 2,\; b\; \in \; R\; 2\; \times \; 1,\; c\; \in \; р\; \{\backslash \; Displaystyle\; А\; \backslash \; в\; \backslash \; mathbb\; \{R\}\; ^\; \{2\; \backslash \; т\; imes\; 2\},\; \{\backslash \; textbf\; \{b\}\}\; \backslash \; in\; \backslash \; mathbb\; \{R\}\; ^\; \{2\; \backslash \; times\; 1\},\; c\; \backslash \; in\; \backslash \; mathbb\; \{R\}\}$определяет как:

$A\; =\; \int \; \nabla \; I\; (x\; \prime )\; \nabla \; I\; (x\; \prime )\; \top \; dx\; \prime \; b\; =\; \int \; \nabla \; I\; (x\; \prime )\; \nabla \; I\; (x\; \prime )\; \top \; x\; \prime \; dx\; \prime \; c\; =\; \int \; x\; \prime \; \top \; \nabla \; I\; (x\; \prime )\; \nabla \; I\; (\; Икс\; \text{'})\; \top \; Икс\text{'}\; dx\; \text{'}\{\backslash \; Displaystyle\; \{\backslash \; begin\; \{align\}\; A\; =\; \backslash \; int\; \backslash \; nabla\; I\; (\backslash \; mathbf\; \{x\text{'}\})\; \backslash \; nabla\; I\; (\backslash \; mathbf\; \{x\; \text{'}\})\; ^\; \{\backslash \; top\}\; d\; \backslash \; mathbf\; \{x\; \text{'}\}\; \backslash \backslash \backslash \; mathbf\; \{b\}\; =\; \backslash \; int\; \backslash \; nabla\; I\; (\backslash \; mathbf\; \{x\text{'}\})\; \backslash \; nabla\; I\; (\backslash \; mathbf\; \{x\; \text{'}\})\; ^\; \{\backslash \; top\}\; \backslash \; mathbf\; \{x\text{'}\}\; d\; \backslash \; mathbf\; \{x\; \text{'}\}\; \backslash \backslash \; c\; =\; \backslash \; int\; \backslash \; mathbf\; \{x\text{'}\}\; ^\; \{\backslash \; top\}\; \backslash \; nabla\; I\; (\backslash \; mathbf\; \{x\; \text{'}\})\; \backslash \; nabla\; I\; (\backslash \; mathbf\; \{x\text{'}\})\; ^\; \{\backslash \; top\}\; \backslash \; mathbf\; \{x\; \text{'}\}\; d\; \backslash \; mathbf\; \{x\text{'}\}\; \backslash \backslash \backslash \; end\; \{align\}\}\}$

Минимизация этого уравнения может быть выполнена путем дифференцирования по $x\; \{\backslash \; displaystyle\; x\}$и установив его равным 0:

$2\; A\; x\; -\; 2\; b\; =\; 0\; \Rightarrow \; A\; x\; =\; b\; \{\backslash \; displaystyle\; 2A\; \backslash \; mathbf\; \{x\}\; -2\; \backslash \; mathbf\; \{b\}\; =\; 0\; \backslash \; Rightarrow\; A\; \backslash \; mathbf\; \{x\}\; =\; \backslash \; mathb\; f\; \{b\}\}$

Обратите внимание, что $A\; \in \; R\; 2\; \times \; 2\; \{\backslash \; displaystyle\; A\; \backslash \; in\; \backslash \; mathbb\; \{R\}\; ^\; \{2\; \backslash \; times\; 2\}\}$- это структурный тензор. Чтобы уравнение имело решение, $A\; \{\backslash \; displaystyle\; A\}$должен быть обратимым, что означает, что $A\; \{\backslash \; displaystyle\; A\}$должен иметь полный ранг (ранг 2). Таким образом, решение

$x\; 0\; =\; A\; -\; 1\; b\; \{\backslash \; displaystyle\; x\_\; \{0\}\; =\; A\; ^\; \{-\; 1\}\; \backslash \; mathbf\; \{b\}\}$

существует только в том случае, если фактический угол существует в окне $N\; \{\backslash \; displaystyle\; N\}$.

Линдеберг представил методологию автоматического выбора масштаба для этого метода угловой локализации путем минимизации нормализованной невязки

$d\; ~\; min\; =\; c\; -\; b\; TA\; -\; 1\; b\; trace\; A\; \{\backslash \; displaystyle\; \{\backslash \; tilde\; \{d\; \}\}\; \_\; \{min\}\; =\; \{\backslash \; frac\; \{cb\; ^\; \{T\}\; A\; ^\; \{-\; 1\}\; b\}\; \{\{\backslash \; t\_dv\; \{trace\}\}\; A\}\}\}$

в масштабе. Таким образом, способ позволяет автоматически адаптировать уровни шкалы для вычислений градиентов изображения к уровню шума в данных изображения, выбирая более высокие уровни шкалы для зашумленных данных изображения и более тонкие уровни шкалы для почти идеальных угловидных структур.

Примечания:

• $c\; \{\backslash \; displaystyle\; c\}$можно рассматривать как остаток при вычислении решения методом наименьших квадратов: if $c\; =\; 0\; \{\backslash \; displaystyle\; c\; =\; 0\}$, то ошибки не было.
• этот алгоритм можно модифицировать для вычислений круговых объектов, заменив касательные на нормальные.

Вычисление второй матрицы моментов (иногда также называемой тензором структуры ) $A\; \{\backslash \; displaystyle\; A\}$в операторе Харриса требует вычислений из производных изображений $I\; x,\; I\; y\; \{\backslash \; displaystyle\; I\_\; \{x\},\; I\_\; \{y\}\}$в области изображения, а также суммирование нелинейных комбинаций этих производных по локальным изменениям. Временное вычисление производных обычно включает этапы сглаживания масштабного пространства для рабочего определения оператора Харриса требуются два масштабных проекта: (i) локальный масштаб для сглаживания перед вычислением производных изображений, (ii) шкала интеграции для накопления нелинейных операций над производными операторами в интегрированном дескрипторе изображения.

Если $I\; \{\backslash \; displaystyle\; I\}$обозначает яркость исходного изображения, пусть $L\; \{\backslash \; displaystyle\; L\}$обозначает масштаб пространственное представление из $I\; \{\backslash \; displaystyle\; I\}$, полученное сверткой с гауссовым ядром

$g\; (x,\; y,\; t)\; =\; 1\; 2\; \pi \; te\; -\; (x\; 2\; +\; y\; 2)\; /\; 2\; t\; \{\backslash \; displaystyle\; g\; (x,\; y,\; t)\; =\; \{\backslash \; frac\; \{1\}\; \{2\; \{\backslash \; pi\}\; t\}\}\; e\; ^\; \{-\; (x\; ^\; \{2\}\; +\; y\; ^\; \{2\})\; /\; 2t\}\}$

с параметром локального масштаба $t\; \{\backslash \; displaystyle\; t\}$:

$L\; (x,\; y,\; t)\; =\; g\; (x,\; y,\; t)\; \ast \; I\; (x,\; y)\; \{\backslash \; displaystyle\; L\; (Икс,\; Y,\; T)\; \backslash \; =\; g\; (x,\; y,\; t)\; *\; I\; (x,\; y)\}$

и пусть $L\; x\; =\; \partial \; x\; L\; \{\backslash \; displaystyle\; L\_\; \{x\}\; =\; \backslash \; partial\; \_\; \{x\}\; L\}$и $L\; y\; =\; \partial \; y\; L\; \{\backslash \; displaystyle\; L\_\; \{y\}\; =\; \backslash \; partial\; \_\; \{y\}\; L\}$обозначают частные производные от $L\; \{\backslash \; displaystyle\; L\}$. Кроме того, введите гауссову оконную функцию $g\; (x,\; y,\; s)\; \{\backslash \; displaystyle\; g\; (x,\; y,\; s)\}$с параметром масштаба интегрирования $s\; \{\backslash \; displaystyle\; s\}$. Тогда многомасштабная матрица второго момента может быть определена как

$\mu \; (x,у;\; t,\; s)\; =\; \int \; \xi \; =\; -\; \infty \; \infty \; \int \; \eta \; =\; -\; \infty \; \infty \; [L\; x\; 2\; (x\; -\; \xi ,\; y\; -\; \eta ;\; t)\; L\; x\; (x\; -\; \xi ,\; y\; -\; \eta ;\; t)\; L\; y\; (x\; -\; \xi ,\; y\; -\; \eta ;\; t)\; L\; x\; (x\; -\; \xi ,\; y\; -\; \eta ;\; t)\; L\; y\; (x\; -\; \xi ,\; y\; -\; \eta ;\; t)\; L\; y\; 2\; (x\; -\; \xi ,\; y\; -\; \eta ;\; t)]\; g\; (\xi ,\; \eta ;\; s)\; d\; \xi \; d\; \eta .\; \{\backslash \; displaystyle\; \backslash \; mu\; (x,\; y;\; t,\; s)\; =\; \backslash \; int\; \_\; \{\backslash \; xi\; =\; -\; \backslash \; infty\}\; ^\; \{\backslash \; infty\}\; \backslash \; int\; \_\; \{\backslash \; eta\; =\; -\; \backslash \; infty\}\; ^\; \{\backslash \; infty\}\; \{\backslash \; begin\; \{bmatrix\}\; L\_\; \{x\}\; ^\; \{2\}\; (x-\; \backslash \; xi,\; y-\; \backslash \; eta;\; t)\; L\_\; \{x\}\; (x-\; \backslash \; xi,\; y-\; \backslash \; eta;\; t)\; \backslash ,\; L\_\; \{y\}\; (x\; -\; \backslash \; xi,\; y-\; \backslash \; eta;\; t)\; \backslash \backslash \; L\_\; \{x\}\; (x-\; \backslash \; xi,\; y-\; \backslash \; eta;\; t)\; \backslash ,\; L\_\; \{y\}\; (x-\; \backslash \; xi,\; y-\; \backslash \; eta;\; t)\; L\_\; \{y\}\; ^\; \{2\}\; (x-\; \backslash \; xi,\; y-\; \backslash \; eta;\; t)\; \backslash \; end\; \{bmatrix\}\}\; g\; (\backslash \; xi,\; \backslash \; eta;\; s)\; \backslash ,\; d\; \backslash \; xi\; \backslash ,\; d\; \backslash \; eta.\}$

Затем мы можем вычислить собственные значения $\mu \; \{\backslash \; displaystyle\; \backslash \; mu\}$таким же образом, как собственные значения $A\; \{\backslash \; displaystyle\; A\}$и определить multi - масштабная угловая мера Харриса как

$M\; c\; (x,\; y;\; t,\; s)\; =\; det\; \; (\mu \; (x,\; y;\; t,\; s))\; -\; \kappa \; trace\; 2\; \; (\mu \; (x,\; y;\; t,\; s))\; \{\backslash \; displaystyle\; M\_\; \{c\}\; (x,\; y;\; t,\; s)\; =\; \backslash \; operatorname\; \{det\}\; (\backslash \; mu\; (x,\; y;\; t,\; s))\; -\; \backslash \; kappa\; \backslash ,\; \backslash \; operatorname\; \{trace\}\; ^\; \{2\}\; (\backslash \; mu\; (x,\; y;\; t,\; s))\}$.

Относительно выбора местного масштаба $t\; \{\backslash \; displaystyle\; t\}$и параметра масштаба интегрирования $s\; \{\backslash \; displaystyle\; s\}$, эти параметры масштаба обычно связаны с параметром относительного интегрированного масштаба $\gamma \; \{\backslash \; displaystyle\; \backslash \; gamma\}$такой, что $s\; =\; \gamma \; 2\; t\; \{\backslash \; displaystyle\; s\; =\; \backslash \; gamma\; ^\; \{2\}\; t\}$, где $\gamma \; \{\backslash \; displaystyle\; \backslash \; gamma\}$обычно выбирается в интервале $[1,\; 2]\; \{\backslash \; displaystyle\; [1,\; 2]\}$. Таким образом, мы можем вычислить многомасштабную угловую меруриса $M\; c\; (x,\; y;\; t,\; \gamma \; 2\; t)\; \{\backslash \; displaystyle\; M\_\; \{c\}\; (x,\; y;\; t,\; \backslash \; gamma\; ^\; \{2\}\; t)\}$в любом масштабе $t\; \{\backslash \; displaystyle\; t\}$в масштабном пространстве, чтобы получить многомасштабный детектор углов, который реагирует на угловые структуры различных размеров в области изображения.

На практике многомасштабный детектор углов часто дополняется этапом выбора шкалы, где нормированный по шкале лапласовский оператор

$norm\; 2\; L\; (x,\; y;\; t)\; =\; t\; \nabla \; 2\; L\; (Икс,\; Y,\; T)\; знак\; равно\; T\; (L\; xx\; (x,\; y,\; t)\; +\; L\; yy\; (x,\; y,\; t))\; \{\backslash \; displaystyle\; \backslash \; nabla\; \_\; \{norm\}\; ^\; \{2\}\; L\; (x,\; y;\; t)\; \backslash \; =\; t\; \backslash \; nabla\; ^\; \{2\}\; L\; (x,\; y,\; t)\; =\; t\; (L\_\; \{xx\}\; (x,\; y,\; t)\; +\; L\_\; \{yy\}\; (x,\; y,\; t))\}$

вычисляются в каждом масштабе в пространстве- масштабе и адаптированные масштабу угловые точки с автоматическим масштабом («оператор Харриса-Лапласа») вычисляются из точек, которые одновременно действуют:

• пространственными максимумами многомасштабной угловой меры $M\; с\; (Икс,\; Y;\; T,\; \gamma \; 2\; T)\; \{\backslash \; Displaystyle\; M\_\; \{c\}\; (x,\; y;\; t,\; \backslash \; gamma\; ^\; \{2\}\; t)\}$

$(x\; ^,\; y\; ^;\; t)\; =\; argmaxlocal\; (Икс,\; Y)\; \; M\; с\; (Икс,\; Y\; ;\; T,\; \gamma \; 2\; T)\; \{\backslash \; Displaystyle\; (\{\backslash \; hat\; \{x\}\},\; \{\backslash \; hat\; \{y\}\};\; t)\; =\; \backslash \; operatorname\; \{argmaxlocal\}\; \_\; \{(x,\; y)\}\; M\_\; \{c\}\; (x,\; y;\; t,\; \backslash \; gamma\; ^\; \{2\}\; t)\}$

• локальные максимумы или минимумы по шкалам нормированного по мас штабу оператора лапласа $\nabla \; norm\; 2\; (x,\; у,\; т)\; \{\backslash \; Displaystyle\; \backslash \; набла\; \_\; \{норма\}\; ^\; \{2\}\; (x,\; y,\; t)\}$:

$t\; ^\; =\; argmaxminlocal\; t\; \; \nabla \; n\; или\; m\; 2\; L\; (х\; ^,\; у\; ^;\; т)\; \{\backslash \; displaystyle\; \{\backslash \; hat\; \{t\}\}\; =\; \backslash \; operatorname\; \{argmaxminlocal\}\; \_\; \{t\}\; \backslash \; nabla\; \_\; \{norm\}\; ^\; \{2\}\; L\; (\{\backslash \; hat\; \{x\}\},\; \{\backslash \; hat\; \{y\}\};\; t)\}$

Более ранний подход к обнаружению углов заключался в обнаружении точек, в кривизна кривых уровня и величины градиента одновременно велики. Дифференциальный способ обнаружения точек состоит в вычислении измененной кривой уровня (произведение кривизны кривой уровня и уровня градиента, возведенной в степени трех)

$\kappa \; ~\; (x,\; y;\; t)\; =\; L\; x\; 2\; L\; yy\; +\; L\; y\; 2\; L\; xx\; -\; 2\; L\; x\; L\; y\; L\; ху\; \{\backslash \; displaystyle\; \{\backslash \; tilde\; \{\backslash \; kappa\}\}\; (x,\; y;\; t)\; =\; L\_\; \{x\}\; ^\; \{2\}\; L\_\; \{yy\}\; +\; L\_\; \{y\}\; ^\; \{2\}\; L\_\; \{\; xx\}\; -2L\_\; \{x\}\; L\_\; \{y\}\; L\_\; \{xy\}\}$

и для обнаружения положительных максимумов и отрицательных минимумов этого дифференциального выражения в некотором масштабе $t\; \{\backslash \; displaystyle\; t\}$в представлении пространства масштаба $L\; \{\backslash \; displaystyle\; L\}$исходного изображения. Однако основная проблема при вычислении объекта кривизны измененной кривой уровня в едином масштабе заключается в том, что он может быть чувствителен к шуму и к выбору уровня шкалы. Лучшим методом является вычисление $\gamma \; \{\backslash \; displaystyle\; \backslash \; gamma\}$-нормализованной кривизны измененной кривой уровня

$\kappa \; norm\; ~\; (x,\; y;\; t)\; =\; t\; 2\; \gamma \; (L\; x\; 2\; L\; yy\; +\; L\; y\; 2\; L\; xx\; -\; 2\; L\; x\; L\; y\; L\; ху)\; \{\backslash \; displaystyle\; \{\backslash \; tilde\; \{\backslash \; kappa\; \_\; \{norm\}\}\}\; (x,\; y;\; t)\; =\; t\; ^\; \{2\; \backslash \; gamma\}\; (L\_\; \{x\}\; ^\; \{2\}\; L\_\; \{yy\}\; +\; L\_\; \{y\}\; ^\; \{2\}\; L\_\; \{xx\}\; -2L\_\; \{x\}\; L\_\; \{y\}\; L\_\; \{xy\})\}$

с $\gamma \; =\; 7/8\; \{\backslash \; displaystyle\; \backslash \; gamma\; =\; 7/8\}$и для обнаружения знаков экстремумов масштабного пространства этого выражения, то есть точки и масштабов, которые являются положительными максимумами и отрицательными минимумами по отношению к пространству и масштабам

$(х\; ^,\; у\; ^;\; т\; ^)\; =\; argminmaxlocal\; (х,\; у;\; т)\; \; \kappa \; ~\; норма\; (х,\; у;\; т)\; \{\backslash \; Displaystyle\; (\{\backslash \; шляпа\; \{х\}\},\; \{\backslash \; шляпа\; \{у\}\};\; \{\backslash \; hat\; \{t\; \}\})\; =\; \backslash \; operatorname\; \{argminmaxlocal\}\; \_\; \{(x,\; y;\; t)\}\; \{\backslash \; tilde\; \{\backslash \; kappa\}\}\; \_\; \{norm\}\; (x,\; y;\; t)\}$

в сочетании с дополнительным шагом локализации для обработки увеличения ошибки локализации в более грубых масштабах. Таким образом, большие значения масштаба связаны с закругленными углами с небольшой пространственной протяженностью. Этот подход является первым детектором углового с автоматическим выбором масштаба (до «оператора Харриса-Лапласа» выше) и использовался для установки углов при крупномасштабных вариациях в области изображения и для сопоставления угловых характеристик с краями для вычисления структурных характеристик изображения. для распознавания объектов на основе geon.

LoG - это аббревиатура от слова лапласиана гауссиана, DoG - это аббревиатура, обозначающая разница гауссианов (DoG - это приближение к LoG), а DoH - это аббревиатура, обозначающая определитель гессиана. Все эти масштабно-инвариантные точки интереса извлекаются обнаружение экстремумов в масштабном измерении нормализованных по показателям измерений, т. Е. Точек в пространственных масштабах, где соответствующие различия выражения, нормализованные по масштабу, предполагают локальные экстремумы как по пространству, так и по масштабу

$(x\; ^,\; y\; ^;\; t\; ^)\; =\; argminmaxlocal\; (x,\; y;\; t)\; \; (\; D\; норма\; L)\; (х,\; y;\; т)\; \{\backslash \; displaystyle\; (\{\backslash \; hat\; \{x\}\},\; \{\backslash \; hat\; \{y\})\};\; \{\backslash \; hat\; \{t\}\})\; =\; \backslash \; operatorname\; \{argminmaxlocal\}\; \_\; \{(x,\; y;\; t)\}\; (D\_\; \{norm\}\; L)\; (x,\; y;\; t)\}$

где $D\; norm\; L\; \{\; \backslash \; displaystyle\; D\_\; \{norm\}\; L\}$обозначает соответствующую нормированную по масштабам отличительную сущность (определенную ниже).

Эти детекторы более полно возможностей в обнаружении blob. Нормированный по масштабу лапласиан гауссовских и разностных гауссовских характеристик (Lindeberg 1994, 1998; Lowe 2004)

$\nabla \; норма\; 2\; L\; (x,\; y;\; t)\; =\; t\; (L\; xx\; +\; L\; yy)\; \approx \; t\; (L\; (Икс,\; Y;\; T\; +\; \Delta \; T)\; -\; L\; (Икс,\; Y;\; T))\; \Delta \; T\; \{\backslash \; Displaystyle\; \{\backslash \; begin\; \{align\}\; \backslash \; nabla\; \_\; \{norm\}\; ^\; \{2\}\; L\; (x,\; y;\; t)\; =\; t\; \backslash ,\; (L\_\; \{xx\}\; +\; L\_\; \{yy\})\; \backslash \; приблизительно\; \{\backslash \; frac\; \{t\; \backslash \; left\; (L\; (x,\; y;\; t\; +\; \backslash \; Delta\; t)\; -L\; (x,\; y;\; t)\; \backslash \; right)\}\; \{\backslash \; Delta\; t\}\; \}\; \backslash \; end\; \{align\}\}\}$

не очень высокоселективные функции, поскольку эти операторы могут также приводить к откликам вблизи краев. Чтобы способность улучшить обнаружение обнаружий детектора Гауссиана, детектор признаков, использованных в системе SIFT, использует дополнительный этап постобработки, где собственные значения элемента Гессиан изображения в масштабе обнаружения исследуются аналогично оператору Харриса. Такое изображение слишком похоже на кромку, когда имеется соотношение значений велико. Также можно определить лапласиан Линдеберга детектора гауссовских признаков, включающий дополнительный пороговую обработку для дополнительного дифференциального инварианта для подавления откликов вблизи краев.

Нормализованный по шкале определитель оператора Гессе (Lindeberg 1994, 1998)

$det\; \; H\; норма\; L\; =\; T\; 2\; (L\; xx\; L\; yy\; -\; L\; xy\; 2)\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{det\}\; H\_\; \{norm\; \}\; L\; =\; t\; ^\; \{2\}\; (L\_\; \{xx\}\; L\_\; \{yy\}\; -L\_\; \{xy\}\; ^\; \{2\})\}$

, с другой стороны, очень избирательно относится к хорошо локализованным функциям изображения и реагирует только тогда, когда есть значительные вариации уровня серого в двух направлениях изображения, и в этом и других отношениях является лучшим детектором точки интереса. чем лапласиан гауссиана. Определитель гессиана является аффинно-ковариантным отличительным выражением и имеет лучшие свойства выбора масштаба при преобразованиях аффинных изображений, чем оператор Лапласа (Lindeberg 2013, 2015). Экспериментально это означает, что определитель точки интереса Гессе имеет лучшие свойства эффективности при использовании Лапласа, что, в свою очередь, приводит к лучшей производительности сопоставления на основе изображений с точки зрения более высокой эффективности и более низких показателей точности 1

Свойства выбора шкалы, свойства аффинного преобразования и экспериментальные свойства этих и других детекторов интереса в масштабном пространстве подробно проанализированы в (Lindeberg 2013, 2015).

На основе структурно-свойств матрицы Гессе $H\; f\; \{\backslash \; displaystyle\; Hf\}$функции $f\; \{\backslash \; displaystyle\; f\}$и матрица второго момента (тензор структуры) $\mu \; \{\backslash \; displaystyle\; \backslash \; mu\}$, например, проявляться в терминах аналогичных свойств преобразования при деформации аффинного изображения

$(H\; f\; \text{'})\; =\; A\; -\; T\; (H\; f)\; A\; -\; 1\; \{\backslash \; displaystyle\; (Hf\text{'})\; =\; A\; ^\; \{-\; T\}\; \backslash ,\; (Hf)\; \backslash ,\; A\; ^\; \{-\; 1\}\}$,

$\mu \; \prime \; =\; A\; -\; T\; \mu \; A\; -\; 1\; \{\backslash \; displaystyle\; \backslash \; mu\; \text{'}=\; A\; ^\; \{-\; T\}\; \backslash ,\; \backslash \; mu\; \backslash ,\; A\; ^\; \{-\; 1\}\}$,

Линдеберг (2013, 2015) великолепно определить четыре меры силы матрицы из структурного тензора (матрицы момента), как операторы Харриса и Ши-и-Томази из структурного тензора. В частности, он определил следующие беззнаковые и подписанные меры силы гессенских признаков:

• беззнаковые меры силы гессенских признаков I:

$D\; 1,\; норма\; L\; =\; \{t\; 2\; (det\; \; HL\; -\; k\; trace\; 2\; \; HL),\; если\; det\; \; HL\; -\; k\; трассировка\; 2\; \; HL>0\; 0\; в\; случае\; потери\}\; \{\backslash \; displaystyle\; D\_\; \{1,\; norm\}\; L\; =\; \{\backslash \; begin\; \{Bmatrix\}\; t\; ^\; \{2\}\; \backslash ,\; (\backslash \; operatorname\; \{det\}\; HL-k\; \backslash ,\; \backslash \; operatorname\; \{trace\}\; ^\; \{2\}\; HL)\; \{\backslash \; t\_dv\; \{if\}\}\; \backslash ,\; \backslash \; operatorname\; \{det\}\; HL-k\; \backslash ,\; \backslash \; operatorname\; \{trace\}\; ^\; \{2\}\; HL>0\; \backslash \backslash \; 0\; \{\backslash \; t\_dv\; \{иначе\}\}\; \backslash \; end\; \{Bmatrix\}\}\}$

• мера силы гессенских признаков со знаком I:

• беззнаковая мера силы гессенской характеристики II:

$D\; 2,\; норма\; L\; =\; t\; min\; \; (|\; \lambda \; 1\; (H\; L)\; |,\; |\; \lambda \; 2\; (H\; L)\; |)\; \{\backslash \; displaystyle\; D\_\; \{2,\; norm\}\; L\; =\; t\; \backslash ,\; \backslash \; operatorname\; \{min\}\; (|\; \backslash \; lambda\; \_\; \{1\}\; (HL)\; |,\; |\; \backslash \; lambda\; \_\; \{2\}\; (HL)\; |)\}$

• знаковая мера силы гессенской характеристики II:

где $след\; \; HL\; =\; L\; xx\; +\; L\; yy\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{trace\}\; HL\; =\; L\_\; \{xx\}\; +\; L\_\; \{yy\}\}$и $det\; \; HL\; =\; L\; xx\; L\; yy\; -\; L\; xy\; 2\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{det\}\; HL\; =\; L\_\; \{xx\}\; L\_\; \{yy\}\; -L\_\; \{xy\}\; ^\; \{2\}\}$обозначают след и определитель Матрица Гессе $HL\; \{\backslash \; displaystyle\; HL\}$представления пространства масштаба $L\; \{\backslash \; displaystyle\; L\}$в любом масштабе $t\; \{\backslash \; displaystyle\; t\}$, тогда как

$\lambda \; 1\; (HL)\; =\; L\; pp\; =\; 1\; 2\; (L\; xx\; +\; L\; yy\; -\; (L\; xx\; -\; L\; yy)\; 2\; +\; 4\; L\; xy\; 2)\; \{\backslash \; displaystyle\; \backslash \; lambda\; \_\; \{\; 1\}\; (HL)\; =\; L\_\; \{pp\}\; =\; \{\backslash \; frac\; \{1\}\; \{2\}\}\; \backslash \; left\; (L\_\; \{xx\}\; +\; L\_\; \{yy\}\; -\; \{\backslash \; sqrt\; \{(L\_\; \{xx\}\; -L\_\; \{yy\})\; ^\; \{2\}\; +\; 4L\_\; \{xy\}\; ^\; \{2\}\}\}\; \backslash \; right)\}$

$\lambda \; 2\; (HL)\; =\; L\; qq\; =\; 1\; 2\; (L\; xx\; +\; L\; yy\; +\; (L\; xx\; -\; L\; yy)\; 2\; +\; 4\; L\; ху\; 2)\; \{\backslash \; displaystyle\; \backslash \; lambda\; \_\; \{2\}\; (HL)\; =\; L\_\; \{qq\}\; =\; \{\backslash \; frac\; \{1\}\; \{2\}\}\; \backslash \; left\; (L\_\; \{xx\}\; +\; L\_\; \{yy\}\; +\; \{\backslash \; sqrt\; \{(L\_\; \{xx\}\; -L\_\; \{yy\})\; ^\; \{2\}\; +\; 4L\_\; \{xy\}\; ^\; \{2\}\}\}\; \backslash \; right)\}$

обозначают собственные значения матрицы Гессе.

Беззнаковая сила признака Гессе мера $D\; 1,\; норма\; L\; \{\backslash \; displaysty\; le\; D\_\; \{1,\; norm\}\; L\}$реагирует на локальные экстремумы положительными значениями и нечувствителен к седловым точкам, тогда как знаковый показатель силы гессенских признаков $D\; ~\; 1,\; норма\; L\; \{\backslash \; displaystyle\; \{\backslash \; tilde\; \{D\}\}\; \_\; \{1,\; norm\}\; L\}$дополнительно реагирует на седловые точки отрицательными значениями. Беззнаковая мера силы гессенской характеристики $D\; 2,\; norm\; L\; \{\backslash \; displaystyle\; D\_\; \{2,\; norm\}\; L\}$нечувствительна к локальной полярности сигнала, тогда как знаковая мера силы гессенской характеристики $D\; ~\; 2,\; norm\; L\; \{\backslash \; displaystyle\; \{\backslash \; tilde\; \{D\}\}\; \_\; \{2,\; norm\}\; L\}$реагирует на локальную полярность сигнала знаком его выхода.

В Lindeberg (2015) эти четыре дифференциальных объекта были объединены с выбором локального масштаба на основе обнаружения экстремумов в пространстве масштаба

$(x\; ^,\; y\; ^;\; t\; ^)\; =\; argminmaxlocal\; (x,\; y;\; t)\; \; (D\; норма\; L)\; (x,\; y;\; t)\; \{\backslash \; displaystyle\; (\{\backslash \; hat\; \{x\}\},\; \{\backslash \; hat\; \{y\}\};\; \{\backslash \; hat\; \{t\}\})\; =\; \backslash \; operatorname\; \{argminmaxlocal\}\; \_\; \{\; (x,\; y;\; t)\}\; (D\_\; \{norm\}\; L)\; (x,\; y;\; t)\}$

или масштабное связывание. Кроме того, сила гессенских признаков со знаком и без знака измеряет $D\; 2,\; норма\; L\; \{\backslash \; displaystyle\; D\_\; \{2,\; norm\}\; L\}$и $D\; ~\; 2,\; норма\; L\; \{\backslash \; displaystyle\; \{\backslash \; тильда\; \{D\}\}\; \_\; \{2,\; norm\}\; L\}$были объединены с дополнительным пороговым значением для $D\; 1,\; norm\; L>0\; \{\backslash \; displaystyle\; D\_\; \{1,\; norm\}\; L>0\}$.

Путем экспериментов по сопоставлению изображений при преобразованиях масштабирования на наборе данных плаката с 12 плакатами с согласованием нескольких ракурсов по преобразованиям масштабирования с коэффициентом масштабирования до 6 и вариациями направления обзора до угла наклона 45 градусов с локальными дескрипторами изображения определяется из переформулировок дескрипторов чистого изображения в операторах SIFT и SURF для измерения изображений в терминах операторов производной Гаусса (Gauss-SIFT и Gauss-SURF) вместо исходного SIFT, как определено из пирамиды изображения или пер в первоначальном SURF, как определено из вейвлетов Хаара, было показано масштабирование обнаружения точки интереса в пространстве на основе беззнакового показателя силы признаков Гессе $D\; 1,\; норма\; L\; \{\backslash \; displaystyle\; D\_\; \{1,\; norm\}\; L\}$позволяет обеспечить лучшую производительность и лучшую производительность, чем интерес в масштабе пространства, полученный из определителя гессиана $det\; \; H\; norm\; L\; =\; t\; 2\; (L\; xx\; L\; yy\; -\; L\; xy\; 2)\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{det\}\; H\_\; \{норма\}\; L\; =\; t\; ^\; \{2\}\; \backslash ,\; (L\_\; \{xx\}\; L\_\; \{yy\}\; -L\_\; \{xy\}\; ^\; \{2\})\}$. И беззнаковый показатель прочности гессенского элемента $D\; 1,\; норма\; L\; \{\backslash \; displaystyle\; D\_\; \{1,\; norm\}\; L\}$, знаковый показатель прочности гессенского элемента $D\; ~\; 1,\; норма\; L\; \{\backslash \; displaystyle\; \{\; \backslash \; tilde\; \{D\}\}\; \_\; \{1,\; norm\}\; L\}$и определитель гессиана $det\; \; H\; norm\; L\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{det\}\; H\_\; \{norm\}\; L\}$допускает лучшую производительность, чем лапласиан гауссовского $\nabla \; norm\; 2\; L\; =\; t\; (L\; xx\; +\; L\; yy)\; \{\backslash \; displaystyle\; \backslash \; nabla\; \_\; \{norm\}\; ^\; \{2\}\; L\; =\; t\; \backslash ,\; (L\_\; \{xx\}\; +\; L\_\; \{\; гг\})\}$. В сочетании с привязкой шкалы и дополнительным пороговым значением для $D\; 1,\; norm\; L>0\; \{\backslash \; displaystyle\; D\_\; \{1,\; norm\}\; L>0\}$, подписанный показатель силы гессенских элементов $D\; ~\; 2,\; норма\; L\; \{\backslash \; displaystyle\; \{\backslash \; tilde\; \{D\}\}\; \_\; \{2,\; norm\}\; L\}$показал лучшую характеристику, чем лапласиан гауссовского $\nabla \; norm\; 2\; L\; \{\backslash \; displaystyle\; \backslash \; nabla\; \_\; \{norm\}\; ^\; \{2\}\; L\; \}$.

Кроме того, было показано, что все эти показатели на основе Матрица Гессе показывают, что все эти показатели на основе Матрица Гессе позволяют показать большее количество точек интереса и лучшее сопоставление по сравнению с оператором Харма и Ши-и-Томази. 403>

Теоретический анализ свойств выбора шкалы этих четырех мер силы признаков Гессе и других отличий х объектов для обнаружения в масштабах е, включая определение гессиана, приведен в Lindeberg. (2013) и анализ их свойств аффинного преобразования, а также экспериментальных свойств в Lindeberg (2015).

Точки интереса, полученные из многомасштабного метода Харриса с автоматическим выбором масштаба инвариантны к сдвигам, поворотам и равномерным масштабам в пространственной области. Однако изображения, входящие в систему компьютерного зрения, также подвержены перспективным искажениям. Чтобы получить оператор точки интереса, который более устойчивым к перспективным преобразованиям, естественным подходом является разработка детектора признаков, который инвариантен к аффинным преобразованиям. На практике аффинно-инвариантные точки интереса могут быть получены путем применения изображения адаптации аффинной формы, где форма сглаживающего ядра итеративно деформируется, чтобы соответствовать локальному фрагменту вокруг точки интереса, или, что эквивалентно, локальный фрагмент итеративно деформируется в то время как форма сглаживающего ядра остается вращательно-симметричной (Lindeberg 1993, 2008; Lindeberg and Garding 1997; Mikolajzcyk and Schmid 2004). Следовательно, помимо обычно используемого многомасштабного оператора Харриса, адаптация аффинной формы может быть применена к другим детекторам углов, перечисленным в этой статье, а также к дифференциальным детекторам капель, таким как лапласиан / разность гауссовского оператора, оператора Гессе - Лапласа.

Детектор Ванга и Брейди рассматривает изображение как поверхность и ищет места с большой кривизной вдоль изображения край. Другими словами, алгоритм ищет места, где край быстро меняет направление. Оценка угла, $C\; \{\backslash \; displaystyle\; C\}$, определяется по формуле

$C\; =\; (\delta \; 2\; I\; \delta \; t\; 2)\; 2\; -\; c\; |\; \nabla \; I\; |\; 2,\; \{\backslash \; displaystyle\; C\; =\; \backslash \; left\; (\{\backslash \; frac\; \{\backslash \; delta\; ^\; \{2\}\; I\}\; \{\backslash \; delta\; \{\backslash \; bf\; \{\{t\}\; ^\; \{2\}\}\}\}\}\; \backslash \; right)\; ^\; \{2\}\; -c\; |\; \backslash \; набла\; I\; |\; ^\; \{2\},\}$

где $t\; \{\backslash \; displaystyle\; \{\backslash \; bf\; \{t\}\}\}$- единичный вектор, перпендикулярный градиенту, а $c\; \{\backslash \; displaystyle\; c\}$определить степень фобии кромок у детектора. Авторы также отмечают, что для уменьшения шума требуется сглаживание (предлагается гауссово).

Сглаживание также вызывает смещение углов, поэтому используются его в поправке коэффициента к углам угла 90 градусов.

SUSAN - это аббревиатура, обозначающая наименьшее ядро, ассимилирующее однозначный сегмент. Этот метод является предметом патента Великобритании 1994 года, который больше не действует.

Для обнаружения SUSAN помещает круг маску на пиксель, который нужно проверить (ядро). Область маски: $M\; \{\backslash \; displaystyle\; M\}$, пиксель в этой маске представлен как $m\; \to \; \in \; M\; \{\backslash \; displaystyle\; \{\backslash \; vec\; \{m\}\}\; \backslash \; in\; M\}$. Ядро находится в $m\; \to \; 0\; \{\backslash \; displaystyle\; \{\backslash \; vec\; \{m\}\}\; \_\; \{0\}\}$. Каждый пиксель сравнивается с ядром с помощью функций сравнения:

$c\; (m\; \to )\; =\; e\; -\; (I\; (m\; \to )\; -\; I\; (m\; \to \; 0)\; t)\; 6\; \{\backslash \; displaystyle\; c\; (\{\backslash \; vec\; \{m\}\})\; =\; e\; ^\; \{-\; \backslash \; left\; (\{\backslash \; frac\; \{I\; (\{\backslash \; vec\; \{m\}\})\; -\; I\; (\{\backslash \; vec\; \{m\}\}\; \_\; \{0\})\}\; \{t\}\}\; \backslash \; right)\; ^\; \{6\}\}\; \}$

где $t\; \{\backslash \; displaystyle\; t\}$- порог разницы яркости, $I\; \{\backslash \; displaystyle\; I\}$- яркость пикселя и степень экспоненты была определена эмпирически. Эта функция имеет вид сглаженной функции в виде цилиндра или прямоугольной функции. Площадь SUSAN определяется следующим образом:

$n\; (M)\; =\; \sum \; m\; \to \; \in \; M\; c\; (m\; \to )\; \{\backslash \; displaystyle\; n\; (M)\; =\; \backslash \; sum\; \_\; \{\{\backslash \; vec\; \{m\}\}\; \backslash \; in\; M\}\; c\; (\{\; \backslash \; vec\; \{m\}\})\}$

Если $c\; \{\backslash \; displaystyle\; c\}$- прямоугольная функция, то $n\; \{\backslash \; displaystyle\; n\}$- количество пикселей в маске, которые находятся в пределах $t\; \{\backslash \; displaystyle\; t\}$ядра. Ответ оператора SUSAN определяется следующим образом:

, где $g\; \{\backslash \; displaystyle\; g\}$равно назвал " геометрический порог ". Другими словами, оператор SUSAN получает положительную оценку только в том случае, если область достаточно мала. Наименьший локальный SUSAN можно найти с помощью немаксимального подавления, и это полный оператор SUSAN.

Значение $t\; \{\backslash \; displaystyle\; t\}$определяет, насколько похожими должны быть точки для ядра, прежде чем они будут считаться частью однозначного сегмента. Значение $g\; \{\backslash \; displaystyle\; g\}$определяет минимальный размер однозначного сегмента. Если $g\; \{\backslash \; displaystyle\; g\}$достаточно, тогда это становится велик детектором края.

Для определения угла используются два следующих шага. Во-первых, центроид SUSAN находится. В правом углу центра тяжести находится далеко от ядра. Второй шаг настаивает на том, чтобы все точки на линии от ядра находились через центроид до края маски находились в SUSAN.

Подобно SUSAN, этот детектор непосредственно проверяет, является ли участок под пикселем самоподобным, исследуя соседние пиксели. $c\; \to \; \{\backslash \; displaystyle\; \{\backslash \; vec\; \{c\}\}\}$- рассматриваемый пиксель, а $p\; \to \; \in \; P\; \{\backslash \; displaystyle\; \{\backslash \; vec\; \{p\}\}\; \backslash \; in\; P\}$- точка на окружности $P\; \{\backslash \; displaystyle\; P\}$с центром вокруг $c\; \to \; \{\backslash \; displaystyle\; \{\backslash \; vec\; \{c\}\}\}$. Точка $p\; \prime \; \to \; \{\backslash \; displaystyle\; \{\backslash \; vec\; \{p\; \text{'}\}\}\}$- это точка, противоположная $p\; \to \; \{\backslash \; displaystyle\; \{\backslash \; vec\; \{p\}\}\}$по диаметру.

Функция отклика определяется как:

$r\; (c\; \to )\; =\; min\; p\; \to \; \in \; P\; ((I\; (p\; \to )\; -\; I\; (c\; \to ))\; 2\; +\; (I\; (p\; \prime \; \to )\; -\; я\; (с\; \to ))\; 2)\; \{\backslash \; displaystyle\; r\; (\{\backslash \; vec\; \{c\}\})\; =\; \backslash \; min\; \_\; \{\{\backslash \; vec\; \{p\}\}\; \backslash \; in\; P\}\; \backslash \; quad\; ((I\; (\{\backslash \; vec\; \{p\}\})\; -\; I\; (\{\backslash \; vec\; \{c\}\}))\; ^\; \{2\}\; +\; (I\; (\{\backslash \; vec\; \{p\; \text{'}\}\})\; -\; I\; (\{\backslash \; vec\; \{c\}\}))\; ^\; \{2\})\}$

Это будет большим, если нет направления, в котором центральный пиксель похож на два соседних пикселя по диаметру. $P\; \{\backslash \; displaystyle\; P\}$- это дискретный круг (круг Брезенхема ), поэтому интерполяция используется для промежуточных диаметров, чтобы дать более изотропный ответ. Любое вычисление дает верхнюю границу $min\; \{\backslash \; displaystyle\; \backslash \; min\}$, сначала проверяется горизонтальное и вертикальное направления, чтобы увидеть, стоит ли продолжать полное вычисление $c\; \{\backslash \; displaystyle\; c\}$.

AST - это аббревиатура, обозначающий ускоренный сегментный тест. Этот тест представляет собой упрощенную версию критерия угла СЬЮЗАН. Вместо оценки круглого диска учитываются только пиксели в окружности Брезенхема с радиусом $r\; \{\backslash \; displaystyle\; r\}$вокруг точки-кандидата. Если $n\; \{\backslash \; displaystyle\; n\}$все дополнительные пиксели ярче ядра по крайней мере на $t\; \{\backslash \; displaystyle\; t\}$или все темнее ядра на $t\; \{\; \backslash \; displaystyle\; t\}$, то пиксель под ядром считается признаком. Сообщается, что этот тест дает очень стабильные функции. Выбор порядка, в котором проверяются пиксели, представляет собой так называемую задачу «Двадцать вопросов». Построение коротких решений для этой проблемы приводит к эффективным с точки зрения точки зрения доступным детекторам признаков.

Первым методом обнаружения обнаруживает БЫСТРЫЙ, основанным на AST (признаки из ускоренного теста сегмента ). $r\; \{\backslash \; displaystyle\; r\}$в принципе может принимать любое значение, FAST использует только значение 3 (соответствует окружности 16 пикселей), и тесты показывают, что достигаются наилучшие результаты. где $n\; \{\backslash \; displaystyle\; n\}$равно 9. Это значение $n\; \{\backslash \; displaystyle\; n\}$является самым низким, при котором края не обнаруживаются. Порядок, в котором тестируются пиксели, определяется алгоритмом ID3 из обучающего изображений набора. Как ни странно, название детектора похоже на название статьи, описывающей детектор Трайковича и Хедли.

Трухильо и Олагу представили метод, с помощью которого генетическое программирование используется для автоматического выбора операторов изображений, которые могут обнаруживать точки интереса. Наборы терминалов и функций содержат примитивные операции, которые являются общими для многих ранее предложенных искусственных конструкций. Пригодность измеряет стабильность каждого оператора с распределением равномерности и равномерному распределению точек по плоскости изображения. Работоспособность усовершенствованных операторов была подтверждена экспериментально с помощью обучающих и тестовых последовательностей прогрессивно преобразованных изображений. Следовательно, предложенный алгоритм считается конкурентоспособным для человека в задаче обнаружения точки путиса.

Оператор Харриса был расширен на пространство-время Лаптевым и Линдебергом. Пусть $\mu \; \{\backslash \; displaystyle\; \backslash \; mu\}$обозначает пространственно-временную матрицу второго момента, определенную как

$A = ∑ u ∑ v ∑ wh (u, v, w) [L x (u, v, w) 2 L x (u, v, w) L y (u, v, w) L x (u, v, w) L t (u, v, w) L x (u, v, w).) L y (u, v, w) L y (u, v, w) 2 L y (u, v, w) L t (u, v, w) L x (u, v, w) L t ( u, v, w) L y (u, v, w) L t (u, v, w) L t (u, v, w) 2] = [⟨L x 2⟩ ⟨L x L y⟩ ⟨L Икс LT⟩ ⟨L Икс LY⟩ ⟨LY 2⟩ ⟨LYLT⟩ ⟨LXLT⟩ ⟨LYLT⟩ ⟨LT 2⟩] {\ Displaystyle A = \ sum _ {u} \ sum _ {v} \ sum _ {w} h (u, v, w) {\ begin {bmatrix} L_ {x} (u, v, w) ^ {2} L_ {x} (u, v, w) L_ {y} (u, v, w) L_ {x} (u, v, w) L_ {t} (u, v, w) \\ L_ {x} (u, v, w) L_ {y} (u, v, w) L_ {y} (u, v, w) ^ {2} L_ {y} (u, v, w) L_ {t} (u, v, w) \\ L_ {x} (u, v, w) L_ {t} (u, v, w) L_ {y} (u, v, w) L_ {t} (u, v, w) L_ {t} (u, v, w) ^ {2} \\\ end {bmatrix}} = {\ begin {bmatrix} \ langle L_ {x} ^ {2} \ rangle \ langle L_ {x} L_ {y} \ rangle \ langle L_ {x} L_ {t } \ rangle \\\ langle L_ {x} L_ {y} \ rangle \ langle L_ {y} ^ {2} \ rangle \ langle L_ {y} L_ {t} \ rangle \ langle L _ {x} L_ {t} \ rangle \ langle L_ {y} L_ {t} \ rangle \ langle L_ {t} ^ {2} \ rangle \\\ end {bmatrix}}}$

Затем, для подходящего выбора пространственно-временные точки интереса обнаруживаются из пространственно-временных экстремумов пространственно-временной меры Харриса:

$H\; =\; det\; \; (\mu )\; -\; \kappa \; trace\; 2\; \; (\mu ).\; \{\backslash \; displaystyle\; H\; =\; \backslash \; operatorname\; \{det\}\; (\backslash \; mu)\; -\; \backslash \; kappa\; \backslash ,\; \backslash \; operatorname\; \{trace\}\; ^\; \{2\}\; (\backslash \; mu).\}$

Определитель оператора Гессе расширен на совместное пространство- времени Виллемса и др. и Линдеберга, что приводит к следующему нормированному по масштабу дифференциальному выражению:

$det\; \; (H\; (x,\; y,\; t),\; norm\; L)\; =\; s\; 2\; \gamma \; s\; \tau \; \gamma \; \tau \; ((L\; xx\; L\; yy\; L\; tt\; +\; 2\; L\; ху\; L\; xt\; L\; yt\; -\; L\; xx\; L\; yt\; 2\; -\; L\; yy\; L\; xt\; 2\; -\; L\; tt\; L\; xy\; 2).\; \{\backslash \; Displaystyle\; \backslash \; OperatorName\; \{det\}\; (H\; \_\; \{(x,\; y,\; t),\; norm\}\; L)\; =\; \backslash ,\; s\; ^\; \{2\; \backslash \; gamma\; \_\; \{s\}\}\; \backslash \; tau\; ^\; \{\backslash \; gamma\; \_\; \{\backslash \; tau\}\}\; \backslash \; left\; ((L\_\; \{xx\}\; L\_\; \{yy\}\; L\_\; \{tt\}\; +\; 2L\_\; \{xy\}\; L\_\; \{\; xt\}\; L\_\; \{yt\}\; -L\_\; \{xx\}\; L\_\; \{yt\}\; ^\; \{2\}\; -L\_\; \{yy\}\; L\_\; \{xt\}\; ^\; \{2\}\; -L\_\; \{tt\}\; L\_\; \{xy\}\; ^\; \{2\}\; \backslash \; right).\}$

В работе Виллемса и др. Более простое выражение, соответствующее $\gamma \; s\; =\; 1\; \{\backslash \; displaystyle\; \backslash \; gamma\; \_\; \{s\}\; =\; 1\}$и $\gamma \; \tau \; =\; Использовано\; 1\; \{\backslash \; displaystyle\; \backslash \; gamma\; \_\; \{\backslash \; tau\}\; =\; 1\}$. В Lindeberg было показано, что $\gamma \; s\; =\; 5/4\; \{\backslash \; displaystyle\; \backslash \; gamma\; \_\; \{s\}\; =\; 5/4\}$и $\gamma \; \tau \; =\; 5/4\; \{\backslash \; displaystyle\; \backslash \; gamma\; \_\; \{\backslash \; tau\}\; =\; 5/4\}$подразумевает лучшее sca Свойства выбора в том смысле, что выбранные масштабные уровни получены из пространственно -временного гауссова блоба с пространственным размером $s\; =\; s\; 0\; \{\backslash \; displaystyle\; s\; =\; s\_\; \{0\}\}$и временным размером $\tau \; =\; \tau \; 0\; \{\backslash \; displaystyle\; \backslash \; tau\; =\; \backslash \; tau\; \_\; \{0\}\}$будет идеально соответствовать пространственной протяженности и временной продолжительности, с масштабным отслеживанием пространственно-временного масштабного пространства экстремумы дифференциального выражения.

Оператор Лапласа был расширен Линдебергом на пространственно-временные видеоданные, что привело к следующим двум пространственно-временным операторам, которые также представили модели восприимчивых полей нейронов без задержки и нейронов в LGN:

$\partial \; T,\; норма\; (\; \nabla \; (Икс,\; Y),\; норма\; 2\; L)\; знак\; равно\; s\; \gamma \; s\; \tau \; \gamma \; \tau \; /\; 2\; (L\; xxt\; +\; L\; yyt),\; \{\backslash \; displaystyle\; \backslash \; partial\; \_\; \{t,\; norm\}\; (\backslash \; nabla\; \_\; \{(x,\; y),\; norm\}\; ^\; \{2\}\; L)\; =\; s\; ^\; \{\backslash \; gamma\; \_\; \{s\}\}\; \backslash \; tau\; ^\; \{\backslash \; gamma\; \_\; \{\backslash \; tau\}\; /\; 2\}\; (L\_\; \{xxt\}\; +\; L\_\; \{yyt\}),\}$

$\partial \; tt,\; norm\; (\nabla \; (x,\; y),\; norm\; 2\; L)\; =\; s\; \gamma \; s\; \tau \; \gamma \; \tau \; (L\; xxtt\; +\; L\; yytt).\; \{\backslash \; displaystyle\; \backslash \; partial\; \_\; \{tt,\; norm\}\; (\backslash \; nabla\; \_\; \{(x,\; y),\; norm\}\; ^\; \{2\}\; L)\; =\; s\; ^\; \{\backslash \; gamma\; \_\; \{s\}\}\; \backslash \; tau\; ^\; \{\backslash \; gamma\; \_\; \{\backslash \; tau\}\}\; (L\_\; \{xxtt\}\; +\; L\_\; \{yytt\}).\}$

Для первого оператора выбора масштаба требуется использование $\gamma \; s\; =\; 1\; \{\backslash \; displaystyle\; \backslash \; gamma\; \_\; \{s\}\; =\; 1\}$и $\gamma \; \tau \; =\; 1/2\; \{\backslash \; displaystyle\; \backslash \; gamma\; \_\; \{\backslash \; tau\}\; =\; 1/2\}$, если мы хотим, чтобы этот оператор принимал максимальное значение по пространственно-временным масштабам на уровне пространственно-временного масштаба, отражающую пространственную протяженность и временную продолжительность начинающегося гауссова блоба. Для второго оператора выбора масштаба требуется использование $\gamma \; s\; =\; 1\; \{\backslash \; displaystyle\; \backslash \; gamma\; \_\; \{s\}\; =\; 1\}$и $\gamma \; \tau \; =\; 3/4\; \{\backslash \; displaystyle\; \backslash \; gamma\; \_\; \{\; \backslash \; tau\}\; =\; 3/4\}$, если мы хотим, чтобы этот оператор принимал максимальное значение по пространственно-временным масштабам на уровне пространственно-временного масштаба, отражающего пространственную протяженность и временную продолжительность мигающая гауссова капля.

Цветовые расширения детекторов пространственно-временных точек интереса исследованы Эвертсом и др.