Исправление изображения

Исправление изображения - это процесс преобразования, используемый для проецирования изображений на общую плоскость изображения. Этот процесс имеет несколько степеней свободы, и существует множество стратегий для преобразования изображений в общую плоскость.

• Он используется в компьютерном стереозрении, чтобы упростить задачу поиска точек совпадения между изображениями (т.е. проблема соответствия ).
• Он используется в географических информационных системах для объединения изображений, снятых с разных точек зрения, в общую систему координат карты.

Камера (красная) вращается вокруг синей оси на 5 ° - 90 ° (зеленая), поскольку изображения исправляются путем проецирования на плоскость виртуального изображения ( синий). Виртуальная плоскость должна быть параллельна базовой линии стерео (оранжевый) и для визуализации расположена в центре вращения. В этом случае выпрямление достигается виртуальным вращением красной и зеленой плоскостей изображения, соответственно, чтобы быть параллельно базовой стереосистеме.

• 1 В компьютерном зрении
  • 1.1 Преобразование
  • 1.2 Алгоритмы
  • 1.3 Детали реализации
  • 1.4 Пример
• 2 В географической информационной системе
• 3 Эталонные реализации
• 4 См. Также
• 5 Ссылки
• 6 Дополнительная литература

T Поиск точки $x\; L\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{x\}\; \_\; \{L\}\}$ограничен строкой $e\; R\; x\; R\; ¯\; \{\backslash \; displaystyle\; \{\backslash \; overline\; \{\backslash \; mathbf\; \{e\}\; \_\; \{R\}\; \backslash \; mathbf\; \{x\}\; \_\; \{R\}\}\}\}$на правом изображении. Поскольку изображения не исправлены, строка $e\; R\; x\; R\; ¯\; \{\backslash \; displaystyle\; \{\backslash \; overline\; \{\backslash \; mathbf\; \{e\}\; \_\; \{R\}\; \backslash \; mathbf\; \{x\}\; \_\; \{R\}\}\}\}$наклонен. После исправления он будет горизонтальным.

Компьютерное стереозрение делает два или более изображений с известными относительными положениями камеры, которые показывают объект с разных точек обзора. Затем для каждого пикселя он определяет глубину соответствующей точки сцены (т. Е. Расстояние от камеры), сначала находя совпадающие пиксели (т. Е. Пиксели, показывающие одну и ту же точку сцены) в другом изображении (ах), а затем применяя триангуляцию к найденные совпадения для определения их глубины. Поиск совпадений в стереозрении ограничен эпиполярной геометрией : совпадение каждого пикселя в другом изображении можно найти только на линии, называемой эпиполярной линией. Если два изображения компланарны, то есть они были сделаны таким образом, что правая камера смещена только по горизонтали по сравнению с левой камерой (не перемещается к объекту и не поворачивается), то эпиполярная линия каждого пикселя горизонтальна и находится в том же вертикальном положении, что и эта. пиксель. Однако в общих настройках (камера действительно двигалась к объекту или вращалась) эпиполярные линии наклонены. Исправление изображения искажает оба изображения таким образом, что они выглядят так, как будто они были сделаны только с горизонтальным смещением, и, как следствие, все эпиполярные линии являются горизонтальными, что немного упрощает процесс стереосопоставления. Однако обратите внимание, что исправление принципиально не меняет процесс стереосопоставления: поиск выполняется по линиям, наклонным до и горизонтальным после исправления.

Исправление изображения также является эквивалентной (и более часто используемой) альтернативой идеальной компланарности камеры. Даже с использованием высокоточного оборудования обычно выполняется исправление изображений, поскольку поддерживать идеальную компланарность между камерами может быть непрактично.

Исправление изображения может выполняться только с двумя изображениями одновременно, и одновременное исправление более двух изображений обычно невозможно.

Преобразование

Если изображения, подлежащие исправлению, являются взяты из пар камер без геометрического искажения , это вычисление может быть легко выполнено с помощью линейного преобразования. Вращение по осям X и Y помещает изображения в одну плоскость, при масштабировании кадры изображений имеют одинаковый размер, а при регулировке поворота и наклона по оси Z строки пикселей изображения выравниваются. Необходимо знать жесткое выравнивание камер (путем калибровки), и коэффициенты калибровки используются при преобразовании.

При выполнении преобразования, если сами камеры откалиброваны для внутренних параметров, необходимо матрица обеспечивает взаимосвязь между камерами. Более общий случай (без калибровки камеры) представлен основной матрицей . Если фундаментальная матрица неизвестна, необходимо найти предварительные точечные соответствия между стереоизображениями, чтобы облегчить их извлечение.

Алгоритмы

Алгоритмы исправления изображений делятся на три основные категории: планарное исправление, цилиндрическое выпрямление и полярное выпрямление.

Подробности реализации

Все выпрямленные изображения удовлетворяют следующим двум свойствам:

• Все эпиполярные линии параллельны горизонтальной оси.
• Соответствующие точки имеют одинаковые вертикальные координаты.

Чтобы преобразовать исходную пару изображений в пару исправленных изображений, необходимо найти проективное преобразование H. На H накладываются ограничения, чтобы удовлетворить двум свойствам, указанным выше. Например, ограничение эпиполярных линий параллельностью горизонтальной оси означает, что эпиполи должны быть сопоставлены с бесконечной точкой [1,0,0] в однородных координатах. Даже с этими ограничениями H по-прежнему имеет четыре степени свободы. Также необходимо найти совпадение H ', чтобы исправить второе изображение пары изображений. Неправильный выбор H и H 'может привести к тому, что исправленные изображения резко изменятся в масштабе или сильно искажены.

Существует множество различных стратегий выбора проективного преобразования H для каждого изображения из всех возможных решений. Одним из передовых методов является минимизация несоответствия или разницы по методу наименьших квадратов соответствующих точек на горизонтальной оси пары выпрямленных изображений. Другой метод - разделение H на специализированное проективное преобразование, преобразование подобия и преобразование сдвига для минимизации искажения изображения. Один из простых методов - повернуть оба изображения, чтобы они выглядели перпендикулярно линии, соединяющей их общие оптические центры, повернуть оптические оси так, чтобы горизонтальная ось каждого изображения указывала в направлении оптического центра другого изображения, и, наконец, масштабировать меньшее изображение, чтобы оно соответствовало для прямой переписки. Этот процесс демонстрируется в следующем примере.

Пример

Модель, использованная для примера исправления изображения. Трехмерный вид примера сцены. Оптический центр и плоскость изображения первой камеры представлены зеленым кружком и квадратом соответственно. Вторая камера имеет аналогичные красные представления. Набор 2D изображений из примера. Исходные изображения взяты с разных ракурсов (строка 1). Используя систематические преобразования из примера (строки 2 и 3), мы можем преобразовать оба изображения так, чтобы соответствующие точки находились на одних и тех же горизонтальных линиях развертки (строка 4).

Наша модель для этого примера основана на паре изображения, которые наблюдают трехмерную точку P, которая соответствует p и p 'в пиксельных координатах каждого изображения. O и O 'представляют оптические центры каждой камеры с известными матрицами камер $M\; =\; K\; [I\; 0]\; \{\backslash \; displaystyle\; M\; =\; K\; [I\; ~\; 0]\}$и $M\; \prime \; =\; K\; \prime \; [RT]\; \{\backslash \; displaystyle\; M\; \text{'}=\; K\text{'}\; [R\; ~\; T]\}$(мы предполагаем, что начало мира находится в первой камере). Мы кратко опишем и изобразим результаты для простого подхода к поиску проективного преобразования H и H ', которое исправляет пару изображений из примера сцены.

Сначала мы вычисляем эпиполи, e и e 'в каждом изображении:

$e\; =\; M\; [O\; \prime \; 1]\; =\; M\; [-\; RTT\; 1]\; =\; K\; [I\; 0]\; [-\; RTT\; 1]\; =\; -\; KRTT\; \{\backslash \; displaystyle\; e\; =\; M\; \{\backslash \; begin\; \{bmatrix\}\; O\; \text{'}\backslash \backslash \; 1\; \backslash \; end\; \{bmatrix\}\}\; =\; M\; \{\backslash \; begin\; \{bmatrix\}\; -R\; ^\; \{T\}\; T\; \backslash \backslash \; 1\; \backslash \; end\; \{bmatrix\}\}\; =\; K\; [I\; ~\; 0]\; \{\backslash \; begin\; \{bmatrix\}\; -R\; ^\; \{T\}\; T\; \backslash \backslash \; 1\; \backslash \; end\; \{bmatrix\}\}\; =\; -\; KR\; ^\; \{T\}\; T\}$

$e\; \prime \; =\; M\; \prime \; [O\; 1]\; Знак\; равно\; M\; \prime \; [0\; 1]\; =\; K\; \prime \; [RT]\; [0\; 1]\; =\; K\; \prime \; T\; \{\backslash \; displaystyle\; e\; \text{'}=\; M\text{'}\; \{\backslash \; begin\; \{bmatrix\}\; O\; \backslash \backslash \; 1\; \backslash \; end\; \{bmatrix\}\}\; =\; M\; \text{'}\{\backslash \; begin\; \{bmatrix\}\; 0\; \backslash \backslash \; 1\; \backslash \; end\; \{bmatrix\}\}\; =\; K\; \text{'}[R\; ~\; T]\; \{\backslash \; begin\; \{bmatrix\}\; 0\; \backslash \backslash \; 1\; \backslash \; end\; \{bmatrix\}\}\; =\; K\text{'}T\}$

Во-вторых, мы находим проективное преобразование H 1, которое поворачивает наше первое изображение так, чтобы оно было перпендикулярно базовой линии, соединяющей O и O '(строка 2, столбец 1 набора 2D-изображений). Это вращение можно найти, используя перекрестное произведение между исходной и желаемой оптическими осями. Затем мы находим проективное преобразование H 2, которое берет повернутое изображение и поворачивает его так, чтобы горизонтальная ось совпадала с базовой линией. Если рассчитано правильно, это второе преобразование должно отобразить е на бесконечность по оси x (строка 3, столбец 1 набора 2D-изображений). Наконец, определите $H\; =\; H\; 2\; H\; 1\; \{\backslash \; displaystyle\; H\; =\; H\_\; \{2\}\; H\_\; \{1\}\}$как проективное преобразование для исправления первого изображения.

В-третьих, с помощью эквивалентной операции мы можем найти H ', чтобы исправить второе изображение (столбец 2 набора 2D-изображений). Обратите внимание, что H '1 должен поворачивать оптическую ось второго изображения, чтобы она была параллельна преобразованной оптической оси первого изображения. Одна из стратегий состоит в том, чтобы выбрать плоскость, параллельную линии пересечения двух исходных оптических осей, чтобы минимизировать искажения в процессе перепроецирования. В этом примере мы просто определяем H ', используя матрицу вращения R и начальное проективное преобразование H как $H\text{'}\; =\; HRT\; \{\backslash \; displaystyle\; H\; \text{'}=\; HR\; ^\; \{T\}\}$.

Наконец, мы масштабируем оба изображения до такое же приблизительное разрешение и выровняйте теперь горизонтальные эпиполи для облегчения горизонтального сканирования соответствий (строка 4 набора 2D-изображений).

Обратите внимание, что можно выполнить этот и аналогичные алгоритмы без наличия матриц параметров камеры M и M '. Все, что требуется, - это набор из семи или более соответствий изображения и изображения для вычисления фундаментальных матриц и эпиполей.

Исправление изображений в ГИС преобразует изображения в стандартную систему координат карты. Это достигается путем сопоставления наземных опорных точек (GCP) в картографической системе с точками на изображении. Эти опорные точки вычисляют необходимые преобразования изображения.

Основные трудности в процессе возникают

• , когда точность точек карты не очень хорошо известна
• , когда на изображениях отсутствуют четко идентифицируемые точки, соответствующие карты.

Карты, которые используются с исправленными изображениями, не являются топографическими. Однако используемые изображения могут содержать искажения от местности. Ортотрансформирование изображений дополнительно устраняет эти эффекты.

Исправление изображений - стандартная функция, доступная в пакетах программного обеспечения ГИС.

В этом разделе представлены внешние ссылки на эталонные реализации исправления изображений.

• stereoRectify и stereoRectifyUncalibrated (часть OpenCV ), открытый код для Windows, Linux / Mac, Android и iOS
• Rectification Kit и Uncalibrated Rectification Kit, исходный код MATLAB с учебником Андреа Фузиелло
• rectification, часть пакета MATLAB Du Huynh с коротким учебник
• rectifyStereoImages, собственная функция MATLAB в Computer Vision System Toolbox

• Бинокулярное несоответствие
• Проблема соответствия
• Эпиполярная геометрия
• Географическая информационная система
• Географическая привязка
• Гомография
• Регистрация изображения
• Фотограмметрия
• Регистрация набора точек
• Резиновый лист
• Стереокамера
• Стереозрение
• Структура движения

1. ^ Fusiello, Andrea ; Трукко, Эмануэле; Верри, Алессандро (2000-03-02). «Компактный алгоритм исправления стереопар» (PDF). Машинное зрение и приложения. 12 : 16–22. doi : 10.1007 / s001380050120. Проверено 8 июня 2010 г.
2. ^ Орам, Дэниел (2001). «Исправление любой эпиполярной геометрии». Отсутствует или пусто | url =()
3. ^ Ричард Шелиски (2010). Компьютерное зрение: алгоритмы и приложения. Springer. ISBN 9781848829350.
4. ^ Фузиелло, Андреа (2000-03-17). «Эпиполярная ректификация». Проверено 9 июня 2008 г.
5. ^Pollefeys, Marc; Koch, Reinhard; Van Gool, Luc (1999). «Простой и эффективный метод исправления общего движения» (PDF). Proc. International Conference on Computer Vision: 496-501. Retrieved 2011- 01-19.
6. ^Лим, Сер-Нам; Миттал, Анураг; Дэвис, Ларри; Парагиос, Никос. «Некалиброванное стерео-выпрямление для автоматического 3D-наблюдения» (PDF). Международная конференция по обработке изображений. 2 : 1357. Архивировано из оригинала (PDF) 21.08.2010. Проверено 08.06.2010.
7. ^Роберто, Рафаэль; Тейхриб, Вероника; Кельнер, Джудит (2009). "Retificação Cilíndrica: um método eficente para retificar um par de imagens" (PDF). Мастерские Сибграпи 20 09 - Работы бакалавриата (на португальском языке). Архивировано из оригинального (PDF) 06.07.2011. Проверено 5 марта 2011 г.
8. ^ Петля, Чарльз; Чжан, Чжэнъю (1999). «Вычисление исправляющих омографий для стереозрения» (PDF). Ход работы. Конференция компьютерного общества IEEE 1999 года по компьютерному зрению и распознаванию образов (номер по каталогу PR00149). С. 125–131. CiteSeerX 10.1.1.34.6182. DOI : 10.1109 / CVPR.1999.786928. ISBN 978-0-7695-0149-9. Проверено 9 ноября 2014 г.
9. ^ Ричард Хартли и Эндрю Зиссерман (2003). Многоканальная геометрия в компьютерном зрении. Пресса Кембриджского университета. ISBN 9780521540513.
10. ^Дэвид А. Форсайт и Жан Понсе (2002). Компьютерное зрение: современный подход. Prentice Hall Professional Technical Reference.
11. ^ Фогель, Дэвид. «Исправление изображения с радиальными базовыми функциями». Архивировано с оригинального 24 мая 2008 года. Проверено 9 июня 2008.
12. ^Huynh, Du. «Полярное выпрямление». Проверено 9 ноября 2014.

13. R. И. Хартли (1999). «Теория и практика проективной ректификации». Международный журнал компьютерного зрения. 35 (2): 115–127. doi : 10.1023 / A: 1008115206617.
14. Поллефейс, Марк. «Полярное выпрямление». Проверено 9 июня 2007.
15. Линда Г. Шапиро и Джордж К. Стокман (2001). Компьютерное зрение. Прентис Холл. Стр. 580. ISBN 978-0-13-030796-5.

• Вычисление исправления гомографии для стереозрения и Чжэнъю Чжан (8 апреля, 1999) Microsoft Research
• Компьютерное зрение: алгоритмы и приложения, Раздел 11.1.1 «Исправление», автор (3 сентября 2010 г.) Springer