Конструкция из движения

Не путать со структурой движения (психофизика).

Структура на основе движения ( SfM) - это метод построения изображений с фотограмметрическим диапазоном для оценки трехмерных структур из последовательностей двумерных изображений, которые могут быть связаны с локальными сигналами движения. Он изучается в области компьютерного зрения и визуального восприятия. В биологическом видении SfM относится к явлению, с помощью которого люди (и другие живые существа) могут восстанавливать трехмерную структуру из проецируемого двухмерного (сетчатого) поля движения движущегося объекта или сцены.

СОДЕРЖАНИЕ

• 1 Принцип
• 2 Приложения
  • 2.1 Науки о Земле
  • 2.2 Культурное наследие
• 3 См. Также
• 4 Дальнейшее чтение
• 5 ссылки

Принцип

Цифровая модель поверхности Автострада обмена строительной площадки Реальное фото x SfM с цветом текстуры x SfM с простым шейдером. Сделано с помощью графического интерфейса Python Photogrammetry Toolbox и визуализировано в Blender с помощью Cycles. Трехмерная цифровая модель поверхности аэродрома Безмехова, извлеченная из данных, собранных во время 30- минутного полета БПЛА Pteryx

Люди воспринимают много информации о трехмерной структуре окружающей среды, перемещаясь вокруг нее. Когда наблюдатель движется, объекты вокруг него перемещаются на разную величину в зависимости от их расстояния от наблюдателя. Это называется параллаксом движения, и эта информация о глубине может использоваться для создания точного трехмерного представления мира вокруг них.

Поиск структуры по движению представляет собой проблему, аналогичную поиску структуры по стереовидению. В обоих случаях необходимо найти соответствие между изображениями и реконструкцией трехмерного объекта.

Чтобы найти соответствие между изображениями, такие функции, как угловые точки (края с градиентами в нескольких направлениях) отслеживаются от одного изображения к другому. Одним из наиболее широко используемых детекторов признаков является масштабно-инвариантное преобразование признаков (SIFT). В качестве признаков он использует максимумы пирамиды разности гауссианов (DOG). Первым шагом в SIFT является поиск доминирующего направления градиента. Чтобы сделать его инвариантным к вращению, дескриптор поворачивается в соответствии с этой ориентацией. Еще одна распространенная функция - детектор SURF ( ускоренные и надежные функции). В SURF DOG заменяется детектором блобов на основе матрицы Гессе. Кроме того, вместо оценки гистограмм градиента, SURF вычисляет суммы компонентов градиента и суммы их абсолютных значений. Использование интегральных изображений позволяет очень быстро обнаруживать особенности с высокой степенью обнаружения. Следовательно, по сравнению с SIFT, SURF является более быстрым детектором признаков с недостатком меньшей точности в позициях признаков. Еще одним типом особенностей, недавно сделанных практичным для построения из движения, являются общие кривые (например, локально край с градиентами в одном направлении), часть технологии, известной как бессмысленная SfM, полезная, когда точечных функций недостаточно, обычная в искусственной среде.

Затем будут сопоставлены признаки, обнаруженные на всех изображениях. Одним из алгоритмов сопоставления, который отслеживает элементы от одного изображения к другому, является трекер Лукаса – Канаде.

Иногда некоторые из совпадающих функций совпадают неправильно. Вот почему совпадения также следует фильтровать. RANSAC (консенсус случайной выборки) - это алгоритм, который обычно используется для удаления выпадающих соответствий. В статье Фишлера и Боллеса RANSAC используется для решения задачи определения местоположения (LDP), где цель состоит в том, чтобы определить точки в пространстве, которые проецируются на изображение в набор ориентиров с известными местоположениями.

Затем траектории пространственных объектов с течением времени используются для восстановления их трехмерных положений и движения камеры. Альтернативой являются так называемые прямые подходы, при которых геометрическая информация (трехмерная структура и движение камеры) напрямую оценивается по изображениям, без промежуточной абстракции до элементов или углов.

Есть несколько подходов к построению структуры из движения. В инкрементальном SFM позы камеры решаются и добавляются одна за другой в коллекцию. В глобальной SFM позы всех камер решаются одновременно. В некотором роде промежуточный подход - это SFM вне ядра, где вычисляются несколько частичных реконструкций, которые затем интегрируются в глобальное решение.

Приложения

Науки о Земле

Структурная фотограмметрия движения с многовидовым стереозвуком позволяет получить гипермасштабные модели рельефа с использованием изображений, полученных с различных цифровых камер, и, возможно, из сети наземных контрольных точек. Этот метод не ограничен временной частотой и может предоставлять данные облака точек, сопоставимые по плотности и точности с данными, полученными при наземном и воздушном лазерном сканировании, за небольшую часть стоимости. Структура от движения также полезна в удаленных или суровых условиях, где наземное лазерное сканирование ограничено портативностью оборудования, а воздушное лазерное сканирование ограничено неровностями местности, что приводит к потере данных и ракурсу изображения. Этот метод применялся во многих местах, таких как реки, бесплодные земли, песчаные береговые линии, зоны разломов, оползни и коралловые рифы. SfM также успешно применялся для оценки большого объема скопления древесины и пористости в речных системах, а также для характеристики горных массивов посредством определения некоторых свойств, таких как ориентация, стойкость и т. Д. Неоднородностей. Можно использовать весь спектр цифровых фотоаппаратов, включая цифровые SLR, компактные цифровые фотоаппараты и даже смартфоны. Тем не менее, как правило, более высокая точность данных достигается с помощью более дорогих камер, которые включают объективы с более высоким оптическим качеством. Таким образом, этот метод предлагает захватывающие возможности для описания топографии поверхности с беспрецедентной детализацией и, с использованием разновременных данных, для обнаружения изменений высоты, положения и объема, которые являются симптомами процессов на земной поверхности. Структура от движения может быть помещена в контекст других методов цифровой съемки.

Культурное наследие

Культурное наследие присутствует повсюду. Его структурный контроль, документирование и сохранение - одна из основных обязанностей человечества ( ЮНЕСКО ). С этой точки зрения SfM используется для правильной оценки ситуаций, а также для планирования и технического обслуживания, а также затрат, контроля и восстановления. Поскольку часто существуют серьезные ограничения, связанные с доступностью площадки и невозможностью установки инвазивных геодезических столбов, которые не позволяли использовать традиционные процедуры съемки (например, тахеометры), SfM обеспечивает неинвазивный подход к конструкции без прямого взаимодействия между структурой и любым оператором. Использование является точным, поскольку необходимы только качественные соображения. Это достаточно быстро, чтобы отреагировать на неотложные потребности управления памятником. Первым этапом работы является точная подготовка фотограмметрической съемки, при которой устанавливается соотношение между наилучшим расстоянием от объекта, фокусным расстоянием, расстоянием выборки грунта (GSD) и разрешением датчика. Имея эту информацию, запрограммированные фотографические захваты должны производиться с вертикальным перекрытием не менее 60% (рисунок 02).

Кроме того, фотограмметрия «структура из движения» представляет собой неинвазивную, очень гибкую и недорогую методологию оцифровки исторических документов.

Смотрите также

• 3D-реконструкция из нескольких изображений
• Регулировка связки
• Сравнение программного обеспечения для фотограмметрии
• Компьютерное стереозрение
• Эпиполярная геометрия
• Кинетический эффект глубины
• Перемещение матча
• Поле движения
• Параллакс движения
• Полуглобальное соответствие
• Одновременная локализация и картографирование
• Стереофотограмметрия
• Факторизация Томаси – Канаде
• Преобразование 2D в 3D

дальнейшее чтение

• Джонатан Л. Кэрривик, Марк В. Смит, Дункан Дж. Куинси (2016). Структура движения в науках о Земле. Вили-Блэквелл. 208 страниц. ISBN   978-1-118-89584-9
• Ричард Хартли и Эндрю Зиссерман (2003). Многоканальная геометрия в компьютерном зрении. Издательство Кембриджского университета. ISBN   978-0-521-54051-3.
• Оливье Фогерас, Куанг-Туан Луонг и Теодор Пападопуло (2001). Геометрия множественных изображений. MIT Press. ISBN   978-0-262-06220-6.
• Йи Ма; С. Шанкар Састри ; Яна Косецкая ; Стефано Соатто (ноябрь 2003 г.). Приглашение к трехмерному видению: от изображений к геометрическим моделям. Серия «Междисциплинарная прикладная математика», № 26. Springer-Verlag New York, LLC. ISBN   978-0-387-00893-6.

Рекомендации

1. ^ С. Ульман (1979). «Интерпретация структуры из движения» (PDF). Труды Лондонского королевского общества. 203 (1153): 405–426. Bibcode : 1979RSPSB.203..405U. DOI : 10,1098 / rspb.1979.0006. ЛВП : 1721,1 / 6298. PMID   34162. S2CID   11995230.
2. ^ Линда Г. Шапиро ; Джордж К. Стокман (2001). Компьютерное зрение. Прентис Холл. ISBN   978-0-13-030796-5.
3. Перейти ↑ DG Lowe (2004). «Отличительные особенности изображения от масштабно-инвариантных ключевых точек». Международный журнал компьютерного зрения. 60 (2): 91–110. CiteSeerX   10.1.1.73.2924. DOI : 10.1023 / B: visi.0000029664.99615.94. S2CID   221242327.
4. ^ Х. Бэй; Т. Туйтелаарс и Л. Ван Гул (2006). «Серфинг: расширенные возможности». 9-я Европейская конференция по компьютерному зрению.
5. ^ ^{а б} К. Хэминг и Г. Петерс (2010). «Конвейер реконструкции структуры из движения - обзор с акцентом на короткие последовательности изображений». Кибернетика. 46 (5): 926–937.
6. ^ Альт, P.; Джонс, М. (2001). «Быстрое обнаружение объектов с помощью усиленного каскада простых функций». Труды конференции компьютерного общества IEEE 2001 года по компьютерному зрению и распознаванию образов. CVPR 2001. Кауаи, Гавайи, США: IEEE Comput. Soc. 1: I – 511 – I-518. DOI : 10,1109 / CVPR.2001.990517. ISBN   978-0-7695-1272-3. S2CID   2715202.
7. ^ Нурутдинова, Андрей; Фитцгиббон, Эндрю (2015). «На пути к бессмысленной структуре из движения: 3D-реконструкция и параметры камеры из общих 3D-кривых» (PDF). Материалы Международной конференции IEEE по компьютерному зрению (ICCV 2015): 2363–2371. DOI : 10.1109 / ICCV.2015.272. ISBN   978-1-4673-8391-2. S2CID   9120123.
8. ^ Фаббри, Рикардо; Гиблин, Питер; Кимиа, Бенджамин (2012). «Оценка положения камеры с использованием дифференциальной геометрии кривой первого порядка» (PDF). Конспект лекций по информатике (ECCV 2012). Конспект лекций по информатике. 7575: 231–244. DOI : 10.1007 / 978-3-642-33765-9_17. ISBN   978-3-642-33764-2.
9. ^ Apple, команда ARKIT (2018). «Понимание отслеживания и обнаружения ARKit». WWDC.
10. ^ BD Лукас и Т. Канаде. «Методика итеративного совмещения изображений с приложением к стереозрению». Ijcai81.
11. ^ MA Фишлер amp; RC Bolles (1981). «Консенсус случайной выборки: парадигма для подгонки модели с приложениями для анализа изображений и автоматизированной картографии». Commun. ACM. 24 (6): 381–395. DOI : 10.1145 / 358669.358692. S2CID   972888.
12. ^ Ф. Делларт; С. Зейтц; К. Торп и С. Трун (2000). «Структура из движения без переписки» (PDF). Конференция компьютерного общества IEEE по компьютерному зрению и распознаванию образов.
13. ^ Энгель, Якоб; Шёпс, Томас; Кремерс, Дэниел (2014). "LSD-SLAM: крупномасштабный прямой монокуляр SLAM". Европейская конференция по компьютерному зрению (ECCV) 2014 (PDF).
14. ^ JL Schönberger amp; JM Frahm (2016). «Возвращение к структуре из движения» (PDF). Конференция компьютерного общества IEEE по компьютерному зрению и распознаванию образов.
15. ^ С. Томаси amp; Т. Kanade (1992). «Форма и движение из потоков изображений при орфографии: метод факторизации». Международный журнал компьютерного зрения. 9 (2): 137–154. CiteSeerX   10.1.1.131.9807. DOI : 10.1007 / BF00129684. S2CID   2931825.
16. ^ VM Govindu (2001). «Объединение ограничений с двумя ракурсами для оценки движения». Конференция компьютерного общества IEEE по компьютерному зрению и распознаванию образов. 2: II-218 – II-225. DOI : 10,1109 / CVPR.2001.990963. ISBN   0-7695-1272-0. S2CID   8252027.
17. ^ Вестоби, MJ; Brasington, J.; Glasser, NF; Хэмбри, MJ; Рейнольдс, JM (2012-12-15). « Фотограмметрия « Структура из движения »: недорогой и эффективный инструмент для приложений геолого-геофизических исследований». Геоморфология. 179: 300–314. Bibcode : 2012Geomo.179..300W. DOI : 10.1016 / j.geomorph.2012.08.021.
18. ^ Джеймс, MR; Робсон, С. (01.09.2012). «Прямая реконструкция трехмерных поверхностей и топографии с помощью камеры: приложение для определения точности и геолого-геофизических исследований» (PDF). Журнал геофизических исследований: Поверхность Земли. 117 (F3): F03017. Bibcode : 2012JGRF..117.3017J. DOI : 10.1029 / 2011jf002289. ISSN   2156-2202.
19. ^ Fonstad, Mark A.; Дитрих, Джеймс Т.; Курвиль, Бретань С.; Дженсен, Дженнифер Л.; Карбонно, Патрис Э. (30 марта 2013 г.). «Топографическая структура от движения: новая разработка в фотограмметрических измерениях» (PDF). Процессы земной поверхности и формы рельефа. 38 (4): 421–430. Bibcode : 2013ESPL... 38..421F. DOI : 10.1002 / esp.3366. ISSN   1096-9837.
20. ^ Javernick, L.; Brasington, J.; Карузо, Б. (2014). «Моделирование топографии мелководных плетеных рек с помощью фотограмметрии структуры из движения». Геоморфология. 213: 166–182. Bibcode : 2014Geomo.213..166J. DOI : 10.1016 / j.geomorph.2014.01.006.
21. ^ Смит, Марк Уильям; Верикат, Дамиа (30 сентября 2015 г.). «От экспериментальных участков к экспериментальным ландшафтам: топография, эрозия и отложения в субгумидных бесплодных землях по результатам фотограмметрии структуры из движения» (PDF). Процессы земной поверхности и формы рельефа. 40 (12): 1656–1671. Bibcode : 2015ESPL... 40.1656S. DOI : 10.1002 / esp.3747. ISSN   1096-9837.
22. ^ Гольдштейн, Эван Б; Оливер, Эмбер Р.; де Вриз, Эльсмари; Мур, Лаура Дж; Ясс, Тео (2015-10-22). «Требования к наземным контрольным точкам для топографии, основанной на движении, в прибрежной среде с низким уклоном». PeerJ PrePrints. DOI : 10,7287 / peerj.preprints.1444v1. ISSN   2167-9843.
23. ^ Манчини, Франческо; Дуббини, Марко; Гаттелли, Марио; Стекки, Франческо; Фаббри, Стефано; Габбианелли, Джованни (9 декабря 2013 г.). «Использование беспилотных летательных аппаратов (БПЛА) для восстановления топографии с высоким разрешением: структура с точки зрения движения в прибрежных средах». Дистанционное зондирование. 5 (12): 6880–6898. Bibcode : 2013RemS.... 5.6880M. DOI : 10,3390 / rs5126880.
24. ^ Джонсон, Кендра; Ниссен, Эдвин; Сарипалли, Шрикантх; Эроусмит, Дж. Рамон; МакГэри, Патрик; Шарер, Кэтрин; Уильямс, Патрик; Блиснюк, Кимберли (01.10.2014). «Оперативное картирование топографии зоны ультратонких разломов со структурой от движения». Геосфера. 10 (5): 969–986. Bibcode : 2014Geosp..10..969J. DOI : 10.1130 / GES01017.1.
25. ^ Дель Сольдато, М.; Riquelme, A.; Bianchini, S.; Tomàs, R.; Di Martire, D.; De Vita, P.; Moretti, S.; Калькатерра, Д. (06.06.2018). «Интеграция данных из нескольких источников для исследования одного столетия эволюции оползня Аньоне (Молизе, южная Италия)». Оползни. 15 (11): 2113–2128. DOI : 10.1007 / s10346-018-1015-Z. ISSN   1612-510X.
26. ^ Брайсон, Митч; Дуче, Стефани; Харрис, Дэн; Вебстер, Джоди М.; Томпсон, Алиша; Вила-Консехо, Ана; Уильямс, Стефан Б. (2016). «Геоморфические изменения коралловой гальки, измеренные с помощью аэрофотосъемки воздушного змея». Геоморфология. 270: 1–8. Bibcode : 2016Geomo.270.... 1B. DOI : 10.1016 / j.geomorph.2016.06.018.
27. ^ Спрейцер, Габриэль; Танниклифф, Джон; Фридрих, Хайде (2019-12-01). «Использование фотограмметрии структуры по движению для оценки скоплений большой древесины (LW) в поле». Геоморфология. 346: 106851. Bibcode : 2019Geomo.34606851S. DOI : 10.1016 / j.geomorph.2019.106851.
28. ^ Спрейцер, Габриэль; Танниклифф, Джон; Фридрих, Хайде (2020). «Трехмерное картирование и оценка накопления крупной древесины (LW) с использованием структуры из фотограмметрии движения в лаборатории». Журнал гидрологии. 581: 124430. Bibcode : 2020JHyd..58124430S. DOI : 10.1016 / j.jhydrol.2019.124430.
29. ^ Riquelme, A.; Кано, М.; Tomás, R.; Абеллан, А. (01.01.2017). "Идентификация наборов разрывов откосов с помощью лазерного сканера и фотограмметрических облаков точек: сравнительный анализ". Разработка процедур. 191: 838–845. DOI : 10.1016 / j.proeng.2017.05.251. ISSN   1877-7058.
30. ^ Жорда Бордехор, Луис; Рикельме, Адриан; Кано, Мигель; Томас, Роберто (01.09.2017). «Сравнение ручного и дистанционного сбора данных о неоднородностях поля, используемых при оценке кинематической устойчивости обрушившихся откосов горных пород» (PDF). Международный журнал механики горных пород и горных наук. 97: 24–32. DOI : 10.1016 / j.ijrmms.2017.06.004. ЛВП : 10045/67528. ISSN   1365-1609.
31. ^ Guidi. ГРАММ.; Бералдин, JA; Атзени, К. Высокоточное 3D-моделирование культурного наследия: оцифровка Донателло. IEEE Trans. Процесс изображения. 2004, 13, 370–380
32. ↑ Kraus, K., 2007. Фотограмметрия: геометрия по изображениям и лазерным сканированием. Вальтер де Грюйтер, 459 стр. ISBN   978-3-11-019007-6
33. ^ Брандолини, Филиппо; Патрукко, Джакомо (сентябрь 2019 г.). «Фотограмметрия структуры из движения (SFM) как неинвазивная методология оцифровки исторических документов: очень гибкий и недорогой подход?». Наследие. 2 (3): 2124–2136. DOI : 10,3390 / наследие2030128.