Оптический поток или оптический поток - это модель кажущегося движения объектов, поверхностей и краев в визуальной сцене, вызванных относительным движением между наблюдателем и сценой. Оптический поток также можно определить как распределение видимых скоростей движения яркостного рисунка на изображении. Концепция оптического потока была введена американским психологом Джеймсом Дж. Гибсоном в 1940-х годах для описания визуального стимула, предоставляемого животным, перемещающимся по миру. Гибсон подчеркнул важность оптического потока для восприятия аффорданса, способности распознавать возможности для действий в окружающей среде. Последователи Гибсона и его экологического подхода к психологии далее продемонстрировали роль стимула оптического потока для восприятия движения наблюдателем в мире; восприятие формы, расстояния и движения предметов в мире; и управление движением.
Термин «оптический поток» также используется робототехниками, охватывая соответствующие методы обработки изображений и управления навигацией, включая обнаружение движения, сегментацию объекта, время контакта информация, фокус вычислений расширения, яркость, кодирование с компенсацией движения и измерение стереодиапазона.
Последовательности упорядоченных изображений позволяют оценивать движение либо как мгновенные скорости изображения, либо как дискретные смещения изображений. Fleet и Weiss предоставляют учебное пособие по оптическому потоку на основе градиента. Джон Л. Бэррон, Дэвид Дж. Флит и Стивен Бошемин проводят анализ производительности ряда методов оптического потока. Он подчеркивает точность и плотность измерений.
Методы оптического потока пытаются вычислить движение между двумя кадрами изображения, снятыми в моменты времени t и в каждой позиции вокселя. Эти методы называются дифференциальными, поскольку они основаны на локальных аппроксимациях сигнала изображения ряда Тейлора ; то есть они используют частные производные по пространственным и временным координатам.
Для случая измерения 2D + t (случаи 3D или nD аналогичны) воксель в местоположении с интенсивностью переместится на , и между двумя кадрами изображения, и может быть установлено следующее ограничение постоянства яркости дано:
Предполагая, что движение небольшое, ограничение изображения в с Ряд Тейлора можно развить, чтобы получить:
Из усечения членов высшего порядка, линеаризации, следует, что:
или, разделив на ,
, что приводит к
где - это и компоненты скорости или оптического потока поток и , и - производные изображения в в соответствующих направлениях. ,и можно записать для производных следующим образом.
Таким образом:
или
Это уравнение с двумя неизвестными и не может быть решена как таковая. Это известно как проблема апертуры алгоритмов оптического потока. Чтобы найти оптический поток, необходима другая система уравнений, заданная некоторым дополнительным ограничением. Все методы оптического потока вводят дополнительные условия для оценки фактического потока.
Многие из них, в дополнение к современным алгоритмам, являются оценивается с помощью набора данных Middlebury Benchmark.
Оценка движения и сжатие видео стали основным аспектом исследования оптических потоков. В то время как поле оптического потока внешне похоже на плотное поле движения, полученное из методов оценки движения, оптический поток - это исследование не только определения самого поля оптического потока, но также его использования для оценки трехмерной природы. и структура сцены, а также трехмерное движение объектов и наблюдателя относительно сцены, большинство из которых используют изображение Якобиана.
Оптический поток использовался исследователями робототехники во многих областях, таких как: обнаружение и отслеживание объектов, выделение доминирующей плоскости изображения, обнаружение движения, навигация роботов и визуальная одометрия. Информация об оптическом потоке была признана полезной для управления воздушными микро-транспортными средствами.
Применение оптического потока включает в себя задачу определения не только движения наблюдателя и объектов в сцене, но также и структура объектов и окружающей среды. Поскольку осознание движения и создание мысленных карт структуры нашей окружающей среды являются критическими компонентами зрения животных (и человека) , преобразование этой врожденной способности в компьютерные возможности также имеет решающее значение в области машинное зрение.
Вектор оптического потока движущегося объекта в видеопоследовательности.Рассмотрим пятикадровый клип мяча, движущегося из нижнего левого угла поля зрения в верхний правый. Методы оценки движения могут определять, что в двухмерной плоскости мяч движется вверх и вправо, а векторы, описывающие это движение, могут быть извлечены из последовательности кадров. Для целей сжатия видео (например, MPEG ) последовательность теперь описывается так же хорошо, как и должно быть. Однако в области машинного зрения вопрос о том, движется ли мяч вправо или наблюдатель движется влево, является непознаваемой, но важной информацией. Даже если бы в пяти кадрах присутствовал статический узорчатый фон, мы не могли бы с уверенностью утверждать, что мяч движется вправо, потому что узор может находиться на бесконечном расстоянии от наблюдателя.
Оптический датчик потока - это видеодатчик, способный измерять оптический поток или визуальное движение и выводить результат измерения на основе оптического потока. Существуют различные конфигурации оптических датчиков потока. Одна конфигурация представляет собой микросхему датчика изображения, подключенную к процессору, запрограммированному для выполнения алгоритма оптического потока. В другой конфигурации используется микросхема технического зрения, которая представляет собой интегральную схему, имеющую как датчик изображения , так и процессор на одном кристалле, что обеспечивает компактную реализацию. Примером этого является обычный датчик оптической мыши, используемый в оптической мыши . В некоторых случаях схема обработки может быть реализована с использованием схем аналоговых или смешанных сигналов, чтобы обеспечить быстрое вычисление оптического потока с минимальным потреблением тока.
Одной из областей современных исследований является использование методов нейроморфной инженерии для реализации схем, которые реагируют на оптический поток и, таким образом, могут быть подходящими для использования в оптическом датчике потока. Такие схемы могут черпать вдохновение из биологических нейронных схем, которые аналогичным образом реагируют на оптический поток.
Оптические датчики потока широко используются в компьютерных оптических мышах в качестве основного чувствительного компонента для измерения движения мыши по поверхности.
Оптические датчики потока также используются в приложениях робототехники, в первую очередь там, где необходимо измерять визуальное или относительное движение между роботом и другими объектами, находящимися поблизости от робота. Использование оптических датчиков потока в беспилотных летательных аппаратах (БПЛА) для обеспечения устойчивости и избегания препятствий также является областью текущих исследований.
На Викискладе есть материалы, связанные с Optic flow. |