Оценка движения - это процесс определения векторов движения, которые описывают преобразование из одного 2D-изображения в другое; обычно из соседних кадров в видеопоследовательности. Это некорректно поставленная проблема, поскольку движение является трехмерным, но изображения представляют собой проекцию трехмерной сцены на двухмерную плоскость. Векторы движения могут относиться ко всему изображению (оценка глобального движения) или к конкретным частям, таким как прямоугольные блоки, участки произвольной формы или даже к каждому пикселю. Векторы движения могут быть представлены трансляционной моделью или многими другими моделями, которые могут аппроксимировать движение реальной видеокамеры, например вращение и перемещение во всех трех измерениях и масштабирование.
Чаще всего термин «оценка движения» и термин « оптический поток» используются как взаимозаменяемые. Это также связано по концепции с регистрацией изображений и стерео соответствием. Фактически все эти термины относятся к процессу поиска соответствующих точек между двумя изображениями или видеокадрами. Точки, которые соответствуют друг другу в двух видах (изображениях или кадрах) реальной сцены или объекта, «обычно» являются одной и той же точкой в этой сцене или на этом объекте. Прежде чем мы выполним оценку движения, мы должны определить наше измерение соответствия, то есть метрику соответствия, которая является мерой того, насколько похожи две точки изображения. Здесь нет правильного или неправильного; Выбор соответствующей метрики обычно связан с тем, для чего используется окончательная оценка движения, а также со стратегией оптимизации в процессе оценки.
Методы поиска векторов движения можно разделить на методы на основе пикселей («прямые») и методы на основе признаков («косвенные»). В результате знаменитых дебатов были подготовлены два документа противоборствующих фракций, чтобы попытаться сделать вывод.
Косвенные методы используют такие функции, как обнаружение углов, и сопоставляют соответствующие функции между кадрами, обычно со статистической функцией, применяемой к локальной или глобальной области. Цель статистической функции - удалить совпадения, не соответствующие реальному движению.
Статистические функции, которые были успешно использованы, включают RANSAC.
Можно утверждать, что почти все методы требуют определенного определения критериев соответствия. Разница только в том, суммируете ли вы сначала по локальной области изображения, а затем сравниваете суммирование (например, методы на основе функций), или вы сначала сравниваете каждый пиксель (например, возведение разницы в квадрат), а затем суммируете по локальной области изображения (основание блока движение и фильтрация движения). Появляющийся тип критериев соответствия сначала суммирует локальную область изображения для каждого местоположения пикселя (посредством некоторого преобразования функции, такого как преобразование Лапласа), сравнивает каждый суммированный пиксель и снова суммирует по локальной области изображения. Некоторые критерии сопоставления могут исключать точки, которые на самом деле не соответствуют друг другу, хотя и дают хороший результат сопоставления, другие не обладают такой способностью, но они по-прежнему соответствуют критериям.
Применение векторов движения к изображению для синтеза преобразования к следующему изображению называется компенсацией движения. Его проще всего применить к стандартам кодирования видео на основе дискретного косинусного преобразования (DCT), поскольку кодирование выполняется блоками.
Как способ использования временной избыточности, оценка и компенсация движения являются ключевыми частями сжатия видео. Почти все стандарты кодирования видео используют оценку и компенсацию движения на основе блоков, например серию MPEG, включая самую последнюю версию HEVC.
При одновременной локализации и картировании трехмерная модель сцены реконструируется с использованием изображений с движущейся камеры.