Рекурсивная байесовская оценка

редактировать

В Теория вероятностей, Статистика и Машинное обучение : Рекурсивное байесовское оценивание, также известный как фильтр Байеса, представляет собой общий вероятностный подход для оценки неизвестной функции плотности вероятности (PDF ) рекурсивно. с течением времени с использованием поступающих измерений и математической модели процесса. Этот процесс в значительной степени опирается на математические концепции и модели, теоретически обоснованные в рамках исследования априорных и апостериорных вероятностей, известных как байесовская статистика.

Содержание

1 В робототехнике
2 Модель
3 Приложения
4 Последовательная байесовская фильтрация
5 Внешние ссылки

В робототехнике

Байесовский фильтр - это алгоритм, используемый в информатике для вычисления вероятностей множественных убеждений, позволяющих робот, чтобы определить его положение и ориентацию. По сути, байесовские фильтры позволяют роботам постоянно обновлять свое наиболее вероятное положение в системе координат на основе последних полученных данных датчиков. Это рекурсивный алгоритм. Он состоит из двух частей: прогнозирования и инноваций. Если переменные нормально распределены и переходы линейны, фильтр Байеса становится равным фильтру Калмана.

. В простом примере робот, перемещающийся по сетке, может иметь несколько различных датчиков, которые предоставить ему информацию о его окрестностях. Робот может начать с уверенностью, что он находится в позиции (0,0). Однако по мере того, как он перемещается все дальше и дальше от своего исходного положения, у робота становится все меньше уверенности в своем положении; Используя фильтр Байеса, вероятность может быть присвоена предположению робота о его текущем положении, и эта вероятность может постоянно обновляться на основе дополнительной информации датчика.

Модель

Истинное состояние $x {\ displaystyle x}$ $x$ предполагается ненаблюдаемым марковским процессом, а измерения $z {\ displaystyle z}$ $z$ - это наблюдения скрытой марковской модели (HMM). На следующем рисунке представлена байесовская сеть HMM.

Из-за предположения Маркова вероятность текущего истинного состояния с учетом непосредственно предыдущего состояния условно не зависит от других более ранних состояний.

p (xk | xk - 1, xk - 2,…, x 0) = p (xk | xk - 1) {\ displaystyle p ({\ textbf {x}} _ {k} | {\ textbf { x}} _ {k-1}, {\ textbf {x}} _ {k-2}, \ dots, {\ textbf {x}} _ {0}) = p ({\ textbf {x}} _ {k} | {\ textbf {x}} _ {k-1})}

p ({\ textbf {x}} _ {k} | {\ textbf { x}} _ {{k-1}}, {\ textbf {x}} _ {{k-2}}, \ dots, {\ textbf {x}} _ {0}) = p ({\ textbf { x}} _ {k} | {\ textbf {x}} _ {{k-1}})

Аналогично, измерение на k-м временном шаге зависит только от текущего состояния, поэтому условно не зависит от всех других состояний с учетом Текущее состояние.

п (zk | xk, xk - 1,…, x 0) = p (zk | xk) {\ displaystyle p ({\ textbf {z}} _ {k} | {\ textbf {x}} _ {k}, {\ textbf {x}} _ {k-1}, \ dots, {\ textbf {x}} _ {0}) = p ({\ textbf {z}} _ {k} | {\ textbf {x}} _ {k})}

p ({\ textbf {z}} _ {k} | {\ textbf {x} } _ {k}, {\ textbf {x}} _ {{k-1}}, \ dots, {\ textbf {x}} _ {{0}}) = p ({\ textbf {z}} _ {k} | {\ textbf {x}} _ {{k}})

Используя эти предположения, распределение вероятностей по всем состояниям HMM можно записать просто как:

p (x 0,…, xk, z 1,…, zk) = p (x 0) ∏ i = 1 kp (zi | xi) p (xi | xi - 1). {\ displaystyle p ({\ textbf {x}} _ {0}, \ dots, {\ textbf {x}} _ {k}, {\ textbf {z}} _ {1}, \ dots, {\ textbf {z}} _ {k}) = p ({\ textbf {x}} _ {0}) \ prod _ {i = 1} ^ {k} p ({\ textbf {z}} _ {i} | {\ textbf {x}} _ {i}) p ({\ textbf {x}} _ {i} | {\ textbf {x}} _ {i-1}).}

p ({\ textbf {x}} _ {0}, \ dots, {\ textbf {x}} _ {k}, {\ textbf {z}} _ {1}, \ dots, {\ textbf {z}} _ {k}) = p ({\ textbf {x}} _ {0}) \ prod _ {{i = 1 }} ^ {k} p ({\ textbf {z}} _ {i} | {\ textbf {x}} _ {i}) p ({\ textbf {x}} _ {i} | {\ textbf { x}} _ {{i-1}}).

Однако при использовании Фильтр Калмана для оценки состояния x, интересующее распределение вероятностей связано с текущими состояниями, обусловленными измерениями, вплоть до текущего временного шага. (Это достигается путем маргинализации предыдущих состояний и деления на вероятность набора измерений.)

Это приводит к этапам прогнозирования и обновления фильтра Калмана, записанным вероятностно. Распределение вероятностей, связанное с предсказанным состоянием, представляет собой сумму (интеграл) произведений распределения вероятностей, связанных с переходом от (k - 1) -го временного шага к k-му, и распределения вероятностей, связанного с предыдущим состоянием, по всем возможным $xk - 1 {\ displaystyle x_ {k-1}}$ $x_ {k-1}$ .

p (xk | z 1: k - 1) = ∫ p (xk | xk - 1) p (xk - 1 | z 1: k - 1) dxk - 1 {\ displaystyle p ({\ textbf {x}} _ {k} | {\ textbf {z}} _ {1: k-1}) = \ int p ({\ textbf {x}} _ {k} | {\ textbf {x}} _ {k-1}) p ({\ textbf {x}} _ {k-1} | {\ textbf {z}} _ {1: k-1}) \, d {\ textbf {x}} _ {k-1}}

p ({\ textbf {x}} _ {k} | {\ textbf {z}} _ {{ 1: k-1}}) = \ int p ({\ textbf {x}} _ {k} | {\ textbf {x}} _ {{k-1}}) p ({\ textbf {x}} _ {{k-1}} | {\ textbf {z}} _ {{1: k-1}}) \, d {\ textbf {x}} _ {{k-1}}

Распределение вероятностей обновления пропорционально произведению вероятности измерения и прогнозируемого состояния.

p (xk | z 1: k) = p (zk | xk) p (xk | z 1: k - 1) p (zk | z 1: k - 1) ∝ p (zk | xk) p ( xk | z 1: k - 1) {\ displaystyle p ({\ textbf {x}} _ {k} | {\ textbf {z}} _ {1: k}) = {\ frac {p ({\ textbf {z}} _ {k} | {\ textbf {x}} _ {k}) p ({\ textbf {x}} _ {k} | {\ textbf {z}} _ {1: k-1})} {p ({\ textbf {z}} _ {k} | {\ textbf {z}} _ {1: k-1})}} \ propto p ({\ textbf {z}} _ {k} | {\ textbf {x}} _ {k}) p ({\ textbf {x}} _ {k} | {\ textbf {z}} _ {1: k-1})}

{\ displaystyle p ({\ textbf {x}} _ {k} | {\ textbf {z}} _ {1: k}) = {\ frac {p ({\ textbf { z}} _ {k} | {\ textbf {x}} _ {k}) p ({\ textbf {x}} _ {k} | {\ textbf {z}} _ {1: k-1}) } {p ({\ textbf {z}} _ {k} | {\ textbf {z}} _ {1: k-1})}} \ propto p ({\ textbf {z}} _ {k} | {\ textbf {x}} _ {k}) p ({\ textbf {x}} _ {k} | {\ textbf {z}} _ {1: k-1})}

Знаменатель

п (zk | z 1: k - 1) знак равно ∫ p (zk | xk) p (xk | z 1: k - 1) dxk {\ displaystyle p ({\ textbf {z}} _ {k} | {\ textbf {z}} _ {1: k-1}) = \ int p ({\ textbf {z}} _ {k} | {\ textbf {x}} _ {k}) p ({\ textbf {x}} _ {k} | {\ textbf {z}} _ {1: k-1}) d {\ textbf {x}} _ {k}}

p ({\ textbf {z}} _ {k} | {\ textbf {z}} _ {{1: k-1}}) = \ int p ({\ textbf {z}} _ {k} | {\ textbf {x}} _ {k}) p ({\ textbf {x}} _ {k} | {\ textbf {z}} _ {{1: k-1}}) d {\ textbf {x}} _ {{k}}

константа относительно $x { \ displaystyle x}$ $x$ , поэтому мы всегда можем заменить его на коэффициент $α {\ displaystyle \ alpha}$ $\ альфа$ , который на практике обычно можно игнорировать. Числитель можно вычислить, а затем просто нормализовать, поскольку его интеграл должен быть равен единице.

Приложения

фильтр Калмана, рекурсивный байесовский фильтр для многомерных нормальных распределений
Частичный фильтр, метод на основе последовательного Монте-Карло (SMC), который моделирует PDF с использованием набора дискретных точек
оценок на основе сетки, которые делят PDF на детерминированную дискретную сетку

Последовательная байесовская фильтрация

Последовательная байесовская фильтрация является расширением байесовской оценки для случая, когда наблюдаемая величина изменяется во времени. Это метод оценки реального значения наблюдаемой переменной, которая изменяется во времени.

Метод называется:

фильтрация: при оценке текущего значения с учетом прошлых и текущих наблюдений,
сглаживание: при оценке прошлых значений с учетом прошлых и текущих наблюдений, и
предсказание: при оценке вероятного будущего значения с учетом прошлых и текущих наблюдений.

Понятие последовательной байесовской фильтрации широко используется в контроле и робототехнике.

Внешние ссылки

Арулампалам, М. Санджив; Маскелл, Саймон; Гордон, Нил (2002). «Учебное пособие по фильтрам частиц для нелинейного / негауссовского байесовского отслеживания в реальном времени». Транзакции IEEE по обработке сигналов. 50 (2): 174–188. CiteSeerX 10.1.1.117.1144. doi : 10.1109 / 78.978374.
Беркхарт, Майкл К. (2019). «Глава 1. Обзор байесовской фильтрации». Дискриминационный подход к байесовской фильтрации с приложениями к нейронному декодированию человека. Провиденс, Род-Айленд, США: Университет Брауна. doi : 10.26300 / nhfp-xv22.
Чен, Чжэ Сейдж (2003). "Байесовская фильтрация: от фильтров Калмана до фильтров частиц и не только". Статистика: журнал теоретической и прикладной статистики. 182 (1): 1–69.
Диард, Жюльен; Бессьер, Пьер; Мазер, Эммануэль (2003). «Обзор вероятностных моделей с использованием методологии байесовского программирования в качестве объединяющей основы» (PDF). cogprints.org.
Волков, Александр (2015). «Границы точности негауссовского байесовского отслеживания в среде NLOS». Обработка сигналов. 108 : 498–508. doi : 10.1016 / j.sigpro.2014.10.025.
Сярккя, Симо (2013). Байесовская фильтрация и сглаживание (PDF). Cambridge University Press.