Байесовский вывод

Метод статистического вывода

Байесовский вывод - это метод статистического вывода, в котором Теорема Байеса используется для обновления вероятности гипотезы по мере появления новых свидетельств или информации. Байесовский вывод - важный метод в статистике, и особенно в математической статистике. Байесовское обновление особенно важно в >Испытательный динамический анализ данных. Байесовский вывод нашел применение в широком спектре деятельности, включая науку, инженерию, философию, медицину, спорт и закон. В философии теории принятия решений байесовский объединить связан с субъективной вероятностью, часто называемой «байесовской вероятностью ».

• 1 Введение в правило Байеса
  • 1.1 Формальное объяснение
  • 1.2 Альтернативы байесовскому обновлению
• 2 Формальное описание байесовского вывода
  • 2.1 Определения
  • 2.2 Байесовский вывод
  • 2.3 Байесовское предсказание
• 3 Вывод на основе исключительных и исчерпывающих возможностей
  • 3.1 Общая формулировка
  • 3.2 Множественные наблюдения
  • 3.3 Параметрическая формулировка
• 4 Математические свойства
  • 4.1 Интерпретация фактора
  • 4.2 Правило Кромвеля
  • 4.3 Асимптотическое поведение апостериорного
  • 4.4 Сопряженные априорные значения
  • 4.5 Оценки параметров и прогнозы
• 5 Примеры
  • 5.1 Вероятность гипотезы
  • 5.2 Создание прогноза
• 6 В частотной статистике и теории решений
  • 6.1 Выбор модели
• 7 Вероятностное программирование
• 8 Приложения
  • 8.1 Компьютерные приложения
  • 8.2 Приложения для биоинформатики и здравоохранения
  • 8.3 В зале суда
  • 8.4 Байесовская эпистемология
  • 8.5 П рочее
• 9 Байесовский и байесовский вывод
• 10 История
• 11 См. Также
• 12 Ссылки
  • 12.1 Цитирование
  • 12.2 Источники
• 13 Дополнительная литература
  • 13.1 Элементарный
  • 13.2 Средний или продвинутый
• 14 Внешние ссылки

Геометрическая визуализация теоремы Байеса. В таблице значения 2, 3, 6 и 9 дают относительные веса каждого соответствующего условия и случая. Цифры обозначают таблицы, участвующие в каждой метрике, вероятность - это доля каждой затененной цифры. Это показывает, что P (A | B) P (B) = P (B | A) P (A), то есть есть P (A | B) = P (B | A) P (A) / P (B). Аналогичные рассуждения можно использовать, чтобы показать, что P (¬A | B) = P (B | ¬A) P (¬A) / P (B) и т. Д.

Формальное объяснение

Таблица непредвиденных обстоятельств

Гипотеза. Доказательства	Подтвердить гипотезу. H	Нарушить гипотезу. ¬H		Итого
Имеет доказательства. E	P (H | E) · P ( E) . = P (E | H) · P (H)	P (¬H | E) · P (E) . = P (E | ¬H) · P (¬H)		P (E)
Нет Доказательства. ¬E	P(H|¬E)·P(¬E). = P (¬E | H) · P (H)	P (¬H | ¬ E) · P (¬E) . = P (¬E | ¬H) · P (¬H)		P ( ¬E) =. 1 - P (E)
Итого	P(H)	P (¬H) = 1 - P (H)	1

Байесовский вывод выводит апостериорную вероятность как следствие из двух антецедентов : априорной вероятности и «функции правдоподобия », полученные из статистической модели для наблюдаемых данных. Байесовский вычисляет апостериорную вероятность согласно теореме Байеса :

$P\; (H\; \mid \; E)\; =\; P\; (E\; \mid \; H)\; \cdot \; P\; (H)\; P\; (E)\; \{\backslash \; displaystyle\; P\; (H\; \backslash \; mid\; E)\; =\; \{\backslash \; frac\; \{P\; (E\; \backslash \; mid\; H)\; \backslash \; cdot\; P\; (H)\}\; \{P\; (E)\}\}\}$

где

• $H\; \{\backslash \; displaystyle\; \backslash \; textstyle\; H\}$обозначает любую гипотезу, вероятность которой могут повлиять данные (называемые доказательства). Часто существуют конкурирующие гипотезы, и задача состоит в том, чтобы определить, какая из них наиболее вероятна.
• $P\; (H)\; \{\backslash \; displaystyle\; \backslash \; textstyle\; P\; (H)\}$, априорная вероятность - это оценка вероятности гипотезы $H\; \{\backslash \; displaystyle\; \backslash \; textstyle\; H\}$до данных $E\; \{\backslash \; displaystyle\; \backslash \; textstyle\; E\}$, текущее свидетельство соблюдается.
• $E\; \{\backslash \; displaystyle\; \backslash \; textstyle\; E\}$, свидетельство, соответствует новым данным, которые не использовались при вычислении априорной вероятности.
• $P\; (H\; \mid \; E)\; \{\backslash \; displaystyle\; \backslash \; textstyle\; P\; (H\; \backslash \; mid\; E)\}$, апостериорная вероятность, это вероятность $H\; \{\backslash \; displaystyle\; \backslash \; textstyle\; H\; \}$задано $E\; \{\backslash \; displaystyle\; \backslash \; textstyle\; E\}$, то есть после $E\; \{\backslash \; displaystyle\; \backslash \; textstyle\; E\}$. Это то, что мы хотим знать: вероятность гипотезы с учетом наблюдаемых свидетельств.
• $P\; (E\; \mid \; H)\; \{\backslash \; displaystyle\; \backslash \; textstyle\; P\; (E\; \backslash \; mid\; H)\}$- вероятность того, что соблюдение $E\; \{\backslash \; displaystyle\; \backslash \; textstyle\; E\}$при заданном $H\; \{\backslash \; displaystyle\; \backslash \; textstyle\; H\}$и называется правдоподобием. Как функция от $E\; \{\backslash \; displaystyle\; \backslash \; textstyle\; E\}$с фиксированным $H\; \{\backslash \; displaystyle\; \backslash \; textstyle\; H\}$, это указывает на совместимость доказательства с гипотеза. Функция правдоподобия является функцией свидетельства, $E\; \{\backslash \; displaystyle\; \backslash \; textstyle\; E\}$, тогда как апостериорная вероятность является функцией гипотезы, $H\; \{\backslash \; displaystyle\; \backslash \; textstyle\; H\}$.
• $P\; (E)\; \{\backslash \; displaystyle\; \backslash \; textstyle\; P\; (E)\}$иногда называют предельным правдоподобием или «модельным свидетельством». Этот фактор одинаков для всех рассматриваемых гипотез (что очевидно из того факта, что гипотеза $H\; \{\backslash \; displaystyle\; \backslash \; textstyle\; H\}$нигде в символе не появляется, в отличие от всех других факторов), поэтому этот фактор не учитывается при определении относительной вероятности различных гипотез.

Для разных значений $H\; \{\backslash \; displaystyle\; \backslash \; textstyle\; H\}$только факторы $П\; (ЧАС)\; \{\backslash \; displaystyle\; \backslash \; textstyle\; P\; (H)\}$и $P\; (E\; \mid \; H)\; \{\backslash \; displaystyle\; \backslash \; textstyle\; P\; (E\; \backslash \; mid\; H)\}$, оба значения в числителе значение $P\; (H\; \mid \; E)\; \{\backslash \; displaystyle\; \backslash \; textstyle\; P\; (H\; \backslash \; mid\; E)\}$- апостериорная вероятность гипотезы пропорциональна ее априорной вероятности (присущая ему вероятность) и вновь приобретенная вероятность (ее совместимость с новыми наблюдаемыми свидетельствами).

правило Байеса также можно записать следующим образом:

$P\; (H\; \mid \; E)\; =\; P\; (E\; \mid \; H)\; P\; (H)\; P\; (E)\; =\; P\; (E\; \mid \; H)\; P\; (H)\; P\; (E\; \mid \; H)\; P\; (H)\; +\; P\; (E\; \mid \; \neg \; H)\; P\; (\neg \; H)\; =\; 1\; 1\; +\; (1\; P\; (H)\; -\; 1)\; P\; (E\; \mid \; \neg \; H)\; P\; (E\; \mid \; H)\; \{\backslash \; Displaystyle\; \{\backslash \; begin\; \{align\}\; P\; (H\; \backslash \; mid\; E)\; =\; \{\backslash \; frac\; \{P\; (E\; \backslash \; mid\; H)\; P\; (H)\}\; \{P\; (E)\}\}\; \backslash \backslash \backslash \backslash \; =\; \{\backslash \; frac\; \{P\; (E\; \backslash \; mid\; H)\; P\; (H)\}\; \{P\; (E\; \backslash \; mid\; H)\; P\; (H)\; +\; P\; (E\; \backslash \; mid\; \backslash \; neg\; H)\; P\; (\backslash \; neg\; H)\}\}\; \backslash \backslash \backslash \backslash \; =\; \{\backslash \; frac\; \{1\}\; \{1+\; \backslash \; left\; (\{\backslash \; frac\; \{1\}\; \{P\; (H)\}\}\; -\; 1\; \backslash \; right)\; \{\backslash \; frac\; \{P\; (E\; \backslash \; mid\; \backslash \; neg\; H)\}\; \{P\; (E\; \backslash \; mid\; H)\}\; \}\}\}\; \backslash \backslash \backslash \; конец\; \{выровнен\}\}\}$

потому что

$P\; (E)\; =\; P\; (E\; \mid \; H)\; P\; (H)\; +\; P\; (EH\; \neg \; H)\; P\; (\neg \; H)\; \{\backslash \; Displaystyle\; P\; (E)\; =\; P\; (E\; \backslash \; mid\; H)\; P\; (H)\; +\; P\; (E\; \backslash \; mid\; \backslash \; neg\; H)\; P\; (\backslash \; neg\; H)\}$

и

$P\; (H)\; +\; P\; (\neg \; H)\; Знак\; равно\; 1\; \{\backslash \; displaystyle\; P\; (H)\; +\; P\; (\backslash \; neg\; H)\; =\; 1\}$

где $\neg \; H\; \{\backslash \; displaystyle\; \backslash \; neg\; H\}$равно «не $H\; \{\backslash \; displaystyle\; \backslash \; textstyle\; H\}$", логическое отрицание из $H\; \{\backslash \; displaystyle\; \backslash \; textstyle\; H\}$.

Один быстрый и простой способ запомнить уравнение: для ис правила использования умножения:

$P\; (E\; \cap \; H)\; =\; P\; (E\; \mid \; H)\; P\; (H)\; =\; P\; (H\; \mid \; E)\; P\; (E)\; \{\backslash \; displaystyle\; P\; (E\; \backslash \; cap\; H)\; =\; P\; (E\; \backslash \; mid\; H)\; P\; (H)\; =\; P\; (H\; \backslash \; mid\; E)\; P\; (E)\}$

Альтернативы байесовскому обновлению

Байесовское обновление широко используется и удобно с вычислительной точки зрения. Однако это не единственное правило обновления, которое можно считать рациональным.

Ян Хакинг отмечает, что стандартные аргументы «голландской книги » не определяют байесовское обновление: они оставляют возможность открытой того, что небайесовские правила обновления могут избежать голландской книги. Хакерский писал: «И ни аргумент в голландской книге, ни какой-либо другой аргумент в персоналистском арсенале доказательств аксиом вероятности не влечет за собой динамическое допущение. Ни одно из них не влечет за собой байесианство. Таким образом, персоналист требует, чтобы динамическое допущение было байесовским. верно, что в случае персоналист может отказаться от байесовской модели обучения на собственном опыте. Соль может потерять свой вкус ».

Действительно, существуют небайесовские правила обновления, которые также избегают голландских книг (как обсуждается в литературе по «вероятностной кинематике ») после публикации Ричарда К. Джеффри, которое применяет правило Байеса к случаю, когда самому свидетельству приписывается вероятность. Дополнительные гипотезы, необходимые для однозначного требования байесовского обновления, были сочтены существенными, сложными и неудовлетворительными.

Определения

• $x\; \{\backslash \; displaystyle\; x\}$, точка данных в целом. Фактически это может быть вектор значений.
• $\theta \; \{\backslash \; displaystyle\; \backslash \; theta\}$, параметр распределения точки данных, т. Е. $Икс\; \sim \; п\; (Икс\; \mid \; \theta )\; \{\backslash \; Displaystyle\; х\; \backslash \; сим\; р\; (х\; \backslash \; середина\; \backslash \; тета)\}$. Фактически это может быть вектор параметров.
• $\alpha \; \{\backslash \; displaystyle\; \backslash \; alpha\}$, гиперпараметр распределения параметров, т. Е. $\theta \; \sim \; п\; (\theta \; \mid \; \alpha )\; \{\backslash \; displaystyle\; \backslash \; theta\; \backslash \; sim\; p\; (\backslash \; theta\; \backslash \; mid\; \backslash \; alpha)\}$. Фактически это может быть вектор гиперпараметров.
• $X\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{X\}\}$- образец, набор $n\; \{\backslash \; displaystyle\; n\}$наблюдаемые точки данных, т. Е. $x\; 1,\dots ,\; xn\; \{\backslash \; displaystyle\; x\_\; \{1\},\; \backslash \; ldots,\; x\_\; \{n\}\}$.
• $x\; ~\; \{\backslash \; displaystyle\; \{\backslash \; tilde\; \{x\}\}\}$, новая точка данных, где необходимо спрогнозировать.

Байесовский вывод

• предшествующее распределение - это распределение распределения (ов) до любых данных соблюдаются, то есть $p\; (\theta \; \mid \; \alpha )\; \{\backslash \; displaystyle\; p\; (\backslash \; theta\; \backslash \; mid\; \backslash \; alpha)\}$. Предыдущее распределение может быть нелегко определить; в такой одной из возможностей может быть использование предшествующего Джеффри предварительного распределения перед обновлением его новыми данными.
• распределение выборки - это распределение имеющихся данных при условии их параметров, то есть $p\; (X\; \mid \; \theta )\; \{\backslash \; displaystyle\; p\; (\backslash \; mathbf\; \{X\}\; \backslash \; mid\; \backslash \; theta)\; \}$. Это называется правдобием, особенно если рассматривать его также как функцию программы (ов), иногда записывается как $L\; \; (\theta \; \mid \; X)\; =\; p\; (X\; \mid \; \theta )\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{L\}\; (\backslash \; theta\; \backslash \; mid\; \backslash \; mathbf\; \{X\})\; =\; p\; (\backslash \; mathbf\; \{X\}\; \backslash \; mid\; \backslash \; theta)\}$.
• предельное правдоподобие (иногда также называемое свидетельством) - это распределение наблюдаемых данных маргинализовано по параметрам, т.е. $п\; (Икс\; \mid \; \alpha )\; знак\; равно\; \int \; п\; (Икс\; \mid \; \theta )\; п\; (\theta \; \mid \; \alpha )\; d\; \theta \; \{\backslash \; displaystyle\; p\; (\backslash \; mathbf\; \{X\}\; \backslash \; mid\; \backslash \; alpha)\; =\; \backslash \; int\; p\; (\backslash \; mathbf\; \{X\}\; \backslash \; mid\; \backslash \; theta)\; p\; (\backslash \; theta\; \backslash \; mid\; \backslash \; alpha)\; \backslash \; operatorname\; \{d\}\; \backslash !\; \backslash \; theta\}$.
• апостериорное распределение - это распределение (ов) после учета наблюдаемых данных. Это определяет правил Байеса, которое составляет основу основы вывода:

$p\; (\theta \; \mid \; X,\; \alpha )\; =\; p\; (\theta ,\; X,\; \alpha )\; p\; (X,\; \alpha )\; =\; p\; (X\; \mid \; \theta ,\; \alpha )\; p\; (\theta ,\; \alpha )\; p\; (X\; \mid \; \alpha )\; p\; (\alpha )\; =\; p\; (X\; \mid \; \theta ,\; \alpha )\; p\; (\theta \; \mid \; \alpha )\; p\; (X\; \mid \; \alpha )\; \propto \; p\; (X\; \mid \; \theta ,\; \alpha )\; п\; (\; \theta \; \mid \; \alpha )\; \{\backslash \; Displaystyle\; p\; (\backslash \; theta\; \backslash \; mid\; \backslash \; mathbf\; \{X\},\; \backslash \; alpha)\; =\; \{\backslash \; frac\; \{p\; (\backslash \; theta,\; \backslash \; mathbf\; \{X\},\; \backslash \; alpha)\}\; \{p\; (\backslash \; mathbf\; \{X\},\; \backslash \; alpha)\}\}\; =\; \{\backslash \; frac\; \{p\; (\backslash \; mathbf\; \{X\}\; \backslash \; mid\; \backslash \; theta,\; \backslash \; alpha)\; p\; (\backslash \; theta,\; \backslash \; alpha)\}\; \{p\; (\backslash \; mathbf\; \{X\}\; \backslash \; mid\; \backslash \; alpha)\; p\; (\; \backslash \; alpha)\}\}\; =\; \{\backslash \; frac\; \{p\; (\backslash \; mathbf\; \{X\}\; \backslash \; mid\; \backslash \; theta,\; \backslash \; alpha)\; p\; (\backslash \; theta\; \backslash \; mid\; \backslash \; alpha)\}\; \{p\; (\backslash \; mathbf\; \{X\}\; \backslash \; mid\; \backslash \; alpha)\}\}\; \backslash \; propto\; p\; (\backslash \; mathbf\; \{X\}\; \backslash \; mid\; \backslash \; theta,\; \backslash \; alpha)\; p\; (\backslash \; theta\; \backslash \; mid\; \backslash \; alpha)\}$

Это выражается словами как «апостериорная пропорциональна времени вероятности до», или иногда как «апостериорная = вероятность предшествующего времени, превышающая доказательство ».

Байесовское предсказание

• Апостериорное предсказывающее распределение - это распределение новой точки данных, маргинальное по сравнению с апостериорным:

$p\; (x\; ~\; \mid \; X,\; \alpha )\; =\; \int \; p\; (Икс\; ~\; \mid \; \theta )\; п\; (\theta \; \mid \; Икс,\; \alpha )\; d\; \theta \; \{\backslash \; Displaystyle\; p\; (\{\backslash \; тильда\; \{x\}\}\; \backslash \; mid\; \backslash \; mathbf\; \{X\},\; \backslash \; alpha)\; =\; \backslash \; int\; p\; (\{\backslash \; тильда\; \{x\}\}\; \backslash \; mid\; \backslash \; theta)\; p\; (\backslash \; theta\; \backslash \; mid\; \backslash \; mathbf\; \{X\},\; \backslash \; alpha)\; \backslash \; operatorname\; \{d\}\; \backslash !\; \backslash \; theta\}$

• Предыдущее прогнозное распределение - это распределение новой точки данных, маргинализованная по сравнению с предыдущей:

$p\; (x\; ~\; \mid \; \alpha )\; =\; \int \; p\; (x\; ~\; \mid \; \theta )\; p\; (\theta \; \mid \; \alpha )\; d\; \theta \; \{\backslash \; Displaystyle\; p\; (\{\backslash \; тильда\; \{x\}\}\; \backslash \; mid\; \backslash \; alpha)\; =\; \backslash \; int\; p\; (\{\backslash \; tilde\; \{x\}\}\; \backslash \; mid\; \backslash \; theta)\; p\; (\backslash \; theta\; \backslash \; mid\; \backslash \; alpha)\; \backslash \; operatorname\; \{d\}\; \backslash !\; \backslash \; theta\}$

Байесовская теория требует использования апостериорного прогнозирующего распределения для выполнения прогнозного вывода, т. е. для прогнозирования распределения новой, ненаблюдаемой точки данных. То есть вместо фиксированной точки в качестве прогноза возвращается по возможным точкам. Только так можно использовать все апостериорное распределение задач (ов). Для сравнения прогноз в частотной статистике часто включает поиск оптимальной точечной оценки (ов), например, с помощью максимального правдоподобия или максимальной апостери оценочной (MAP) - а затем подставить эту оценку в формулу распределения точки данных. Это имеет недостаток, заключающийся в том, что он не учитывает какую-либо неопределенность в значении и, следовательно, недооценивает дисперсию прогнозного распределения.

(В некоторых случаях частотная статистика может обойти проблему., доверительные интервалы и Например интервалы прогноза в частотной статистике при построении из нормального распределения с неизвестным средним и дисперсией строятся с использованием t-распределения Стьюдента. Это правильно оценивает дисперсию тому благодаря, что (1) среднее значение нормально распределенных случайных величин также нормально (2) прогнозирование распределения нормально распределенной точки данных с неизвестным средним средним размером и дисперсией, с использованием сопряженных или неинформативных априорных значений, имеет t-распределение Сть байюдента в статистике апостериорное прогнозное распределение всегда можно определить - или по крайней мере, с произвольным уровнем производительности при использовании численных методов.)

Оба прогнозных распределений формула сложного типа распределения вероятно стей (как и маргинальное правдоподобие капюшон ). Фактически, если априорное распределение является сопряженным априорным, и, следовательно, априорное и апостериорное распределение происходит из одного семейства, легко из заметить, что как априорные, так и апостериорные предсказательные предсказательные распределения также соответствуют одному и тому же составному составному распределению. Единственное отличие состоит в том, что апостериорное прогнозное распределение использует обновленные значения гиперпараметров (применяя правила байесовского обновления, приведенные в сопряженной предыдущей статье ), в то время как предыдущее прогнозное распределение использует значения гиперпараметров, которые появляются в предварительном распределении.

Если свидетельство одновременных используемых обновлений по набору исключительных и исчерпывающих утверждений, можно рассматривать как действующее на это исследование в целом.

Общая формулировка

Схема, иллюстрирующая пространство событий $\Omega \; \{\backslash \; displaystyle\; \backslash \; Omega\}$в общей формулировке байесовского вывода. Хотя эта диаграмма показывает дискретные модели и события, непрерывный случай может быть визуализирован аналогичным образом с использованием плотностей вероятностей.

Предположим, что процесс генерирует независимые и одинаково распределенные события $E\; n,\; n\; =\; 1,\; 2,\; 3,\dots \; \{\backslash \; displaystyle\; E\_\; \{n\},\; \backslash ,\; \backslash ,\; n\; =\; 1,2,3,\; \backslash \; ldots\; \}$, но распределение вероятностей неизвестно. Пусть пространство событий $\Omega \; \{\backslash \; displaystyle\; \backslash \; Omega\}$представляет текущее состояние иммунений для этого процесса. Каждая модель представлена ​​присутствием $M\; m\; \{\backslash \; displaystyle\; M\_\; \{m\}\}$. Условные вероятности $P\; (E\; n\; \mid \; M\; m)\; \{\backslash \; displaystyle\; P\; (E\_\; \{n\}\; \backslash \; mid\; M\_\; \{m\})\}$указаны для определения моделей. $P\; (M\; m)\; \{\backslash \; displaystyle\; P\; (M\_\; \{m\})\}$- степень веры в $M\; m\; \{\backslash \; displaystyle\; M\_\; \{m\}\}$. Перед первым шагомпредставляет собой набор начальных априорных вероятностей. {P (M m)} {\ displaystyle \ {P (M_ {m}) \}} Сумма должна быть равна 1, но в остальном они произвольны.

Предположим, что в процессе наблюдается генерация $E\; \in \; \{E\; n\}\; \{\backslash \; displaystyle\; \backslash \; textstyle\; E\; \backslash \; in\; \backslash \; \{E\_\; \{n\}\; \backslash \}\}$. Для каждого $M\; \in \; \{M\; m\}\; \{\backslash \; displaystyle\; M\; \backslash \; in\; \backslash \; \{M\_\; \{m\}\; \backslash \}\}$предыдущий $P\; (M)\; \{\backslash \; displaystyle\; P\; (M)\}$обновляется до заднего $P\; (M\; \mid \; E)\; \{\backslash \; displaystyle\; P\; (M\; \backslash \; mid\; E)\}$. Из теоремы Байеса :

$P\; (M\; \mid \; E)\; =\; P\; (E\; \mid \; M)\; \sum \; m\; P\; (E\; \mid \; M\; m)\; P\; (M\; m)\; \cdot \; P\; (M)\; \{\backslash \; displaystyle\; P\; (M\; \backslash \; mid\; E))\; =\; \{\backslash \; frac\; \{P\; (E\; \backslash \; mid\; M)\}\; \{\backslash \; sum\; \_\; \{m\}\; \{P\; (E\; \backslash \; mid\; M\_\; \{m\})\; P\; (M\_\; \{m\})\}\}\}\; \backslash \; cdot\; P\; (M)\}$

После наблюдения дополнительных доказательств эта процедура может быть повторена.

Множественные наблюдения

Для наблюдения независимых и одинаково распределенных наблюдений $E\; =\; (e\; 1,\dots ,\; en)\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{E\}\; =\; (\; e\_\; \{1\},\; \backslash \; dots,\; e\_\; \{n\})\}$, можно показать по индукции, что повторное применение вышеуказанного эквивалентно

$P\; (M\; \mid \; E)\; =\; P\; (Е\; \mid \; М)\; \sum \; м\; п\; (Е\; \mid \; М\; м)\; п\; (М\; м)\; \cdot \; п\; (M)\; \{\backslash \; Displaystyle\; P\; (M\; \backslash \; mid\; \backslash \; mathbf\; \{E\})\; =\; \{\backslash \; frac\; \{P\; (\backslash \; mathbf\; \{E\}\; \backslash \; mid\; M)\}\; \{\backslash \; sum\; \_\; \{m\}\; \{P\; (\backslash \; mathbf\; \{E\}\; \backslash \; mid\; M\_\; \{m\})\; P\; (M\_\; \{m\})\}\}\}\; \backslash \; cdot\; P\; (M)\}$

Где

$P\; (E\; \mid \; M)\; =\; \prod \; k\; P\; (ek\; \mid \; M).\; \{\backslash \; displaystyle\; P\; (\backslash \; mathbf\; \{E\}\; \backslash \; mid\; M)\; =\; \backslash \; prod\; \_\; \{k\}\; \{P\; (e\_\; \{k\}\; \backslash \; mid\; M)\}.\}$

.

Параметрическая формулировка

путем параметрической формулы пространства моделей, вера во все модели может быть обновлена ​​за один шаг. Распределение по пространству модели рассматривать как распределение по пространству параметрам. Распределения в этом разделе выражены как непрерывные, представленные плотностью вероятностей, поскольку это обычная ситуация. Однако этот метод в равной применимости к дискретным распределениям.

Пусть вектор $\theta \; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{\backslash \; theta\}\}$охватывает пространство параметров. Пусть начальное априорное распределение по $\theta \; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{\backslash \; theta\}\}$будет $p\; (\theta \; \mid \; \alpha )\; \{\backslash \; displaystyle\; p\; (\backslash \; mathbf\; \{\backslash \; theta\}\; \backslash \; mid\; \backslash \; mathbf\; \{\backslash \; alpha\})\}$, где $\alpha \; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{\backslash \; alpha\}\}$- это набор параметров самого предшествующего значения, или гиперпараметры. Пусть $E\; =\; (e\; 1,\dots ,\; en)\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{E\}\; =\; (e\_\; \{1\},\; \backslash \; dots,\; e\_\; \{n\})\}$будет последовательностью независимые и одинаково распределенные наблюдения за событиями, где все $ei\; \{\backslash \; displaystyle\; e\_\; \{i\}\}$распределяются как $p\; (e\; \mid \; \theta )\; \{\backslash \; displaystyle\; p\; (e\; \backslash \; mid\; \backslash \; mathbf\; \{\backslash \; theta\})\}$для некоторого $\theta \; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{\backslash \; theta\}\}$. Теорема Байеса применяемого для нахождения апостериорного распределения над $\theta \; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{\backslash \; theta\}\}$:

$p\; (\theta \; \mid \; E,\; \alpha )\; =\; p\; (E\; \mid \; \theta ,\; \alpha )\; p\; (E\; \mid \; \alpha )\; \cdot \; p\; (\theta \; \mid \; \alpha )\; знак\; равно\; п\; (\; Е\; \mid \; \theta ,\; \alpha )\; \int \; п\; (E\; |\; \theta ,\; \alpha )\; п\; (\theta \; \mid \; \alpha )\; d\; \theta \; \cdot \; п\; (\theta \; \mid \; \alpha )\; \{\backslash \; Displaystyle\; \{\backslash \; begin\; \{выровнено\}\; p\; (\backslash \; mathbf\; \{\backslash \; theta\}\; \backslash \; mid\; \backslash \; mathbf\; \{E\},\; \backslash \; mathbf\; \{\backslash \; alpha\})\; =\; \{\backslash \; frac\; \{p\; (\backslash \; mathbf\; \{E\}\; \backslash \; mid\; \backslash \; mathbf\; \{\backslash \; theta\},\; \backslash \; mathbf\; \{\backslash \; alpha\})\}\; \{p\; (\backslash \; mathbf\; \{E\}\; \backslash \; mid\; \backslash \; mathbf\; \{\backslash \; alpha\})\}\}\; \backslash \; cdot\; p\; (\backslash \; mathbf\; \{\backslash \; theta\}\; \backslash \; mid\; \backslash \; mathbf\; \{\backslash \; alpha\})\; \backslash \backslash \; =\; \{\backslash \; frac\; \{p\; (\backslash \; mathbf\; \{E\}\; \backslash \; середина\; \backslash \; mathbf\; \{\; \backslash \; theta\},\; \backslash \; mathbf\; \{\backslash alpha\})\}\; \{\backslash \; int\; p\; (\backslash \; mathbf\; \{E\}\; |\; \backslash \; mathbf\; \{\backslash \; theta\},\; \backslash \; mathbf\; \{\backslash \; alpha\})\; p\; (\backslash \; mathbf\; \{\backslash \; theta\}\; \backslash \; mid\; \backslash \; mathbf\; \{\backslash \; alpha\})\; \backslash ,\; d\; \backslash \; mathbf\; \{\backslash \; theta\}\}\}\; \backslash \; cdot\; p\; (\backslash \; mathbf\; \{\backslash \; theta\}\; \backslash \; mid\; \backslash \; mathbf\; \{\backslash \; alpha\})\; \backslash \; end\; \{выровнено\}\}$

где

$p\; (E\; \mid \; \theta ,\; \alpha )\; =\; \prod \; кп\; (эк\; \mid \; \theta )\; \{\backslash \; displaystyle\; p\; (\backslash \; mathbf\; \{E\}\; \backslash \; mid\; \backslash \; mathbf\; \{\backslash \; theta\},\; \backslash \; mathbf\; \{\backslash \; alpha\})\; =\; \backslash \; prod\; \_\; \{k\}\; p\; (e\_\; \{k\}\; \backslash \; mid\; \backslash \; mathbf\; \{\; \backslash \; theta\})\}$

Интерпретация фактора

$P\; (E\; \mid \; M)\; P\; (E)>1\; \Rightarrow \; P\; (E\; \mid \; M)>P\; (E)\; \{\backslash \; displaystyle\; \backslash \; textstyle\; \{\backslash \; гидроразрыва\; \{P\; (E\; \backslash \; mid\; M)\}\; \{P\; (E)\}\}>1\; \backslash \; Rightarrow\; \backslash \; textstyle\; P\; (E\; \backslash \; mid\; M)>P\; (E)\}$. То есть, если бы модель была верной, была предсказана более вероятными, чем предсказуемо текущим состоявшимся убийством. меняется, $п\; (E\; \mid \; M)\; P\; (E)\; =\; 1\; \Rightarrow \; P\; (E\; \mid \; M)\; =\; P\; (E)\; \{\backslash \; displaystyle\; \backslash \; textstyle\; \{\backslash \; frac\; \{P\; (E\; \backslash \; mid\; M)\}\; \{P\; (E)\}\}\; =\; 1\; \backslash \; Rightarrow\; \backslash \; textstyle\; P\; (E\; \backslash \; mid\; M)\; =\; P\; (E)\}$. То есть доказывает не зависит от модели. Если бы модель была верной, были доказательства бы столь же вероятными, как предсказывает текущее состояние веры.

Правило Кромвеля

Если $P\; (M)\; =\; 0\; \{\backslash \; displaystyle\; P\; (M)\; =\; 0\}$, то $P\; (M\; \mid \; E)\; Знак\; равно\; 0\; \{\backslash \; Displaystyle\; P\; (M\; \backslash \; mid\; E)\; =\; 0\}$. Если $P\; (M)\; =\; 1\; \{\backslash \; displaystyle\; P\; (M)\; =\; 1\}$, то $P\; (M\; |\; E)\; =\; 1\; \{\backslash \; displaystyle\; P\; (M\; |\; E)\; =\; 1\; \}$. Это можно интерпретировать как то, что суровые приговоры нечувствительны к контрдоказательствам.

Первое следует непосредственно из теоремы Байеса. Последнее можно получить, применив первое правило к событию «не $M\; \{\backslash \; displaystyle\; M\}$» вместо «$M\; \{\backslash \; displaystyle\; M\}$. ", уступая", если $1\; -\; P\; (M)\; =\; 0\; \{\backslash \; displaystyle\; 1-P\; (M)\; =\; 0\}$, то $1\; -\; P\; (M\; \mid \; E)\; =\; 0\; \{\backslash \; displaystyle\; 1-P\; (M\; \backslash \; mid\; E)\; =\; 0\}$", откуда немедленно следует результат.

Асимптотическое поведение апостериорного

Рассмотрим распределение поведения обвинений, поскольку оно обновляется большое количество раз с помощью независимых и одинаково распределенных испытаний. 465>независимо от исходной априорной вероятности при некоторых условиях, описанных впервые. И строго доказано Джозефом Л. Дубом в 1948 году, а именно, если рассматриваемая случайная величина имеет конечное вероятностное пространство. Более общие результаты были получены позже статистиком Дэвидом А. Фридманом, который опубликовал две основополагающие исследоват ельские работы в 1963 и 1965 годах, когда и при обстоятельствах гарантируется асимптотическое поведение апостериорного распределения. Его статья 1963 года, как и Дуб (1949), рассматривает конечный случай и приходит к удовлетельному заключению. Однако, если случайная величина имеет бесконечное, но счетное вероятностное пространство (т. Е. Соответствующее кубику с бесконечным множеством граней), статья 1965 года демонстрирует, что для плотного подмножества априорных значений Бернштейна-фон Мизеса Теорема неприменима. В этом случае почти наверняка нет асимптотической сходимости. Позже, в 1980-х и 1990-х годах Фридман и Перси Диаконис продолжили работу над случаем бесконечных счетных вероятностных пространств. Подводя итог, может быть недостаточно испытаний, чтобы подавить эффекты собственного выбора, и особенно для больших (но конечных) систем сходимость может быть очень медленной.

Конъюгированные приоры

В параметризованной форме часто возникают проблемы с распределением, называемых конъюгированных приоров. Полезность сопряженного априорного распределения заключается в том, что соответствующее апостериорное распределение будет в том же семействе, и расчет может быть выражен в закрытой форме.

Оценки параметров и прогнозы

Часто желательно использовать апостериорное распределение для оценки параметров или вариант. Несколько методов байесовской оценки выбирают измерения центральной тенденции из апостериорного распределения.

Для одномерных задач существует уникальная медиана для практических непрерывных задач. Апостериорная медиана привлекательна как робастная оценка.

Если существует конечное среднее для апостериорного распределения, то апостериорное среднее методом оценки.

$\theta \; ~\; =\; E\; \; [\theta ]\; =\; \int \; \theta \; п\; (\theta \; \mid \; Икс,\; \alpha )\; d\; \theta \; \{\backslash \; Displaystyle\; \{\backslash \; тильда\; \{\backslash \; theta\}\}\; =\; \backslash \; operatorname\; \{E\}\; [\backslash \; theta]\; =\; \backslash \; int\; \backslash \; theta\; \backslash ,\; p\; (\backslash \; theta\; \backslash \; mid\; \backslash \; mathbf\; \{X\},\; \backslash \; alpha)\; \backslash ,\; d\; \backslash \; theta\}$

Выбор значения с наибольшей вероятностью определяет максимальные апостериорные (MAP) оценки:

$\{\theta \; MAP\}\; \subset \; arg\; \; max\; \theta \; p\; (\theta \; \mid \; X,\; \alpha ).\; \{\backslash \; displaystyle\; \backslash \; \{\backslash \; theta\; \_\; \{\backslash \; text\; \{MAP\}\}\; \backslash \}\; \backslash \; subset\; \backslash \; arg\; \backslash \; max\; \_\; \{\backslash \; theta\}\; p\; (\backslash \; theta\; \backslash \; mid\; \backslash \; mathbf\; \{X\},\; \backslash \; alpha).\}$

Есть примеры, когда максимум не достигается, в этом случае набор оценок MAP пуст.

Существуют и другие методы оценки, которые минимизируют апостериорный риск (ожидаемые-апостериорные потери) по отношению к функция потерь, и они представляют интерес для теории статистических решений с использованием выборочного распределения («частотная статистика»).

апостериорное прогнозирующее распределение нового наблюдения $x\; ~\; \{\backslash \; displaystyle\; \{\backslash \; tilde\; \{x\}\}\}$(которое не зависит от предыдущих наблюдений) определяется как

$p\; (x\; ~\; |\; X,\; \alpha )\; =\; \int \; p\; (x\; ~,\; \theta \; \mid \; X,\; \alpha )\; d\; \theta \; =\; \int \; p\; (x\; ~\; \mid \; \theta )\; p\; (\theta \; \mid \; X,\; \alpha )\; d\; \theta .\; \{\backslash \; Displaystyle\; р\; (\{\backslash \; тильда\; \{x\}\}\; |\; \backslash \; mathbf\; \{X\},\; \backslash \; alpha)\; =\; \backslash \; int\; p\; (\{\backslash \; tilde\; \{x\}\},\; \backslash \; theta\; \backslash \; mid\; \backslash \; mathbf\; \{X\},\; \backslash \; alpha)\; \backslash ,\; d\; \backslash \; theta\; =\; \backslash \; int\; p\; (\{\backslash \; tilde\; \{x\}\}\; \backslash \; mid\; \backslash \; theta)\; p\; (\backslash \; theta\; \backslash \; mid\; \backslash \; mathbf\; \{X\},\; \backslash \; alpha)\; \backslash ,\; d\; \backslash \; theta.\}$

Вероятность гипотезы

Таблица непредвиденных обстоятельств

Чаша. Печенье		#1	#2		. Итого
		H1	H2
Простая	E	30	20		50
Шоколад	¬E	10	20		30
Итого		40	40	80
P (H 1 | E) = 30/50 = 0,6

Предположим, есть две полные тарелки печенья. В чаше № 1 есть 10 шоколадных крошек и 30 простых печений, а в чаше № 2 - по 20 штук каждого вида. Наш друг Фред выбирает наугад миску, а затем наугад выбирает печенье. Мы предполагаем, что нет никаких оснований полагать, что Фред относится к одной миске иначе, чем к другому, как и к печеньям. Печенье оказывается обычным. Насколько вероятно, что Фред взял его из чаши №1?

Интуитивно кажется очевидным, что ответ должен быть больше половины, так как в чаше №1 простого печенья больше. Точный ответ дает теорема Байеса. Пусть $H\; 1\; \{\backslash \; displaystyle\; H\_\; \{1\}\}$соответствует чаше №1, а $H\; 2\; \{\backslash \; displaystyle\; H\_\; \{2\}\}$- чаше №2.. Предполагается, что чаши идентичны с точки зрения Фреда, поэтому $P\; (H\; 1)\; =\; P\; (H\; 2)\; \{\backslash \; displaystyle\; P\; (H\_\; \{1\})\; =\; P\; (H\_\; \{2\})\}$, и эти два должны в сумме составлять 1, поэтому оба равны 0,5. Событие $E\; \{\backslash \; displaystyle\; E\}$- это наблюдение за обычным файлом cookie. Из содержимого чаш мы знаем, что $P\; (E\; \mid \; H\; 1)\; =\; 30/40\; =\; 0,75\; \{\backslash \; displaystyle\; P\; (E\; \backslash \; mid\; H\_\; \{1\})\; =\; 30/40\; =\; 0,75\}$и $P\; (E\; \mid \; H\; 2)\; =\; 20/40\; =\; 0,5.\; \{\backslash \; displaystyle\; P\; (E\; \backslash \; mid\; H\_\; \{2\})\; =\; 20/40\; =\; 0,5.\}$Формула Байеса дает

$P\; (H\; 1\; \mid \; E)\; =\; P\; (E\; \mid \; H\; 1)\; P\; (H\; 1)\; P\; (EEH\; 1)\; P\; (H\; 1)\; +\; P\; (E\; \mid \; H\; 2)\; P\; (H\; 2)\; =\; 0,75\; \times \; 0,5\; 0,75\; \times \; 0,5\; +\; 0,5\; \times \; 0,\; 5\; =\; 0,6\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{выровнено\}\; P\; (H\_\; \{1\}\; \backslash \; mid\; E)\; =\; \{\backslash \; frac\; \{P\; (E\; \backslash \; mid\; H\_\; \{1\})\; \backslash ,\; P\; (H\_\; \{1\})\}\; \{P\; (E\; \backslash \; mid\; H\_\; \{1\})\; \backslash ,\; P\; (H\_\; \{1\})\; \backslash ;\; +\; \backslash ;\; P\; (E\; \backslash \; mid\; H\_\; \{2\})\; \backslash ,\; P\; (H\_\; \{2\})\}\}\; \backslash \backslash \backslash \backslash \backslash \; =\; \{\backslash \; frac\; \{0,75\; \backslash \; times\; 0,5\}\; \{0,75\; \backslash \; times\; 0,5\; +\; 0,5\; \backslash \; times\; 0,5\}\}\; \backslash \backslash \backslash \backslash \backslash \; =\; 0,6\; \backslash \; end\; \{align\}\}\}$

До того, как мы наблюдали за файлом cookie, вероятность, которую мы присвоили Фреду, выбравшему чашу № 1, была априорной вероятностью, $P\; (H\; 1)\; \{\backslash \; displaystyle\; P\; (H\_\; \{1\})\}$, что было 0,5. После наблюдения за файлом cookie мы должны пересмотреть вероятность до $P\; (H\; 1\; \mid \; E)\; \{\backslash \; displaystyle\; P\; (H\_\; \{1\}\; \backslash \; mid\; E)\}$, что составляет 0,6.

Делаем прогноз

Пример результатов для примеров археологии. Это моделирование было создано с использованием c = 15.2.

Археолог работает на месте, которое, как считается, относится к средневековому периоду, между 11-м и 16-м веками. Однако точно неизвестно, когда именно в этот период это место было заселено. Найдены фрагменты глиняной посуды, некоторые из них глазированные, а некоторые украшенные. Если бы этот участок был заселен в период раннего средневековья, то 1% керамики был бы покрыт глазурью и 50% его площади украшали бы, тогда как если бы он был заселен в период позднего средневековья, то 81% был бы застеклен и 5 % его площади оформлено. Насколько точно археолог может быть уверен в дате заселения при обнаружении фрагментов?

Степень уверенности в непрерывной переменной $C\; \{\backslash \; displaystyle\; C\}$(век) должна быть вычислена с дискретным набором событий $\{GD,\; GD\; ¯,\; G\; ¯\; D,\; G\; ¯\; D\; ¯\}\; \{\backslash \; displaystyle\; \backslash \; \{GD,\; G\; \{\backslash \; bar\; \{D\}\},\; \{\backslash \; bar\; \{G\}\}\; D,\; \{\backslash \; bar\; \{G\}\}\; \{\backslash \; bar\; \{D\}\}\; \backslash \}\}$в качестве доказательства. Предполагаемая линейное изменение глазури и декора во времени и что переменные независимые,

$P\; (E\; =\; GD\; \mid \; C\; =\; c)\; =\; (0,01\; +\; 0,81\; -\; 0,01\; 16-11\; (c\; -\; 11))\; (\; 0,5\; -\; 0,5\; -\; 0,05\; 16\; -\; 11\; (c\; -\; 11))\; \{\backslash \; Displaystyle\; P\; (E\; =\; GD\; \backslash \; mid\; C\; =\; c)\; =\; (0,01\; +\; \{\backslash \; frac\; \{0,81-0.01\}\; \{16-11\}\}\; (c-11))\; (0,5\; -\; \{\backslash \; frac\; \{0,5-0,05\}\; \{16-11\}\}\; (c-11))\}$

$P\; (E\; =\; GD\; ¯\; \mid \; C\; =\; c)\; =\; (0,01\; +\; 0,81\; -\; 0,01\; 16\; -\; 11\; (c\; -\; 11))\; (0,5\; +\; 0,5\; -\; 0,05\; 16-11\; (c\; -\; 11))\; \{\; \backslash \; Displaystyle\; P\; (E\; =\; G\; \{\backslash \; bar\; \{D\}\}\; \backslash \; mid\; C\; =\; c)\; =\; (0,01\; +\; \{\backslash \; frac\; \{0,81-0,01\}\; \{16-11\}\}\; (c-11))\; (0,5\; +\; \{\backslash \; frac\; \{0,5-0,05\}\; \{16-11\}\}\; (c-11))\}$

$P\; (E\; =\; G\; ¯\; D\; \mid \; C\; =\; c)\; =\; ((1\; -\; 0,01)\; -\; 0,81\; -\; 0,01\; 16-11\; (c\; -\; 11))\; (0,5\; -\; 0,5\; -\; 0,05\; 16-11\; (c\; -\; 11))\; \{\backslash \; displaystyle\; P\; (E\; =\; \{\; \backslash \; bar\; \{G\})\}\; D\; \backslash \; mid\; C\; =\; c)\; =\; ((1-0.01)\; -\; \{\backslash \; frac\; \{0.81-0.01\}\; \{16-11\}\}\; (c-11))\; (0.5\; -\; \{\backslash \; frac\; \{0.5\; -0.05\}\; \{16-\; 11\}\}\; (c-11))\}$

$P\; (E\; =\; G\; ¯\; D\; ¯\; \mid \; C\; =\; c)\; =\; ((1\; -\; 0,01)\; -\; 0,81\; -\; 0,01\; 16\; -\; 11\; (c\; -\; 11))\; (0,5\; +\; 0,5\; -\; 0,05\; 16\; -\; 11\; (c\; -\; 11))\; \{\backslash \; displaystyle\; P\; (E\; =\; \{\backslash \; bar\; \{G\}\}\; \{\backslash \; bar\; \{D\}\})\; \backslash \; mid\; C\; =\; c)\; =\; ((1-0,0\; 1)\; -\; \{\backslash \; frac\; \{0,81-0,01\}\; \{16\; -11\}\}\; (c-11))\; (0,5\; +\; \{\backslash \; frac\; \{0,5-0,05\}\; \{16-11\}\}\; (c-11))\; \}$

Предположим, предварительная единообразие $f\; C\; (c)\; =\; 0,2\; \{\backslash \; displaystyle\; \backslash \; textstyle\; f\_\; \{C\}\; (c)\; =\; 0,2\}$, и что испытания Независимы и одинаково распределены. Когда обнаруживается новый фрагмент типа $e\; \{\backslash \; displaystyle\; e\}$, применяется теорема Байеса для обновления степени уверенности для каждого $c\; \{\backslash \; displaystyle\; c\}$:

$f\; C\; (c\; \mid \; E\; =\; e)\; =\; P\; (E\; =\; e\; \mid \; C\; =\; c)\; P\; (E\; =\; e)\; f\; C\; (c)\; =\; P\; (E\; =\; e\; \mid \; C\; =\; c)\; \int \; 11\; 16\; P\; (E\; =\; e\; \mid \; C\; =\; c)\; е\; C\; (\; c)\; dcf\; C\; (c)\; \{\backslash \; displaystyle\; f\_\; \{C\}\; (c\; \backslash \; mid\; E\; =\; e)\; =\; \{\backslash \; frac\; \{P\; (E\; =\; e\; \backslash \; mid\; C\; =\; c)\}\; \{P\; (E\; =\; e)\}\}\; f\_\; \{\; C\}\; (c)\; =\; \{\backslash \; frac\; \{P\; (E\; =\; e\; \backslash \; mid\; C\; =\; c)\}\; \{\backslash \; int\; \_\; \{11\}\; ^\; \{16\}\; \{P\; (E\; =\; e\; \backslash \; mid\; C\; =\; c)\; f\_\; \{C\}\; (\; c)\; dc\}\}\}\; f\_\; \{C\}\; (c)\}$

На графике показано компьютерное моделирование изменяющейся веры при обнаружении 50 фрагментов. В моделировании сайт был заселен примерно в 1420 году, или $c\; =\; 15,2\; \{\backslash \; displaystyle\; c\; =\; 15.2\}$. Археолог может сказать, что практически нет шансов, что оно заселено в XI и XII веках, примерно с 1% вероятности, что оно было заселено в XIII веке 63.% вероятности в 14 веке. 36% в 15 веке. Теорема Бернштейна-фон Мизеса утверждает здесь асимптотическую сходимость к «истинному» распределению, поскольку вероятностное пространство соответствует дискретному набору событий $\{GD,\; GD\; ¯,\; G\; ¯\; D,\; G\; ¯\; D\; ¯\}\; \{\backslash \; displaystyle\; \backslash \; \{GD,\; G\; \{\backslash \; bar\; \{D\}\},\; \{\backslash \; bar\; \{G\}\}\; D,\; \{\backslash \; bar\; \{G\}\}\; \{\backslash \; bar\; \{D\}\}\; \backslash \}\}$конечно (см. Выше раздел об асимптотическом поведении апостериорной функции).

A теории принятия решений обоснование использования байесовского вывода было дано Абрахамом Вальдом, который доказал, что каждая уникальная байесовская процедура допустимый. И наоборот, каждая допустимая статистическая процедура является либо байесовской процедурой, либо пределом байесовских процедур.

Вальд охарактеризовал допустимые процедуры как байесовские процедуры (и пределы байесовских процедур), делая байесовский формализм центральный метод в таких областях частотного вывода, как оценка параметров, проверка гипотез и вычисление доверительных интервалов. Например:

• «При некоторых условиях все допустимые процедуры являются либо байесовскими процедурами, либо ограничениями байесовских процедур (в различных смыслах). Эти замечательные результаты, по крайней мере в их первоначальной форме, в основном принадлежат Вальду. Они полезны, потому что свойство быть байесовским легче проанализировать, чем допустимость. "
• " В теории принятия решений довольно общий метод доказательства допустимости состоит в демонстрации процедуры как уникального байесовского решения. "
• " В первых главах этой работы априорные распределения с конечным носителем и соответствующие процедуры Байеса использовались для установления некоторых основных теорем, касающихся сравнения экспериментов. Байесовские процедуры по отношению к более общим априорным распределениям сыграли очень важную роль в развитие статистики, в том числе ее асимптотической теории ». «Есть много проблем, когда взгляд на апостериорные распределения для подходящих априорных значений сразу дает интересную информацию. Кроме того, этого метода вряд ли можно избежать при последовательном анализе».

• «Полезный факт заключается в том, что любое правило Байеса, полученное путем принятия должный априор по всему пространству параметров должен быть допустимым "
• " Важной областью исследования в развитии идей допустимости было исследование традиционных процедур теории выборки, и было получено много интересных результатов. "

Выбор модели

Байесовская методология также играет роль в выборе модели, где цель состоит в том, чтобы выбрать одну модель из набора конкурирующих моделей, которая наиболее точно представляет основной процесс, который генерировал наблюдаемые данные. При сравнении байесовских моделей выбирается модель с наивысшей апостериорной вероятностью для данных. Апостериорная вероятность модели зависит от свидетельства или предельного правдоподобия, которое отражает вероятность того, что данные генерируются моделью и на основе априорного убеждения модели. Когда две конкурирующие модели априори считаются равновероятными, отношение их апостериорных вероятностей соответствует байесовскому фактору. Сравнение сравнения байесовских моделей направлено на выбор модели с наивысшей апостериорной вероятностью, эта методология также упоминается как правило максимального апостериорного выбора (MAP) или правило вероятности MAP.

Хотя байесовские методы концептуально просты, они могут быть сложными математически и численно. Вероятностные языки программирования (PPL) реализуют функции простого построения байесовских моделей вместе с эффективными методами автоматического вывода. Это помогает создать модели от логических выводов, позволяя практикам сосредоточиться на своих конкретных проблемах и оставляя PPL для обработки вычислительных деталей за них.

Компьютерные приложения

Байесовский вывод находит применение в искусственном интеллекте и экспертных систем. Байесовские методы вывода были фундаментальной частью компьютеризированных методов распознавания образов с конца 1950-х годов. Существует также постоянно растущая связь между байесовскими методами и методами моделирования Монте-Карло, поскольку сложные модели не могут быть обработаны в закрытой форме с помощью байесовского анализа, в то время как структура графической модели может позволяют использовать эффективные алгоритмы моделирования, такие как выборка Гиббса и другие схемы алгоритма Метрополиса - Гастингса. Недавно байесовский вывод приобрел популярность в сообществе филогенетиков для этих причин; ряд приложений позволяет одновременно оценивать многие демографические и эволюционные параметры.

Применительно к статистической классификации, байесовский вывод использовался для разработки алгоритмов идентификации спама в электронной почте. Приложения, которые используют байесовский вывод для фильтрации спама, включают CRM114, DSPAM, Bogofilter, SpamAssassin, SpamBayes, Mozilla, XEAMS и другие. Классификация спама более подробно рассматривается в статье о наивном байесовском классификаторе.

Индуктивный вывод Соломонова - это теория предсказания, основанная на наблюдениях; например, предсказание следующего символа на основе заданной серии символов. Единственное предположение состоит в том, что окружающая среда следует некоторому неизвестному, но вычислимому распределению вероятностей. Это формальная индуктивная структура, сочетающаяся два хорошо изученных индуктивного вывода: байесовскую статистику и бритву Оккама. Универсальная априорная вероятность Соломонова любого префикса p вычислимой последовательности x - это сумма вероятностей всех программ (для универсального компьютера), которые вычисляют что-то, начинающееся с p. Из которого можно использовать универсальные априорную теорему и теорему, прогнозируемые предсказания еще невидимых частей x.

Приложения в области биоинформатики и здравоохранения

Байесовский вывод применен в различных приложениях биоинформатики, включая анализ дифференциальной экспрессии генов. Байесовский вывод также используется в общей модели риска рака, называемой CIRI (непрерывный индивидуальный индекс риска), где серийные измерения включены для обновления байесовской модели, которая в основном построена на основе предшествующих знаний.

В зале суда

байесовский вывод может использовать присяжными для последовательного накопления доказательств и против обвиняемого, а также для проверки соответствует ли он в целом их личному порогу для вне разумных сомнений. '. Теорема Байеса последовательно выполняющие следующие действия. Преимущество байесовского подхода в том, что он дает присяжным беспристрастный и рациональный механизм для объединения доказательств. Возможно, будет уместно объяснить присяжным теорему Байеса в форме шансы, поскольку ставки понимаются более широко, чем вероятности. В качестве альтернативы для жюри может быть проще использовать логарифмический подход , заменяющий умножение сложением.

Сложение доказательств.

Если существование преступления не вызывает сомнений, только личность виновника, было предложено предварительное мнение было одинаковым для квалифицированного населения. Например, если бы преступление могло совершить 1000 человек, априорная вероятность вины была бы 1/1000.

Использование теоремы Байеса присяжными является спорным. В Соединенном Королевстве защитник эксперт-свидетель объяснил присяжным теорему Байеса по делу Р против Адамса. Присяжные признали виновным, но дело было обжаловано на основании, что присяжным, не желавшим использовать теорему Байеса, не было предоставлено никаких средств для сбора доказательств. Апелляционный суд оставил приговор в силе, но также высказал мнение, что «введение методов лечения» или любого подобного метода в уголовный процесс погружает присяжных в неуместные и ненужные области теории и сложности, отвлекая их от их надлежащей задачи.. "

Гарднер-Медвин утверждает, что критерием, на котором должен быть приговор по уголовному делу, является не вероятность виновности, а скорее вероятность доказательства, учитывая, что обвиняемый невиновен (сродни частотник p-значение ). Он утверждает, что если апостериорная вероятность должна быть вычислена по теореме Байеса, это будет зависеть от частоты совершения преступления, что является необычным доказательством для рассмотрения в уголовном процессе. Рассмотрим следующие три утверждения:

AИзвестные факты и свидетельские показания произошедшего, если подсудимый показен

BИзвестные факты и свидетельства виновника произошедшего, если подсудимый невиновен

CПодсудимый виновен.

Гарднер. -Медвин утверждает, что присяжные A и не-B подразумевают истинность C, но обратное неверно, что B и C правы, но в этом слу чае он утверждает, что присяжные должны оправдать, даже если они знают, что они отпустят некоторых людей. См. Также парадокс Линдли.

Байесовская эпистемология

Байесовская эпистемология - это движение, которое защитесовский вывод как средство обоснования правил индуктивной логики.

Карл Поппер и Дэвид Миллер отвергли идею байесовского рационализма, т.е. Использование правил использования эпистемологических выводов: он подвержен тому же порочному кругу, что и другой другой юстифонистская эпистемология, потому что она предполагает то, что пытается оправдать. Согласно этой точке зрения, рациональная интерпретация вывода будет рассматривать его просто как вероятностную версию фальсификации, отвергая широко распространенное среди байесовцев мнение о том, что высокая вероятность, достигаемая с помощью ряда байесовских обновлений, что гипотеза вне разумных сомнений или даже с вероятностью больше 0.

Другое

• научный метод иногда интерпретируется как применение байесовского вывода. С этой точки зрения правило Байеса направляет вероятностей относительно , гипотез, обусловленных новыми наблюдениями или экспериментами. Байесовский вывод также применяется для решения проблем стохастического планирования с неполной информацией Cai et al. (2009).
• Байесовская теория поиска используется для поиска потерянных объектов.
• Байесовский вывод в филогении
• Байесовский инструмент для анализа метилирования
• Байесовские подходы к функциям мозга исследуют мозг как байесовский механизм.
• Байесовский вывод в экологических исследованиях
• Байесовский вывод используется для оценки параметров стохастических химических кинетических моделей
• Байесовский вывод в эконофизике для валюты или прогноз фондового рынка

Проблема, рассмотренная Байесом в предложении 9 его эссе, «Эссе для решения проблемы в Доктрине Шансов », апостериорным распределением для степени a (степень успеха) биномиального распределения.

Термин байесовский относится к Томасу Байесу (1702–1761), который доказал, что вероятностные пределы могут быть наложены на неизвестное событие. Пьер-Симон Лаплас (1749–1827) представил (как Принцип VI) то, что сейчас называется теоремой Байеса, и использовал ее для решения проблем в астрономии. Механика, медицинская статистика, надежность и юриспруденция. байесовский вывод, в котором использовались единые априорные значения в соответствии с принципом недостаточной причины Лапласа, был назван «обратной вероятностью » (поскольку он выводит в обратном направлении от наблюдений к параметрам или от следствий к причинам). После 1920-х годов «обратная вероятность» была в степени вытеснена набором методов, которые стали называть частотной статистикой.

. В 20-м веке идеи Лапласа получили дальнейшее развитие в двух разных направлениях, что привело к объективной и субъективные течения в байесовской практике. В объективном или «неинформативном» потоке статистический анализ зависит только от предполагаемой модели, проанализированные данные и метод, присваивающее априорное значение, которое отличается от одного объективного практикующего байесовского метода к другому. В субъективном или «информативном» потоке спецификации априорного мнения зависит от убеждения (т. Е. Предположений, на основании готового действовать анализ), которое может обобщать информацию от экспертов, предыдущих исследований и т. Д.

В 1980-х годах наблюдался резкий рост исследований и приложений байесовских методов, в основном связанный с открытием методов Монте-Карло с цепью Маркова, которые устранили многие вычислительные проблемы и растущий интерес к нестандартным, сложные приложения. Несмотря на рост байесовских исследований, большая часть обучения в бакалавриате по-прежнему на основе частотной статистике. Тем не менее, байесовские методы широко приняты и используются, например, в области машинного обучения.

• теорему Байеса
• Байесовский анализ, журнал ISBA
• Байесовское иерархическое моделирование
• Байесовская вероятность
• Байесовская регрессия
• Байесовский структурный ряд (BSTS)
• Индуктивная вероятность
• Международное общество байесовского анализа (ISBA)
• Джеффрис предыдущий
• Проблема Монти Холла
• Теория информационного поля

Цитаты

Источники

• Для получения полного отчета по истории Байесовская статистика и дебаты с частотными подходами, прочтите Валлверду, Хорди (2016). Байесовцы и частотники. Философские дебаты о статистических рассуждениях. Нью-Йорк: Спрингер. ISBN 978-3-662-48638-2.

Элементарный

Следующие книги через в порядке возрастания вероятностной сложности:

• Stone, JV (2013), «Правило Байеса: Введение в байесовский анализ », Загрузите первую главу здесь, Sebtel Press, England.
• Деннис В. Линдли (2013). Понимание неопределенности, переработанное издание (2-е изд.). Джон Вили. ISBN 978-1-118-65012-7.
• Колин Хоусон и Питер Урбах (2005). Научное обоснование: байесовский подход (3-е изд.). Издательская компания «Открытый суд». ISBN 978-0-8126-9578-6.
• Берри, Дональд А. (1996). Статистика: байесовская перспектива. Даксбери. ISBN 978-0-534-23476-8.
• Моррис Х. ДеГрут и Марк Дж. Шервиш (2002). Вероятность и статистика (третье изд.). Эддисон-Уэсли. ISBN 978-0-201-52488-8.
• Болстад, Уильям М. (2007) Введение в байесовскую статистику: второе издание, Джон Уайли ISBN 0-471-27020-2
• Винклер, Роберт Л. (2003). Введение в байесовский вывод и решение (2-е изд.). Вероятностный. ISBN 978-0-9647938-4-2.Обновленный классический учебник. Четко представлена ​​байесовская теория.
• Ли, Питер М. Байесовская статистика: введение. Четвертое издание (2012 г.), Джон Уайли ISBN 978-1-1183-3257-3
• Карлин, Брэдли П. и Луис, Томас А. (2008). Байесовские методы анализа данных, третье издание. Бока-Ратон, Флорида: Чепмен и Холл / CRC. ISBN 978-1-58488-697-6.
• Гельман, Эндрю ; Карлин, Джон Б.; Стерн, Хэл С.; Дансон, Дэвид Б.; Вехтари, Аки; Рубин, Дональд Б. (2013). Байесовский анализ данных, третье издание. Чепмен и Холл CRC. ISBN 978-1-4398-4095-5.

Средний или продвинутый

• Бергер, Джеймс О (1985). Статистическая теория принятия решений и байесовский анализ. Серия Спрингера в статистике (второе изд.). Springer-Verlag. Bibcode : 1985sdtb.book..... B. ISBN 978-0-387-96098-2.
• Бернардо, Хосе М. ; Смит, Адриан Ф. М. (1994). Байесовская теория. Вайли. CS1 maint: ref = harv (ссылка )
• ДеГрут, Моррис Х., Оптимальные статистические решения. Wiley Classics Library. 2004. (Первоначально опубликовано (1970) McGraw-Hill.) ISBN 0-471-68029-X.
• Schervish, Mark J. (1995). Теория статистики. Springer-Verlag. ISBN 978-0- 387-94546-0.
• Джейнс, ET (1998) Теория вероятностей: логика.
• О'Хаган, А. и Форстер, Дж. (2003) Продвинутая теория статистики Кендалла, Том 2B: Байесовский вывод. Арнольд, Нью-Йорк. ISBN 0-340-52922-9.
• Роберт, Кристиан П. (2001). Байесовский выбор - решение - Теоретическая мотивация (второе изд.). Springer. ISBN 978-0-387-94296-4.
• Гленн Шафер и Перл, Иудея, ред. (1988) Вероятностное мышление в интеллектуальных системах, Сан-Матео, Калифорния: Морган Кауфманн.
• Пьер Бессьер и др. (2013), «Байесовское программирование », CRC Press. ISBN 9781439880326
• Франсис ко Дж. Саманьего (2010), «Сравнение байесовского и частичного подходов к оценке», Спрингер, Нью-Йорк, ISBN 978-1-4419-5940-9

• , Энциклопедия математики, EMS Press, 2001 [1994]
• Байесовская статистика из Scholarpedia.
• Введение в байесовскую вероятность из Лондонского университета Королевы Марии
• Математические заметки по байесовской статистике и цепи Маркова Монте-Карло
• Байесовский литература, классифицированный и аннотированный список Томом Гриффитсом
• А. Hajek и S. Hartmann: байесовская эпистемология, в: J. Dancy et al. (ред.), компаньон по эпистемологии. Оксфорд: Блэквелл 2010, 93-106.
• С. Хартманн и Дж. Шпренгер: Байесовская эпистемология, в: С. Бернекер и Д. Притчард (ред.), Routledge Companion to Epistemology. Лондон: Рутледж 2010, 609–620.
• Стэнфордская энциклопедия философии: «Индуктивная логика»
• Байесовская теория подтверждения
• Что такое байесовское обучение?