Апостериорное прогнозирующее распределение

В Байесовской статистике апостериорное прогнозное распределение - это распределение возможных ненаблюдаемых значения, обусловленные наблюдаемыми значениями.

Дан набор из N iid наблюдений $X\; =\; \{x\; 1,\dots ,\; x\; N\}\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{X\}\; =\; \backslash \; \{x\_\; \{1\},\; \backslash \; dots,\; x\_\; \{N\}\; \backslash \}\}$, новое значение $x\; ~\; \{\backslash \; displaystyle\; \{\backslash \; tilde\; \{x\}\}\}$будет получено из распределения, которое зависит от параметра $\theta \; \in \; \Theta \; \{\backslash \; displaystyle\; \backslash \; theta\; \backslash \; in\; \backslash \; Theta\}$:

$p\; (x\; ~\; |\; \theta )\; \{\backslash \; displaystyle\; p\; (\{\backslash \; tilde\; \{x\}\}\; |\; \backslash \; theta)\}$

Может показаться заманчивым вставить одну лучшую оценку $\theta \; ^\; \{\backslash \; displaystyle\; \{\backslash \; hat\; \{\backslash \; theta\}\}\}$для $\theta \; \{\backslash \; displaystyle\; \backslash \; theta\}$, но при этом игнорируется неопределенность относительно $\theta \; \{\backslash \; displaystyle\; \backslash \; theta\}$, и поскольку источник неопределенности игнорируется, прогнозируемое распределение будет слишком узким. Экстремальные значения $x\; ~\; \{\backslash \; displaystyle\; \{\backslash \; tilde\; \{x\}\}\}$будут встречаться чаще, чем предполагает апостериорное распределение.

Апостериорное прогнозирующее распределение учитывает неопределенность относительно $\theta \; \{\backslash \; displaystyle\; \backslash \; theta\}$. Апостериорное распределение возможных значений $\theta \; \{\backslash \; displaystyle\; \backslash \; theta\}$зависит от $X\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{X\}\}$:

$p\; (\theta \; |\; X)\; \{\backslash \; displaystyle\; p\; (\backslash \; theta\; |\; \backslash \; mathbf\; \{X\})\}$

И апостериорное прогнозное распределение $x\; ~\; \{\backslash \; displaystyle\; \{\backslash \; tilde\; \{x\}\}\}$при $X\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{X\}\}$вычисляется путем маргинализации распределения $x\; ~\; \{\backslash \; displaystyle\; \{\backslash \; tilde\; \{x\}\}\}$при $\theta \; \{\backslash \; displaystyle\; \backslash \; theta\}$по апостериорному распределению $\theta \; \{\backslash \; displaystyle\; \backslash \; theta\}$при $X\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{X\}\}$:

$п\; (Икс\; ~\; |\; Икс)\; знак\; равно\; \int \; \Theta \; п\; (Икс\; ~\; |\; \theta ,\; X)\; п\; (\theta \; |\; X)\; d\; \theta \; \{\backslash \; Displaystyle\; p\; (\{\backslash \; тильда\; \{x\}\}\; |\; \backslash \; mathbf\; \{X\})\; =\; \backslash \; int\; \_\; \{\backslash \; Theta\}\; p\; (\{\backslash \; tilde\; \{x\}\}\; |\; \backslash \; theta,\; \backslash \; mathbf\; \{X\})\; \backslash ,\; p\; (\backslash \; theta\; |\; \backslash \; mathbf\; \{X\})\; \backslash \; operatorname\; \{d\}\; \backslash !\; \backslash \; theta\}$

Поскольку он учитывает неопределенность относительно $\theta \; \{\backslash \; displaystyle\; \backslash \; theta\}$, апостериорное прогнозирующее распределение в целом будет шире, чем прогнозирующее распределение w Он включает единую наилучшую оценку для $\theta \; \{\backslash \; displaystyle\; \backslash \; theta\}$.

• 1 Предыдущее и апостериорное прогнозное распределение
• 2 В экспоненциальных семьях
  • 2.1 Предыдущее прогнозное распределение в экспоненциальных семьях
  • 2.2 Апостериорное прогностическое распределение в экспоненциальных семьях
  • 2.3 Совместное предсказывающее распределение, маргинальное правдоподобие
• 3 Связь с выборкой Гиббса
• 4 См. Также
• 5 Ссылки

предварительное прогнозируемое распределение в байесовском контексте - это распределение точки данных, маргинализированной по сравнению с предыдущим распределением. То есть, если $x\; ~\; \sim \; F\; (x\; ~\; |\; \theta )\; \{\backslash \; displaystyle\; \{\backslash \; tilde\; \{x\}\}\; \backslash \; sim\; F\; (\{\backslash \; tilde\; \{x\}\}\; |\; \backslash \; theta)\}$и $\theta \; \sim \; G\; (\theta \; |\; \alpha )\; \{\backslash \; displaystyle\; \backslash \; theta\; \backslash \; sim\; G\; (\backslash \; theta\; |\; \backslash \; alpha)\}$, тогда предварительное прогнозирующее распределение является соответствующим распределением $H\; (x\; ~\; |\; \alpha )\; \{\backslash \; Displaystyle\; H\; (\{\backslash \; тильда\; \{x\}\}\; |\; \backslash \; alpha)\}$, где

$p\; H\; (x\; ~\; |\; \alpha )\; =\; \int \; \theta \; p\; F\; (x\; ~\; |\; \theta )\; п\; G\; (\theta \; |\; \alpha )\; d\; \theta \; \{\backslash \; displaystyle\; p\_\; \{H\}\; (\{\backslash \; tilde\; \{x\}\}\; |\; \backslash \; alpha)\; =\; \backslash \; int\; \_\; \{\backslash \; theta\}\; p\_\; \{F\}\; (\{\backslash \; tilde\; \{x\}\}\; |\; \backslash \; theta)\; \backslash ,\; p\_\; \{G\}\; (\backslash \; theta\; |\; \backslash \; alpha)\; \backslash \; operatorname\; \{d\}\; \backslash !\; \backslash \; theta\}$

Это похоже на апостериорное прогнозирующее распределение, за исключением того, что маргинализация (или, что то же самое, ожидание) берется с учетом к предыдущему распределению вместо апостериорного распределения.

Кроме того, если априорное распределение $G\; (\theta \; |\; \alpha )\; \{\backslash \; displaystyle\; G\; (\backslash \; theta\; |\; \backslash \; alpha)\}$является сопряженным предшествующим, тогда апостериорное прогнозирующее распределение будет принадлежать к тому же семейству распределений, что и предыдущее прогнозирующее распределение. Это легко увидеть. Если априорное распределение $G\; (\theta \; |\; \alpha )\; \{\backslash \; displaystyle\; G\; (\backslash \; theta\; |\; \backslash \; alpha)\}$сопряжено, то

$p\; (\theta \; |\; X,\; \alpha )\; =\; p\; G\; (\; \theta \; |\; \alpha \; \prime ),\; \{\backslash \; displaystyle\; p\; (\backslash \; theta\; |\; \backslash \; mathbf\; \{X\},\; \backslash \; alpha)\; =\; p\_\; \{G\}\; (\backslash \; theta\; |\; \backslash \; alpha\; \text{'}),\}$

т.е. апостериорное распределение также принадлежит $G\; (\theta \; |\; \alpha ),\; \{\backslash \; displaystyle\; G\; (\backslash \; theta\; |\; \backslash \; alpha),\}$, но просто с другим параметром $\alpha \; \prime \; \{\backslash \; displaystyle\; \backslash \; alpha\; \text{'}\}$вместо исходного параметра $\alpha .\; \{\backslash \; displaystyle\; \backslash \; alpha.\}$Тогда

$p\; (x\; ~\; |\; X,\; \alpha )\; =\; \int \; \theta \; p\; F\; (x\; ~\; |\; \theta )\; p\; (\theta \; |\; X,\; \alpha )\; d\; \theta \; =\; \int \; \theta \; п\; F\; (x\; ~\; |\; \theta )\; п\; G\; (\theta \; |\; \alpha \; \prime )\; d\; \theta \; =\; p\; H\; (x\; ~\; |\; \alpha \; \prime )\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{align\}\; p\; (\{\backslash \; tilde\; \{x\}\}\; |\; \backslash \; mathbf\; \{X\},\; \backslash \; alpha)\; =\; \backslash \; int\; \_\; \{\backslash \; theta\}\; p\_\; \{F\}\; (\{\backslash \; tilde\; \{x\}\}\; |\; \backslash \; theta)\; \backslash ,\; p\; (\backslash \; theta\; |\; \backslash \; mathbf\; \{X\},\; \backslash \; alpha)\; \backslash \; operatorname\; \{d\}\; \backslash !\; \backslash \; theta\; \backslash \backslash \; =\; \backslash \; int\; \_\; \{\backslash \; theta\}\; p\_\; \{F\}\; (\{\backslash \; tilde\; \{x\}\}\; |\; \backslash \; theta)\; \backslash ,\; p\_\; \{G\}\; (\backslash \; theta\; |\; \backslash \; alpha\; \text{'})\; \backslash \; operatorname\; \{d\}\; \backslash !\; \backslash \; theta\; \backslash \backslash \; =\; p\_\; \{H\}\; (\{\backslash \; tilde\; \{x\}\}\; |\; \backslash \; alpha\; \text{'})\; \backslash \; end\; \{align\}\}\}$

Следовательно, апостериорное прогнозное распределение следует тому же распределению H, что и предыдущее прогнозирующее распределение, но с апостериорными значениями гиперпараметров, заменяющими предыдущие.

Предыдущее прогнозируемое распределение имеет форму составного распределения и фактически часто используется для определения составного распределения из-за отсутствия каких-либо усложняющих такие факторы, как зависимость от данных $X\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{X\}\}$и проблема сопряжения. Например, t-распределение Стьюдента можно определить как предварительное прогнозирующее распределение нормального распределения с известным средним μ, но неизвестной дисперсией <225.>, с сопряженным априорным распределением масштабированного обратного хи-квадрат, помещенным на σ x, с гиперпараметрами ν и σ. Результирующее составное распределение $t\; (x\; |\; \mu ,\; \nu ,\; \sigma \; 2)\; \{\backslash \; displaystyle\; t\; (x\; |\; \backslash \; mu,\; \backslash \; nu,\; \backslash \; sigma\; ^\; \{2\})\}$действительно не- стандартизованное t-распределение Стьюдента и следует одной из двух наиболее распространенных параметризаций этого распределения. Тогда соответствующее апостериорное прогнозирующее распределение снова будет t Стьюдента с обновленными гиперпараметрами $\nu \; \prime ,\; \sigma \; 2\; \prime \; \{\backslash \; displaystyle\; \backslash \; nu\; \text{'},\; \{\backslash \; sigma\; ^\; \{2\}\}\text{'}\}$, что появляются в апостериорном распределении, а также непосредственно появляются в апостериорном прогностическом распределении.

В некоторых случаях подходящее составное распределение определяется с использованием другой параметризации, чем та, которая была бы наиболее естественной для прогнозных распределений в текущей рассматриваемой проблеме. Часто это происходит потому, что предыдущее распределение, используемое для определения составного распределения, отличается от того, которое используется в текущей задаче. Например, как указано выше, t-распределение Стьюдента было определено в терминах масштабированного обратного распределения хи-квадрат, помещенного на дисперсию. Однако более распространено использование обратного гамма-распределения в качестве предшествующего конъюгата в этой ситуации. На самом деле они эквивалентны, за исключением параметризации; следовательно, t-распределение Стьюдента по-прежнему может использоваться для любого прогнозирующего распределения, но гиперпараметры должны быть повторно параметризованы перед подключением.

Большинство, но не все, общие семейства распределений принадлежат к экспоненциальному семейству распределений. Экспоненциальные семейства обладают большим количеством полезных свойств. Один из них заключается в том, что все члены имеют предшествующие конъюгированные распределения - тогда как очень немногие другие распределения имеют конъюгированные априорные значения.

Предыдущее прогнозируемое распределение в экспоненциальных семьях

Другое полезное свойство состоит в том, что функция плотности вероятности составного распределения, соответствующая предыдущему прогнозируемому распределению экспоненциальное семейство распределение маргинальное по его сопряженному априорному распределению может быть определено аналитически. Предположим, что $F\; (x\; |\; \theta )\; \{\backslash \; displaystyle\; F\; (x\; |\; \{\backslash \; boldsymbol\; \{\backslash \; theta\}\})\}$является членом экспоненциального семейства с параметром $\theta \; \{\backslash \; displaystyle\; \{\backslash \; boldsymbol\; \{\backslash \; theta\}\}\}$, который параметризуется в соответствии с естественным параметром $\eta \; =\; \eta \; (\theta )\; \{\backslash \; displaystyle\; \{\backslash \; boldsymbol\; \{\backslash \; eta\}\}\; =\; \{\backslash \; boldsymbol\; \{\backslash \; eta\}\}\; (\{\backslash \; boldsymbol\; \{\backslash \; theta\}\})\}$и распределяется как

$p\; F\; (x\; |\; \eta )\; =\; h\; (x)\; g\; (\eta )\; e\; \eta \; TT\; (Икс)\; \{\backslash \; Displaystyle\; p\_\; \{F\}\; (х\; |\; \{\backslash \; boldsymbol\; \{\backslash \; eta\}\})\; =\; h\; (x)\; g\; (\{\backslash \; boldsymbol\; \{\backslash \; eta\}\})\; e\; ^\; \{\{\backslash \; boldsymbol\; \{\backslash \; eta\}\; \}\; ^\; \{\backslash \; rm\; \{T\}\}\; \backslash \; mathbf\; \{T\}\; (x)\}\}$

, а $G\; (\eta \; |\; \chi ,\; \nu )\; \{\backslash \; displaystyle\; G\; (\{\backslash \; boldsymbol\; \{\backslash \; eta\}\}\; |\; \{\backslash \; жирный\; символ\; \{\backslash \; chi\}\},\; \backslash \; nu)\}$- соответствующий сопряженный априор, распределенный как

$p\; G\; (\eta \; |\; \chi ,\; \nu )\; =\; f\; (\chi ,\; \nu )\; g\; (\eta )\; \nu \; e\; \eta \; T\; \chi \; \{\backslash \; Displaystyle\; p\_\; \{G\}\; (\{\backslash \; boldsymbol\; \{\backslash \; eta\}\}\; |\; \{\backslash \; boldsymbol\; \{\backslash \; chi\}\},\; \backslash \; nu)\; =\; f\; (\{\backslash \; boldsymbol\; \{\backslash \; chi\}\},\; \backslash \; nu)\; g\; (\{\; \backslash \; boldsymbol\; \{\backslash \; eta\}\})\; ^\; \{\backslash \; nu\}\; e\; ^\; \{\{\backslash \; boldsymbol\; \{\backslash \; eta\}\}\; ^\; \{\backslash \; rm\; \{T\}\}\; \{\backslash \; boldsymbol\; \{\backslash \; chi\}\}\}\}$

Тогда предыдущий прогнозный распределение $H\; \{\backslash \; displaystyle\; H\}$(результат сложения $F\; \{\backslash \; displaystyle\; F\}$с $G\; \{\backslash \; displaystyle\; G\}$) равно

$p H (x | χ, ν) = η p F (x | η) p G (η | χ, ν) d ⁡ η = η h (x) g (η) e η TT (x) f (χ, ν) g (η) ν e η T χ d ⁡ η = h (x) f (χ, ν) η g (η) ν + 1 e η T (χ + T (x)) d ⁡ η = h (x) е (χ, ν) е (χ + T (x), ν + 1) {\ displaystyle {\ begin {align} p_ {H} (x | {\ boldsymbol {\ chi}}, \ nu) = { \ displaystyle \ int \ limits _ {\ boldsymbol {\ eta}} p_ {F} (x | {\ boldsymbol {\ eta}}) p_ {G} ({\ boldsymbol {\ eta}} | {\ boldsymbol {\ chi}}, \ nu) \, \ operatorname {d} {\ boldsymbol {\ eta}}} \\ = {\ displaystyle \ int \ limits _ {\ boldsymbol {\ eta}} h (x) g ({ \ boldsymbol {\ eta}}) e ^ {{\ boldsymbol {\ eta}} ^ {\ rm {T}} \ mathbf {T} (x)} f ({\ boldsymbol {\ chi}}, \ nu) g ({\ boldsymbol {\ eta}}) ^ {\ nu} e ^ {{\ boldsymbol {\ eta}} ^ {\ rm {T}} {\ boldsymbol {\ chi}}} \, \ operatorname {d } {\ boldsymbol {\ eta}}} \\ = {\ displaystyle h (x) f ({\ boldsymbol {\ chi}}, \ nu) \ int \ limits _ {\ boldsymbol {\ eta}} g ( {\ boldsymbol {\ eta}}) ^ {\ nu +1} e ^ {{\ boldsymbol {\ eta}} ^ {\ rm {T}} ({\ boldsymbol {\ chi}} + \ mathbf {T} (x))} \, \ operatorname {d} {\ boldsymbo l {\ eta}}} \\ = h (x) {\ dfrac {f ({\ boldsymbol {\ chi}}, \ nu)} {f ({\ boldsymbol {\ chi}} + \ mathbf {T } (x), \ nu +1)}} \ end {align}}}$

Последняя строка следует из предыдущей, признавая, что функция внутри интеграла является функцией плотности случайной величины, распределенной как $G\; (\eta \; |\; \chi \; +\; T\; (Икс),\; \nu \; +\; 1)\; \{\backslash \; Displaystyle\; G\; (\{\backslash \; boldsymbol\; \{\backslash \; eta\}\}\; |\; \{\backslash \; boldsymbol\; \{\backslash \; chi\}\}\; +\; \backslash \; mathbf\; \{T\}\; (x),\; \backslash \; nu\; +1)\}$, за исключением нормализующей функции $f\; (\dots )\; \{\backslash \; displaystyle\; f\; (\backslash \; dots)\; \backslash ,\}$. Следовательно, результат интегрирования будет обратным нормирующей функции.

Приведенный выше результат не зависит от выбора параметризации $\theta \; \{\backslash \; displaystyle\; \{\backslash \; boldsymbol\; \{\backslash \; theta\}\}\}$, так как ни один из $\theta \; \{\backslash \; displaystyle\; \{\; \backslash \; boldsymbol\; \{\backslash \; theta\}\}\}$, $\eta \; \{\backslash \; displaystyle\; \{\backslash \; boldsymbol\; \{\backslash \; eta\}\}\}$и $g\; (\dots )\; \{\backslash \; displaystyle\; g\; (\backslash \; dots)\; \backslash ,\}$появляется. ($g\; (\dots )\; \{\backslash \; displaystyle\; g\; (\backslash \; dots)\; \backslash ,\}$является функцией параметра и, следовательно, будет принимать разные формы в зависимости от выбора параметризации.) Для стандартных вариантов $F\; \{\backslash \; displaystyle\; F\}$и $G\; \{\backslash \; displaystyle\; G\}$, часто проще работать напрямую с обычными параметрами, чем переписывать в терминах естественные параметры.

Причина, по которой интеграл поддается обработке, заключается в том, что он включает вычисление константы нормализации плотности, определенной произведением априорного распределения и правдоподобия. Когда оба являются сопряженными, произведение представляет собой апостериорное распределение, и, по предположению, нормировочная константа этого распределения известна. Как показано выше, функция плотности составного распределения следует определенной форме, состоящей из произведения функции $h\; (x)\; \{\backslash \; displaystyle\; h\; (x)\}$который составляет часть функции плотности для $F\; \{\backslash \; displaystyle\; F\}$, с частным двух форм нормализации «константа» для $G\; \{\backslash \; displaystyle\; G\}$, один получен из априорного распределения, а другой - из апостериорного распределения. бета-биномиальное распределение - хороший пример того, как работает этот процесс.

Несмотря на аналитическую управляемость таких распределений, они сами по себе обычно не являются членами экспоненциального семейства. Например, трехпараметрическое t-распределение Стьюдента, бета-биномиальное распределение и полиномиальное распределение Дирихле - все это прогностические распределения экспоненциально-семейных распределений (нормальное распределение, биномиальное распределение и полиномиальное распределение, соответственно), но ни одно из них не является членом экспоненциального семейства. Это можно видеть выше из-за наличия функциональной зависимости от $\chi \; +\; T\; (x)\; \{\backslash \; displaystyle\; \{\backslash \; boldsymbol\; \{\backslash \; chi\}\}\; +\; \backslash \; mathbf\; \{T\}\; (x)\}$. В экспоненциальном семейном распределении должна быть возможность разделить всю функцию плотности на мультипликативные множители трех типов: (1) факторы, содержащие только переменные, (2) факторы, содержащие только параметры, и (3) факторы, логарифм которых разлагается между переменными. и параметры. Наличие $\chi \; +\; T\; (x)\; \chi \; \{\backslash \; displaystyle\; \{\backslash \; boldsymbol\; \{\backslash \; chi\}\}\; +\; \backslash \; mathbf\; \{T\}\; (x)\; \{\backslash \; chi\}\}$делает это невозможным, если только " нормализующая "функция $f\; (\dots )\; \{\backslash \; displaystyle\; f\; (\backslash \; dots)\; \backslash ,\}$либо полностью игнорирует соответствующий аргумент, либо использует его только в экспоненте выражения.

Апостериорное прогнозирующее распределение в экспоненциальных семьях

Когда используется сопряженное предшествующее распределение, апостериорное прогнозирующее распределение принадлежит к тому же семейству, что и предыдущее прогнозирующее распределение, и определяется просто путем добавления обновленных гиперпараметров для апостериорного распределения параметра (ов) в формулу для априорного прогнозного распределения. Используя общую форму уравнений апостериорного обновления для распределений экспоненциального семейства (см. Соответствующий раздел в статье об экспоненциальном семействе ), мы можем выписать явную формулу для апостериорного прогнозного распределения:

$p\; (\; Икс\; ~\; |\; Икс,\; \chi ,\; \nu )\; знак\; равно\; п\; ЧАС\; (Икс\; ~\; |\; \chi \; +\; T\; (X),\; \nu \; +\; N)\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{array\}\; \{lcl\}\; p\; (\{\backslash \; tilde\; \{x\}\}\; |\; \backslash \; mathbf\; \{X\},\; \{\backslash \; boldsymbol\; \{\backslash \; chi\}\},\; \backslash \; nu)\; =\; p\_\; \{H\}\; \backslash \; left\; (\{\backslash \; tilde\; \{x\}\}\; |\; \{\backslash \; boldsymbol\; \{\backslash \; chi\}\}\; +\; \backslash \; mathbf\; \{T\}\; (\backslash \; mathbf\; \{X\}),\; \backslash \; nu\; +\; N\; \backslash \; right)\; \backslash \; end\; \{array\}\}\}$

где

$T\; (X)\; =\; \sum \; i\; =\; 1\; NT\; (xi)\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{T\}\; (\backslash \; mathbf\; \{X\})\; =\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{N\}\; \backslash \; mathbf\; \{T\}\; (x\_\; \{i\})\}$

Это показывает, что апостериорное прогнозное распределение серии наблюдений в случае, когда наблюдения следуют за экспоненциальным семейством с соответствующим конъюгатом перед, имеет ту же плотность вероятности, что и составное распределение, с параметрами, указанными выше. Сами наблюдения входят только в форме $T\; (X)\; =\; \sum \; i\; =\; 1\; N\; T\; (x\; i).\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{T\}\; (\backslash \; mathbf\; \{X\})\; =\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{N\}\; \backslash \; mathbf\; \{T\}\; (x\_\; \{i\}).\}$

Это называется достаточная статистика наблюдений, потому что она сообщает нам все, что нам нужно знать о наблюдениях, чтобы вычислить апостериорное или апостериорное прогнозирующее распределение на их основе (или, если на то пошло, что-нибудь еще на основе вероятность наблюдений, например предельная вероятность ).

Совместное прогнозируемое распределение, предельная вероятность

Также можно учитывать результат сложения совместного распределения по фиксированному числу независимых одинаково распределенных выборок с предварительным распределением по общему параметру. В байесовской среде это проявляется в различных контекстах: вычисление априорного или апостериорного прогнозирующего распределения нескольких новых наблюдений и вычисление предельного правдоподобия наблюдаемых данных (знаменатель в законе Байеса ). Когда распределение образцов происходит из экспоненциального семейства, а предварительное распределение является конъюгированным, полученное распределение соединений будет управляемым и будет следовать форме, аналогичной приведенному выше выражению. На самом деле легко показать, что совместное составное распределение набора $X\; =\; \{x\; 1,\dots ,\; x\; N\}\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{X\}\; =\; \backslash \; \{x\_\; \{1\},\; \backslash \; dots,\; x\_\; \{N\}\; \backslash \}\}$для $N\; \{\backslash \; displaystyle\; N\}$наблюдений равно

$p\; H\; (X\; |\; \chi ,\; \nu )\; =\; (\prod \; i\; =\; 1\; N\; час\; (xi))\; е\; (\chi ,\; \nu )\; е\; (\chi \; +\; T\; (X),\; \nu \; +\; N)\; \{\backslash \; displaystyle\; p\_\; \{H\}\; (\backslash \; mathbf\; \{X\}\; |\; \{\backslash \; boldsymbol\; \{\backslash \; chi\}\},\; \backslash \; nu)\; =\; \backslash \; left\; (\backslash \; prod\; \_\; \{i\; =\; 1\}\; ^\; \{N\}\; h\; (x\_\; \{i\})\; \backslash \; right)\; \{\backslash \; dfrac\; \{f\; (\{\backslash \; boldsymbol\; \{\backslash \; chi\}\},\; \backslash \; nu)\}\; \{f\; \backslash \; left\; (\; \{\backslash \; boldsymbol\; \{\backslash \; chi\}\}\; +\; \backslash \; mathbf\; \{T\}\; (\backslash \; mathbf\; \{X\}),\; \backslash \; nu\; +\; N\; \backslash \; right)\}\}\}$

Этот результат и приведенный выше результат для одного составного распределения тривиально распространяются на случай распределения по векторному наблюдению, например, многомерное гауссовское распределение.

Сворачивание узла в свернутой выборке Гиббса эквивалентно к составному. В результате, когда набор из независимых одинаково распределенных узлов (iid) все зависит от одного и того же предшествующего узла, и этот узел свернут, результирующая условная вероятность одного заданного узла остальные, а также родители свернутого узла (но не обусловливают какие-либо другие узлы, например, любые дочерние узлы) такие же, как апостериорное прогнозирующее распределение всех оставшихся iid узлы (или, точнее, ранее i.i.d. узлы, так как сворачивание вводит зависимости между узлами). То есть, как правило, можно реализовать свертывание узла, просто прикрепив всех родителей узла непосредственно ко всем дочерним элементам и заменив прежнее условное распределение вероятностей, связанное с каждым дочерним элементом, на соответствующее апостериорное прогнозирующее распределение для ребенка, обусловленное его родители и другой бывший iid узлы, которые также были дочерними по отношению к удаленному узлу. Например, для более подробного обсуждения и некоторых предостережений по некоторым сложным вопросам см. Статью Полиномиальное распределение Дирихле.

• Составное распределение вероятностей
• Предельная вероятность
• Интервал прогноза # Байесовская статистика