Нижняя граница доказательств

В статистике доказательств ниже граница (ELBO, также вариационная нижняя граница или отрицательная вариационная свободная энергия ) - величина, оптимизированная в вариационных байесовских методах. Эти методы обрабатывают случаи, когда распределение $Q\; \{\backslash \; displaystyle\; Q\}$по ненаблюдаемым переменным $Z\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{Z\}\}$оптимизирован как приближение к истинному заднему $P\; (Z\; |\; X)\; \{\backslash \; displaystyle\; P\; (\backslash \; mathbf\; \{Z\}\; |\; \backslash \; mathbf\; \{X\})\}$, учитывая наблюдаемые данные $X\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{X\}\}$. Тогда нижняя граница доказательства определяется как:

$L\; (X)\; =\; H\; (Q)\; -\; H\; (Q;\; P\; (X,\; Z))\; =\; \sum \; ZQ\; (Z)\; log\; \; P\; (Z,\; X)\; -\; \sum \; ZQ\; (Z)\; журнал\; \; Q\; (Z)\; \{\backslash \; Displaystyle\; L\; (X)\; =\; H\; (Q)\; -H\; (Q;\; P\; (X,\; Z))\; =\; \backslash \; sum\; \_\; \{\backslash \; mathbf\; \{Z\}\}\; Q\; (\backslash \; mathbf\; \{Z\; \})\; \backslash \; log\; P\; (\backslash \; mathbf\; \{Z\},\; \backslash \; mathbf\; \{X\})\; -\; \backslash \; sum\; \_\; \{\backslash \; mathbf\; \{Z\}\}\; Q\; (\backslash \; mathbf\; \{Z\})\; \backslash \; log\; Q\; (\backslash \; mathbf\; \{Z\})\}$

где $H\; (Q;\; P\; (X,\; Z))\; \{\backslash \; displaystyle\; H\; (Q;\; P\; (X,\; Z))\}$- кросс-энтропия. Максимизация нижней границы доказательств минимизирует $DKL\; (Q\; \parallel \; P)\; \{\backslash \; displaystyle\; D\; \_\; \{\backslash \; mathrm\; \{KL\}\}\; (Q\; \backslash \; parallel\; P)\}$, расхождение Кульбака – Лейблера, мера отличия $Q\; \{\backslash \; displaystyle\; Q\}$от истинного заднего. Основная причина, по которой эта величина предпочтительна для оптимизации, заключается в том, что она может быть вычислена без доступа к апостериорной оценке при правильном выборе $Q\; \{\backslash \; displaystyle\; Q\}$.

Для оптимизации других показателей несходства для соответствия $Q\; \{\backslash \; displaystyle\; Q\}$см. Дивергенция (статистика).

Нижняя граница свидетельства имени обоснована путем анализа декомпозиции KL-расхождения между истинным апостериорным и $Q\; \{\backslash \; displaystyle\; Q\}$:

$DKL (Q ∥ P (Z | X)) = ∑ ZQ (Z) [log ⁡ Q (Z) P (X) P (Z, X)] DKL (Q ∥ P) = ∑ ZQ (Z) [журнал ⁡ Q (Z) P (Z, X) + журнал ⁡ P (X)] DKL (Q ∥ P) = ∑ ZQ ( Z) журнал ⁡ Q (Z) - ∑ ZQ (Z) журнал ⁡ P (Z, X) + журнал ⁡ P (X) журнал ⁡ P (X) - DKL (Q ∥ P) = ∑ ZQ (Z) журнал ⁡ П (Z, Икс) - ∑ ZQ (Z) журнал ⁡ Q (Z) = L (X) {\ Displaystyle {\ begin {align} D _ {\ mathrm {KL}} (Q \ параллельно P (Z | X)) = \ sum _ {\ mathbf {Z}} Q (\ mathbf {Z}) \ left [\ log {\ frac {Q (\ mathbf {Z}) P (\ mathbf {X})} {P (\ mathbf {Z}, \ mathbf {X})}} \ right] \\ D _ {\ mathrm {KL}} (Q \ parallel P) = \ sum _ {\ mathbf {Z}} Q (\ mathbf {Z}) \ left [\ log {\ frac {Q (\ mathbf {Z})} {P (\ mathbf {Z}, \ mathbf {X})}} + \ log P (\ mathbf {X}) \ right] \\ D _ {\ mathrm {KL}} (Q \ parallel P) = \ sum _ {\ mathbf {Z}} Q (\ mathbf {Z}) \ log Q (\ mathbf {Z}) - \ sum _ {\ mathbf {Z}} Q (\ mathbf {Z}) \ log P (\ mathbf {Z}, \ mathbf {X}) + \ log P (\ mathbf { X}) \\\ log P (\ mathbf {X}) -D _ {\ mathrm {KL}} (Q \ parallel P) = \ sum _ {\ mathbf {Z}} Q (\ mathbf {Z}) \ log P (\ mathbf {Z}, \ mathbf {X}) - \ sum _ {\ mathbf {Z}} Q (\ mathbf {Z}) \ log Q (\ mathbf {Z}) = L (X) \ end {align}}}$

As $DKL\; (Q\; \parallel \; P)\; \ge \; 0\; \{\backslash \; displaystyle\; D\; \_\; \{\backslash \; mathrm\; \{KL\}\}\; (Q\; \backslash \; parallel\; P)\; \backslash \; geq\; 0\}$это уравнение показывает, что нижняя граница свидетельства действительно является нижней границей лог-свидетельства $log\; \; P\; (X)\; \{\backslash \; displaystyle\; \backslash \; log\; P\; (\backslash \; mathbf\; \{X\})\}$для рассматриваемой модели. Поскольку $журнал\; \; P\; (X)\; \{\backslash \; displaystyle\; \backslash \; log\; P\; (\backslash \; mathbf\; \{X\})\}$не зависит от $Q\; \{\backslash \; displaystyle\; Q\}$this уравнение дополнительно показывает, что максимизация нижней границы свидетельства справа минимизирует $DKL\; (Q\; \parallel \; P)\; \{\backslash \; displaystyle\; D\; \_\; \{\backslash \; mathrm\; \{KL\}\}\; (Q\; \backslash \; parallel\; P)\}$, как указано выше.

1. ^Ян, Ситун. «Понимание вариационной нижней границы» (PDF). Институт перспективных компьютерных исследований. Университет Мэриленда. Проверено 20 марта 2018 г.
2. ^Минка, Томас (2005), Меры расхождения и передача сообщений. (PDF)
3. ^Бишоп, Кристофер М. (2006), «10.1 Вариационный вывод» (PDF), Распознавание образов и машинное обучение