Условная взаимная информация

Диаграмма Венна теоретических показателей информации для трех переменных $x\; \{\backslash \; displaystyle\; x\}$, $y\; \{\; \backslash \; displaystyle\; y\}$и $z\; \{\backslash \; displaystyle\; z\}$, представленные нижним левым, нижним правым и верхним кругами соответственно. Условная взаимная информация $I\; (x;\; z\; |\; y)\; \{\backslash \; displaystyle\; I\; (x;\; z\; |\; y)\}$, $I\; (y;\; z\; |\; x)\; \{\backslash \; displaystyle\; I\; (y;\; z\; |\; x)\}$и $I\; (x;\; y\; |\; z)\; \{\backslash \; displaystyle\; I\; (x;\; y\; |\; z)\}$представлены желтой, голубой и пурпурной областями соответственно.

В теории вероятностей, в частности теории информации, условная взаимная информация в своей основной форме является ожидаемым значением из взаимной информации двух случайных величин с учетом значения третьей.

• 1 Определение
• 2 В терминах pmf для дискретных распределений
• 3 В терминах pdf для непрерывных распределений
• 4 Некоторые идентичности
• 5 Более общее определение
• 6 Примечание к нотация
• 7 Свойства
  • 7.1 Неотрицательность
  • 7.2 Информация о взаимодействии
  • 7.3 Цепное правило для взаимной информации
• 8 Многомерная взаимная информация
• 9 Ссылки

Для случайных переменные $X\; \{\backslash \; displaystyle\; X\}$, $Y\; \{\backslash \; displaystyle\; Y\}$и $Z\; \{\backslash \; displaystyle\; Z\}$с поддерживающими наборами $Икс\; \{\backslash \; displaystyle\; \{\backslash \; mathcal\; \{X\}\}\}$, $Y\; \{\backslash \; displaystyle\; \{\backslash \; mathcal\; \{Y\}\}\}$и $Z\; \{\backslash \; displaystyle\; \{\backslash \; mathcal\; \{Z\; \}\}\}$, мы определяем условную взаимную информацию как

$I\; (X;\; Y\; |\; Z)\; =\; \int \; ZDKL\; (P\; (X,\; Y)\; |\; Z\; \Vert \; PX\; |\; Z\; \otimes \; PY\; |\; Z)\; d\; PZ\; \{\backslash \; Displaystyle\; I\; (X;\; Y\; |\; Z)\; =\; \backslash \; int\; \_\; \{\backslash \; mathcal\; \{Z\}\}\; D\; \_\; \{\backslash \; mathrm\; \{KL\}\}\; (P\; \_\; \{(X,\; Y)\; |\; Z\}\; \backslash \; |\; P\_\; \{X\; |\; Z\}\; \backslash \; otimes\; P\_\; \{Y\; |\; Z\})\; dP\_\; \{Z\}\}$

Это можно записать в терминах оператора ожидания: $I\; (X;\; Y\; |\; Z)\; знак\; равно\; EZ\; [DKL\; (P\; (X,\; Y)\; |\; Z\; \Vert \; PX\; |\; Z\; \otimes \; PY\; |\; Z)]\; \{\backslash \; displaystyle\; I\; (X;\; Y\; |\; Z)\; =\; \backslash \; mathbb\; \{E\}\; \_\; \{Z\}\; [D\; \_\; \{\backslash \; mathrm\; \{KL\}\}\; (P\; \_\; \{(X,\; Y)\; |\; Z\}\; \backslash \; |\; P\_\; \{X\; |\; Z\}\; \backslash \; otimes\; P\_\; \{Y\; |\; Z\})]\}$.

Таким образом, $I\; (X;\; Y\; |\; Z)\; \{\backslash \; displaystyle\; I\; (X;\; Y\; |\; Z)\}$- это ожидаемое (относительно $Z\; \{\backslash \; displaystyle\; Z\}$) расхождения Кульбака – Лейблера из условного совместного распределения $P\; (X,\; Y)\; |\; Z\; \{\backslash \; displaystyle\; P\; \_\; \{(X,\; Y)\; |\; Z\}\}$на произведение условных маргиналов $PX\; |\; Z\; \{\backslash \; displaystyle\; P\_\; \{X\; |\; Z\}\}$и $PY\; |\; Z\; \{\backslash \; displaystyle\; P\_\; \{Y\; |\; Z\}\}$. Сравните с определением взаимной информации.

для дискретных случайных величин $X\; \{\backslash \; displaystyle\; X\}$, $Y\; \{\backslash \; displaystyle\; Y\}$и $Z\; \{\backslash \; displaystyle\; Z\}$с наборами поддержки $X\; \{\backslash \; displaystyle\; \{\backslash \; mathcal\; \{X\}\}\}$, $Y\; \{\backslash \; displaystyle\; \{\backslash \; mathcal\; \{Y\}\}\}$и $Z\; \{\backslash \; displaystyle\; \{\backslash \; mathcal\; \{Z\}\}\}$, условная взаимная информация ration $I\; (X;\; Y\; |\; Z)\; \{\backslash \; Displaystyle\; I\; (X;\; Y\; |\; Z)\}$выглядит следующим образом:

$I\; (X;\; Y\; |\; Z)\; =\; \sum \; z\; \in \; Z\; p\; Z\; (z)\; \sum \; y\; \in \; Y\; \sum \; x\; \in \; X\; p\; X,\; Y\; |\; Z\; (x,\; y\; |\; z)\; log\; \; p\; X,\; Y\; |\; Z\; (x,\; y\; |\; z)\; p\; X\; |\; Z\; (x\; |\; z)\; p\; Y\; |\; Z\; (Y\; |\; Z)\; \{\backslash \; Displaystyle\; I\; (X;\; Y\; |\; Z)\; =\; \backslash \; sum\; \_\; \{z\; \backslash \; in\; \{\backslash \; mathcal\; \{Z\}\}\}\; p\_\; \{Z\}\; (z)\; \backslash \; sum\; \_\; \{y\; \backslash \; in\; \{\backslash \; mathcal\; \{Y\}\}\}\; \backslash \; sum\; \_\; \{x\; \backslash \; in\; \{\backslash \; mathcal\; \{X\}\}\}\; p\_\; \{X,\; Y\; |\; Z\}\; (x,\; y\; |\; z)\; \backslash \; log\; \{\backslash \; frac\; \{p\_\; \{X,\; Y\; |\; Z\}\; (\; x,\; y\; |\; z)\}\; \{p\_\; \{X\; |\; Z\}\; (x\; |\; z)\; p\_\; \{Y\; |\; Z\}\; (y\; |\; z)\}\}\}$

где маргинальная, совместная и / или условная вероятность массовые функции обозначаются $p\; \{\backslash \; displaystyle\; p\}$с соответствующим нижним индексом. Это можно упростить как

$I\; (X;\; Y\; |\; Z)\; =\; \sum \; z\; \in \; Z\; \sum \; y\; \in \; Y\; \sum \; x\; \in \; X\; p\; X,\; Y,\; Z\; (x,\; y,\; z)\; log\; \; p\; Z\; (z)\; p\; X,\; Y,\; Z\; (x,\; y,\; z)\; p\; X,\; Z\; (x,\; z)\; p\; Y,\; Z\; (y,\; z).\; \{\backslash \; displaystyle\; I\; (X;\; Y\; |\; Z)\; =\; \backslash \; sum\; \_\; \{z\; \backslash \; in\; \{\backslash \; mathcal\; \{Z\}\}\}\; \backslash \; sum\; \_\; \{y\; \backslash \; in\; \{\backslash \; mathcal\; \{Y\}\}\}\; \backslash \; sum\; \_\; \{x\; \backslash \; in\; \{\; \backslash \; mathcal\; \{X\}\}\}\; p\_\; \{X,\; Y,\; Z\}\; (x,\; y,\; z)\; \backslash \; log\; \{\backslash \; frac\; \{p\_\; \{Z\}\; (z)\; p\_\; \{X,\; Y,\; Z\}\; (x,\; y,\; z)\; \}\; \{p\_\; \{X,\; Z\}\; (x,\; z)\; p\_\; \{Y,\; Z\}\; (y,\; z)\}\}.\}$

Для (абсолютно) непрерывных случайных переменные $X\; \{\backslash \; displaystyle\; X\}$, $Y\; \{\backslash \; displaystyle\; Y\}$и $Z\; \{\backslash \; displaystyle\; Z\}$с поддерживающими наборами $Икс\; \{\backslash \; displaystyle\; \{\backslash \; mathcal\; \{X\}\}\}$, $Y\; \{\backslash \; displaystyle\; \{\backslash \; mathcal\; \{Y\}\}\}$и $Z\; \{\backslash \; displaystyle\; \{\backslash \; mathcal\; \{Z\; \}\}\}$, условная взаимная информация $I\; (X;\; Y\; |\; Z)\; \{\backslash \; displaystyle\; I\; (X;\; Y\; |\; Z)\}$выглядит следующим образом

$I\; (X;\; Y\; |\; Z)\; =\; \int \; Z\; (\int \; Y\; \int \; X\; журнал\; \; (p\; X,\; Y\; |\; Z\; (x,\; y\; |\; z)\; p\; X\; |\; Z\; (x\; |\; z)\; p\; Y\; |\; Z\; (y\; |\; z))\; п\; Икс,\; Y\; |\; Z\; (Икс,\; Y\; |\; Z)\; dxdy)\; п\; Z\; (Z)\; dz\; \{\backslash \; Displaystyle\; I\; (X;\; Y\; |\; Z)\; =\; \backslash \; int\; \_\; \{\backslash \; mathcal\; \{Z\}\}\; \{\backslash \; bigg\; (\}\; \backslash \; int\; \_\; \{\backslash \; mathcal\; \{Y\}\}\; \backslash \; int\; \_\; \{\backslash \; mathcal\; \{X\}\}\; \backslash \; log\; \backslash \; left\; (\{\backslash \; frac\; \{p\_\; \{X,\; Y\; |\; Z\}\; (x,\; y\; |\; z)\}\; \{p\_\; \{X\; |\; Z\})\; (x\; |\; z)\; p\_\; \{Y\; |\; Z\}\; (y\; |\; z)\}\}\; \backslash \; right)\; p\_\; \{X,\; Y\; |\; Z\}\; (\; x,\; y\; |\; z)\; dxdy\; \{\backslash \; bigg)\}\; p\_\; \{Z\}\; (z)\; dz\}$

где маргинальная, совместная и / или условная функции плотности вероятности обозначаются $p\; \{\backslash \; displaystyle\; p\}$с соответствующим индексом. Это можно упростить как

$I\; (X;\; Y\; |\; Z)\; =\; \int \; Z\; \int \; Y\; \int \; X\; log\; \; (p\; Z\; (z)\; p\; X,\; Y,\; Z\; (x,\; y,\; z)\; p\; X,\; Z\; (x,\; z)\; p\; Y,\; Z\; (y,\; z))\; p\; X,\; Y,\; Z\; (x,\; y,\; z)\; dxdydz.\; \{\backslash \; displaystyle\; I\; (X;\; Y\; |\; Z)\; =\; \backslash \; int\; \_\; \{\backslash \; mathcal\; \{Z\}\}\; \backslash \; int\; \_\; \{\backslash \; mathcal\; \{Y\}\}\; \backslash \; int\; \_\; \{\backslash \; mathcal\; \{X\}\}\; \backslash \; log\; \backslash \; left\; (\{\backslash \; frac\; \{p\_\; \{Z\}\; (z)\; p\_\; \{X,\; Y,\; Z\}\; (x,\; y,\; z)\}\; \{p\_\; \{X,\; Z\}\; (x,\; z)\; p\_\; \{Y,\; Z\}\; (y,\; z)\}\}\; \backslash \; справа)\; p\_\; \{X,\; Y,\; Z\}\; (x,\; y,\; z)\; dxdydz.\}$

В качестве альтернативы мы можем записать в терминах совместных и условных энтропий as

$I\; (X;\; Y\; |\; Z)\; =\; H\; (X,\; Z)\; +\; H\; (Y,\; Z)\; -\; H\; (X,\; Y,\; Z)\; -\; H\; (Z)\; =\; H\; (X\; |\; Z)\; -\; H\; (X\; |\; Y,\; Z).)\; =\; H\; (X\; |\; Z)\; +\; H\; (Y\; |\; Z)\; -\; H\; (X,\; Y\; |\; Z).\; \{\backslash \; Displaystyle\; I\; (X;\; Y\; |\; Z)\; =\; H\; (X,\; Z)\; +\; H\; (Y,\; Z)\; -H\; (X,\; Y,\; Z)\; -H\; (Z)\; =\; H\; (X\; |\; Z)\; -H\; (X\; |\; Y,\; Z)\; =\; H\; (X\; |\; Z)\; +\; H\; (Y\; |\; Z)\; -H\; (X,\; Y\; |\; Z).\}$

Это можно переписать, чтобы показать его связь с взаимной информацией

$I\; (X\; ;\; Y\; |\; Z)\; знак\; равно\; I\; (X;\; Y,\; Z)\; -\; I\; (X;\; Z)\; \{\backslash \; Displaystyle\; I\; (X;\; Y\; |\; Z)\; =\; I\; (X;\; Y,\; Z)\; -I\; (X;\; Z)\}$

обычно переставляется как правило цепочки для взаимной информации

$I\; (X;\; Y,\; Z)\; =\; I\; (X;\; Z)\; +\; I\; (X;\; Y\; |\; Z)\; \{\backslash \; displaystyle\; I\; (X;\; Y,\; Z)\; =\; I\; (X;\; Z)\; +\; I\; (X;\; Y\; |\; Z)\}$

Другая эквивалентная форма приведенного выше:

$I\; (X;\; Y\; |\; Z)\; =\; H\; (Z\; |\; X)\; +\; H\; (\; X)\; +\; H\; (Z\; |\; Y)\; +\; H\; (Y)\; -\; H\; (Z\; |\; X,\; Y)\; -\; H\; (X,\; Y)\; -\; H\; (Z)\; =\; I\; (X;\; Y)\; +\; H\; (Z\; |\; X)\; +\; ЧАС\; (Z\; |\; Y)\; -\; ЧАС\; (Z\; |\; X,\; Y)\; -\; ЧАС\; (Z)\; \{\backslash \; Displaystyle\; I\; (X;\; Y\; |\; Z)\; =\; Н\; (Z\; |\; X)\; +\; Н\; (X)\; +\; Н\; (Z\; |\; Y)\; +\; H\; (Y)\; -H\; (Z\; |\; X,\; Y)\; -H\; (X,\; Y)\; -H\; (Z)\; =\; I\; (X;\; Y)\; +\; H\; (Z\; |\; X)\; +\; H\; (Z\; |\; Y)\; -H\; (\; Z\; |\; X,\; Y)\; -H\; (Z)\}$

Подобно взаимной информации, условная взаимная информация может быть выражена как расхождение Кульбака – Лейблера :

$I\; (X;\; Y\; |\; Z)\; =\; DKL\; [p\; (\; X,\; Y,\; Z)\; \Vert \; p\; (X\; |\; Z)\; p\; (Y\; |\; Z)\; p\; (Z)].\; \{\backslash \; Displaystyle\; I\; (X;\; Y\; |\; Z)\; =\; D\; \_\; \{\backslash \; mathrm\; \{KL\}\}\; [p\; (X,\; Y,\; Z)\; \backslash \; |\; p\; (X\; |\; Z)\; p\; (Y\; |\; Z)\; p\; (Z)].\}$

Или как математическое ожидание более простых расхождений Кульбака – Лейблера:

$I\; (X;\; Y\; |\; Z)\; =\; \sum \; z\; \in \; Z\; p\; (Z\; =\; z)\; DKL\; [p\; (X,\; Y\; |\; z)\; \Vert \; p\; (\; Икс\; |\; Z)\; п\; (Y\; |\; Z)]\; \{\backslash \; Displaystyle\; I\; (X;\; Y\; |\; Z)\; =\; \backslash \; sum\; \_\; \{z\; \backslash \; in\; \{\backslash \; mathcal\; \{Z\}\}\}\; p\; (Z\; =\; z)\; D\; \_\; \{\backslash \; mathrm\; \{KL\; \}\}\; [p\; (X,\; Y\; |\; z)\; \backslash \; |\; p\; (X\; |\; z)\; p\; (Y\; |\; z)]\}$,

$I\; (X;\; Y\; |\; Z)\; =\; \sum \; y\; \in \; Y\; p\; (Y\; =\; y)\; DKL\; [п\; (Икс,\; Z\; |\; Y)\; \Vert \; п\; (Икс\; |\; Z)\; п\; (Z\; |\; Y)]\; \{\backslash \; Displaystyle\; I\; (X;\; Y\; |\; Z)\; =\; \backslash \; сумма\; \_\; \{у\; \backslash \; in\; \{\backslash \; mathcal\; \{Y\}\}\}\; p\; (Y\; =\; y)\; D\; \_\; \{\backslash \; mathrm\; \{KL\}\}\; [p\; (X,\; Z\; |\; y)\; \backslash \; |\; p\; (X\; |\; Z)\; p\; (Z\; |\; y)]\}$.

Более общее определение условной взаимной информации, применимое к случайным величинам с непрерывным или другим произвольным распределением, будет зависеть от концепции регулярной условной вероятности. (См. Также.)

Пусть $(\Omega ,\; F,\; P)\; \{\backslash \; displaystyle\; (\backslash \; Omega,\; \{\backslash \; mathcal\; \{F\}\},\; \{\backslash \; mathfrak\; \{P\}\})\}$будет вероятностным пространством, и пусть случайные величины $X\; \{\backslash \; displaystyle\; X\}$, $Y\; \{\backslash \; displaystyle\; Y\}$и $Z\; \{\backslash \; displaystyle\; Z\}$каждый может быть определен как измеримая по Борелю функция от $\Omega \; \{\backslash \; displaystyle\; \backslash \; Omega\}$до некоторого пространства состояний, наделенного топологической структурой.

Рассмотрим меру Бореля (на σ-алгебре, сгенерированной открытыми наборами) в пространстве состояний каждой случайной величины, определенной путем присвоения каждому набору Бореля $P\; \{\backslash \; displaystyle\; \{\backslash \; mathfrak\; \{P\}\; \}\}$- размер его прообраза в $F\; \{\backslash \; displaystyle\; \{\backslash \; mathcal\; \{F\}\}\}$. Это называется мерой продвижения вперед $X\; \ast \; P\; =\; P\; (X\; -\; 1\; (\cdot )).\; \{\backslash \; displaystyle\; X\; \_\; \{*\}\; \{\backslash \; mathfrak\; \{P\}\}\; =\; \{\backslash \; mathfrak\; \{P\}\}\; \{\backslash \; big\; (\}\; X\; ^\; \{-\; 1\}\; (\backslash \; cdot)\; \{\backslash \; big)\}.\}$Поддержка случайной величины определяется как топологическая поддержка этой меры, то есть $supp\; X\; =\; supp\; X\; \ast \; P.\; \{\backslash \; displaystyle\; \backslash \; mathrm\; \{supp\}\; \backslash ,\; X\; =\; \backslash \; mathrm\; \{supp\}\; \backslash ,\; X\; \_\; \{*\}\; \{\backslash \; mathfrak\; \{P\}\}.\}$

Теперь мы можем формально определить меру условной вероятности задано значение одной (или, через топологию продукта , больше) случайных величин. Пусть $M\; \{\backslash \; displaystyle\; M\}$будет измеримым подмножеством $\Omega ,\; \{\backslash \; displaystyle\; \backslash \; Omega,\}$(т.е. $M\; \in \; F,\; \{\backslash \; displaystyle\; M\; \backslash \; in\; \{\backslash \; mathcal\; \{F\}\},\}$) и пусть $x\; \in \; supp\; X.\; \{\backslash \; displaystyle\; x\; \backslash \; in\; \backslash \; mathrm\; \{supp\}\; \backslash ,\; X.\}$Затем, используя теорему распада :

$,\; P\; (M\; |\; X\; =\; x)\; =\; lim\; U\; \ni \; x\; P\; (M\; \cap \; \{X\; \in \; U\})\; P\; (\{X\; \in \; U\})\; и\; P\; (M\; |\; X)\; =\; \int \; M\; d\; P\; (\omega \; |\; X\; =\; X\; (\omega )),\; \{\backslash \; displaystyle\; \{\backslash \; mathfrak\; \{P\}\}\; (M\; |\; X\; =\; x)\; =\; \backslash \; lim\; \_\; \{U\; \backslash \; ni\; x\}\; \{\backslash \; frac\; \{\{\backslash \; mathfrak\; \{P\}\}\; (M\; \backslash \; cap\; \backslash \; \{X\; \backslash \; in\; U\; \backslash \})\}\; \{\{\backslash \; mathfrak\; \{P\}\}\; (\backslash \; \{X\; \backslash \; in\; U\; \backslash \})\}\}\; \backslash \; qquad\; \{\backslash \; textrm\; \{and\}\}\; \backslash \; qquad\; \{\backslash \; mathfrak\; \{P\}\}\; (M\; |\; X)\; =\; \backslash \; int\; \_\; \{M\}\; d\; \{\backslash \; mathfrak\; \{P\}\}\; \{\backslash \; big\; (\}\; \backslash \; omega\; |\; X\; =\; X\; (\backslash \; omega)\; \{\backslash \; big)\},\}$

где предел берется по открытым окрестностям $U\; \{\backslash \; displaystyle\; U\}$из $x\; \{\backslash \; displaystyle\; x\}$, поскольку им разрешено становиться произвольно меньше по сравнению с включением множества.

Наконец, мы можем определить условную взаимную информацию через интегрирование Лебега :

$I\; (X;\; Y\; |\; Z)\; =\; \int \; \Omega \; log\; \; (d\; P\; (\omega \; |\; X,\; Z)\; d\; P\; (\omega \; |\; Y,\; Z)\; d\; P\; (\omega \; |\; Z)\; d\; P\; (\omega \; |\; X,\; Y,\; Z))\; d\; п\; (\omega ),\; \{\backslash \; displaystyle\; I\; (X;\; Y\; |\; Z)\; =\; \backslash \; int\; \_\; \{\backslash \; Omega\}\; \backslash \; log\; \{\backslash \; Bigl\; (\}\; \{\backslash \; frac\; \{d\; \{\backslash \; mathfrak\; \{P\}\}\; (\backslash \; omega\; |\; X,\; Z)\; \backslash ,\; d\; \{\backslash \; mathfrak\; \{P\}\}\; (\backslash \; omega\; |\; Y,\; Z)\}\; \{\; d\; \{\backslash \; mathfrak\; \{P\}\}\; (\backslash \; omega\; |\; Z)\; \backslash ,\; d\; \{\backslash \; mathfrak\; \{P\}\}\; (\backslash \; omega\; |\; X,\; Y,\; Z)\}\}\; \{\backslash \; Bigr)\}\; d\; \{\backslash \; mathfrak\; \{P\}\}\; (\; \backslash \; omega),\}$

где подынтегральное выражение - это логарифм производной Радона – Никодима, включающей некоторые условные вероятностные меры, которые мы только что определили.

В таких выражениях, как $I\; (A;\; B\; |\; C),\; \{\backslash \; displaystyle\; I\; (A;\; B\; |\; C),\}$$A,\; \{\backslash \; displaystyle\; A,\}$$B,\; \{\backslash \; displaystyle\; B,\}$и $C\; \{\backslash \; displaystyle\; C\}$не обязательно должны ограничиваться представлением отдельных случайных величин, но также может представлять совместное распределение любого набора случайных величин, определенных в одном и том же вероятностном пространстве. Как это принято в теории вероятностей, мы можем использовать запятую для обозначения такого совместного распределения, например $I\; (A\; 0,\; A\; 1;\; B\; 1,\; B\; 2,\; B\; 3\; |\; C\; 0,\; C\; 1).\; \{\backslash \; displaystyle\; I\; (A\_\; \{0\},\; A\_\; \{1\};\; B\_\; \{1\},\; B\_\; \{2\},\; B\_\; \{3\}\; |\; C\_\; \{0\},\; C\_\; \{1\}).\}$Следовательно, использование точки с запятой (или иногда двоеточия или даже клина $\wedge \; \{\backslash \; displaystyle\; \backslash \; wedge\}$) для разделения основных аргументов символа взаимной информации. (В символе совместной энтропии такое различие не требуется, поскольку совместная энтропия любого числа случайных величин совпадает с энтропией их совместного распределения.)

Неотрицательность

Всегда верно, что

$I\; (X;\; Y\; |\; Z)\; \ge \; 0\; \{\backslash \; displaystyle\; I\; (X;\; Y\; |\; Z)\; \backslash \; geq\; 0\}$,

для дискретного, совместно распределенные случайные величины $X\; \{\backslash \; displaystyle\; X\}$, $Y\; \{\backslash \; displaystyle\; Y\}$и $Z\; \{\backslash \; displaystyle\; Z\}$. Этот результат был использован в качестве основного строительного блока для доказательства других неравенств в теории информации, в частности, тех, которые известны как неравенства типа Шеннона. Условная взаимная информация также неотрицательна для непрерывных случайных величин при определенных условиях регулярности.

Информация о взаимодействии

Обусловливание третьей случайной величиной может либо увеличить, либо уменьшить взаимную информацию: то есть разница $I\; (X;\; Y)\; -\; I\; (X;\; Y\; |\; Z)\; \{\backslash \; displaystyle\; I\; (X;\; Y)\; -I\; (X;\; Y\; |\; Z)\}$, называется информация о взаимодействии может быть положительной, отрицательной или нулевой. Это так даже тогда, когда случайные величины попарно независимы. Так происходит, когда:

$X\; \sim \; B\; ernoulli\; (0,5),\; Z\; \sim \; B\; ernoulli\; (0,5),\; Y\; =\; \{X,\; если\; Z\; =\; 0,\; 1\; -\; X,\; если\; Z\; =\; 1\; \{\backslash \; displaystyle\; X\; \backslash \; sim\; \backslash \; mathrm\; \{Bernoulli\; \}\; (0,5),\; Z\; \backslash \; sim\; \backslash \; mathrm\; \{Бернулли\}\; (0,5),\; \backslash \; quad\; Y\; =\; \backslash \; left\; \backslash \; \{\{\backslash \; begin\; \{array\}\; \{ll\}\; X\; \{\backslash \; text\; \{if\}\}\; Z\; =\; 0\; \backslash \backslash \; 1-X\; \{\backslash \; text\; \{if\}\}\; Z\; =\; 1\; \backslash \; end\; \{array\}\}\; \backslash \; right.\}$в этом случае $X\; \{\backslash \; displaystyle\; X\}$, $Y\; \{\backslash \; displaystyle\; Y\}$и $Z\; \{\backslash \; displaystyle\; Z\}$попарно независимы и, в частности, $I\; (X;\; Y)\; =\; 0\; \{\backslash \; displaystyle\; I\; (X;\; Y)\; =\; 0\}$, но $I\; (X;\; Y\; |\; Z)\; =\; 1.\; \{\backslash \; displaystyle\; I\; (X;\; Y\; |\; Z)\; =\; 1.\}$

Цепное правило для взаимной информации

$I\; (X;\; Y,\; Z)\; =\; I\; (X;\; Z)\; +\; I\; (X;\; Y\; |\; Z)\; \{\backslash \; displaystyle\; I\; (X;\; Y,\; Z)\; =\; I\; (X;\; Z)\; +\; I\; (X;\; Y\; |\; Z)\}$

Условная взаимная информация может использоваться для индуктивного определения многомерной взаимной информации в теоретико-множественном или значении в контексте информационные диаграммы. В этом смысле мы определяем многомерную взаимную информацию следующим образом:

$I\; (X\; 1;\dots ;\; X\; n\; +\; 1)\; =\; I\; (X\; 1;\dots ;\; X\; n)\; -\; I\; (X\; 1;\dots ;\; X\; n\; |\; X\; п\; +\; 1),\; \{\backslash \; Displaystyle\; I\; (X\_\; \{1\};\; \backslash \; ldots;\; X\_\; \{n\; +\; 1\})\; =\; I\; (X\_\; \{1\};\; \backslash \; ldots;\; X\_\; \{n\})\; -\; I\; (X\_\; \{1\};\; \backslash \; ldots;\; X\_\; \{n\}\; |\; X\_\; \{n\; +\; 1\}),\}$

где

$I\; (X\; 1;\dots ;\; X\; n\; |\; X\; n\; +\; 1)\; =\; EX\; n\; +\; 1\; [DKL\; (P\; (X\; 1,\dots ,\; X\; n)\; |\; X\; n\; +\; 1\; \Vert \; PX\; 1\; |\; X\; n\; +\; 1\; \otimes \; \cdots \; \otimes \; PX\; n\; |\; X\; n\; +\; 1)].\; \{\backslash \; displaystyle\; I\; (X\_\; \{1\};\; \backslash \; ldots;\; X\_\; \{n\}\; |\; X\_\; \{n\; +\; 1\})\; =\; \backslash \; mathbb\; \{E\}\; \_\; \{X\_\; \{n\; +\; 1\}\}\; [D\; \_\; \{\backslash \; mathrm\; \{KL\}\}\; (\; P\; \_\; \{(X\_\; \{1\},\; \backslash \; ldots,\; X\_\; \{n\})\; |\; X\_\; \{n\; +\; 1\}\}\; \backslash \; |\; P\_\; \{X\_\; \{1\}\; |\; X\_\; \{n\; +\; 1\}\}\; \backslash \; otimes\; \backslash \; cdots\; \backslash \; otimes\; P\_\; \{X\_\; \{\; n\}\; |\; X\_\; \{n\; +\; 1\}\})].\}$

Это определение идентично определению для информации о взаимодействии, за исключением изменения знака в случае нечетного числа случайных величин. Сложность состоит в том, что эта многомерная взаимная информация (а также информация о взаимодействии) может быть положительной, отрицательной или нулевой, что затрудняет интуитивную интерпретацию этой величины. Фактически, для $n\; \{\backslash \; displaystyle\; n\}$случайных величин существует $2\; n\; -\; 1\; \{\backslash \; displaystyle\; 2\; ^\; \{n\}\; -1\}$градусов свобода того, как они могут быть коррелированы в теоретико-информационном смысле, соответствующем каждому непустому подмножеству этих переменных. Эти степени свободы ограничены различными неравенствами шенноновского и нешенноновского типа в теории информации.

1. ^Wyner, A.D. (1978). «Определение условной взаимной информации для произвольных ансамблей». Информация и контроль. 38 (1): 51–59. doi : 10.1016 / s0019-9958 (78) 90026-8.
2. ^Добрушин, Р. Л. (1959). «Общая формулировка основной теоремы Шеннона в теории информации». Успехи матем. Наук. 14 : 3–104.
3. ^Покров, Томас ; Томас, Джой А. (2006). Элементы теории информации (2-е изд.). Нью-Йорк: Wiley-Interscience. ISBN 0-471-24195-4.
4. ^Разложение на Math.StackExchange
5. ^Регулярная условная вероятность на PlanetMath
6. ^D. Leao, Jr. et al. Регулярная условная вероятность, распад вероятности и радоновые пространства. Proyecciones. Vol. 23, No. 1, pp. 15–29, май 2004 г., Католический университет дель Норте, Антофагаста, Чили PDF
7. ^Полянский, Юрий; Ву, Ихонг (2017). Конспект лекций по теории информации (PDF). п. 30.