Совместная энтропия

Мера информации в теории вероятностей и информации X). Фиолетовый цвет - взаимная информация I (X; Y).

В теории информации, суставная энтропия является мерой неопределенность, связанная с набором переменных.

• 1 Определение
• 2 Свойства
  • 2.1 Неотрицательность
  • 2.2 Больше индивидуальных энтропий
  • 2.3 Меньше или равна сумме индивидуальные энтропии
• 3 Отношения с другими мерами энтропии
  • 3.1 Приложения
• 4 Совместная дифференциальная энтропия
  • 4.1 Определение
  • 4.2 Свойства
• 5 Ссылки

Совместное энтропия Шеннона (в битах ) двух дискретных случайных величин $X\; \{\backslash \; displaystyle\; X\}$и $Y\; \{\; \backslash \; displaystyle\; Y\}$с изображениями $X\; \{\backslash \; displaystyle\; \{\backslash \; mathcal\; \{X\}\}\}$и $Y\; \{\backslash \; displaystyle\; \{\backslash \; mathcal\; \{Y\}\}\}$определяется как

$H\; (X,\; Y)\; =\; -\; \sum \; x\; \in \; X\; \sum \; y\; \in \; YP\; (x,\; y)\; log\; 2\; \; [P\; (x,\; y)]\; \{\backslash \; displaystyle\; \backslash \; mathrm\; \{H\; \}\; (X,\; Y)\; =\; -\; \backslash \; sum\; \_\; \{x\; \backslash \; in\; \{\backslash \; mathcal\; \{X\}\}\}\; \backslash \; sum\; \_\; \{y\; \backslash \; in\; \{\backslash \; mathcal\; \{Y\}\}\}\; P\; (x,\; y)\; \backslash \; log\; \_\; \{2\}\; [P\; (x,\; y)]\}$

(Eq.1)

где $x\; \{\backslash \; displaystyle\; x\}$и $y\; \{\backslash \; displaystyle\; y\}$- конкретные значения $X\; \{\backslash \; displaystyle\; X\}$и $Y\; \{\backslash \; displaystyle\; Y\}$, соответственно, $P\; (x,\; y)\; \{\backslash \; displaystyle\; P\; (x,\; y)\}$- совместная вероятность совпадения этих значений вместе, а $P\; (x,\; y)\; log\; 2\; \; [P\; (\; x,\; y)]\; \{\backslash \; displaystyle\; P\; (x,\; y)\; \backslash \; log\; \_\; \{2\}\; [P\; (x,\; y)]\}$определяется как 0, если $P\; (x,\; y)\; =\; 0\; \{\backslash \; displaystyle\; P\; (x,\; y)\; =\; 0\}$.

Для более чем двух случайных величин $X\; 1,...,\; X\; n\; \{\backslash \; displaystyle\; X\_\; \{1\},...,\; X\_\; \{n\}\}$это расширяется до

$H\; (X\; 1,...,\; X\; n)\; =\; -\; \sum \; x\; 1\; \in \; Х\; 1...\; \sum \; Иксn\; \in \; Икс\; N\; п\; (Икс\; 1,...,\; xn)\; журнал\; 2\; \; [P\; (x\; 1,...,\; xn)]\; \{\backslash \; Displaystyle\; \backslash \; mathrm\; \{H\}\; (X\_\; \{1\},...,\; X\_\; \{n\})\; =\; -\; \backslash \; sum\; \_\; \{x\_\; \{1\}\; \backslash \; in\; \{\backslash \; mathcal\; \{X\}\}\; \_\; \{1\}\}...\; \backslash \; sum\; \_\; \{x\_\; \{n\}\; \backslash \; in\; \{\backslash \; mathcal\; \{X\}\}\; \_\; \{n\}\}\; P\; (x\_\; \{1\},...,\; x\_\; \{n\})\; \backslash \; log\; \_\; \{2\}\; [P\; (x\_\; \{1\},...,\; x\_\; \{n\})]\}$

(уравнение.2)

где $x\; 1,...,\; x\; n\; \{\backslash \; displaystyle\; x\_\; \{1\},...,\; x\_\; \{n\}\}$- конкретные значения $X\; 1,...,\; Икс\; n\; \{\backslash \; displaystyle\; X\_\; \{1\},...,\; X\_\; \{n\}\}$, соответственно, $P\; (x\; 1,...,\; Xn)\; \{\backslash \; displaystyle\; P\; (x\_\; \{\; 1\},...,\; x\_\; \{n\})\}$- вероятность того, что эти значения встречаются вместе, а $P\; (x\; 1,...,\; Xn)\; log\; 2\; \; [P\; (x\; 1,...,\; xn)]\; \{\backslash \; displaystyle\; P\; (x\_\; \{1\},...,\; x\_\; \{n\})\; \backslash \; log\; \_\; \{2\}\; [P\; (x\_\; \{1\},...,\; x\_\; \{n\}))]\}$определяется как 0, если $P\; (x\; 1,...,\; Xn)\; =\; 0\; \{\backslash \; displaystyle\; P\; (x\_\; \{1\},...,\; x\_\; \{n\})\; =\; 0\}$.

Неотрицательность

Совместная энтропия набора случайных величин является неотрицательным числом.

$ЧАС\; (Икс,\; Y)\; \ge \; 0\; \{\backslash \; displaystyle\; \backslash \; mathrm\; \{H\}\; (X,\; Y)\; \backslash \; geq\; 0\}$

$H\; (X\; 1,\dots ,\; X\; n)\; \ge \; 0\; \{\backslash \; displaystyle\; \backslash \; mathrm\; \{H\; \}\; (X\_\; \{1\},\; \backslash \; ldots,\; X\_\; \{n\})\; \backslash \; geq\; 0\}$

Больше индивидуальных энтропий

Совместная энтропия набора переменных больше или равна максимуму всех индивидуальных энтропий переменных в наборе.

$ЧАС\; (Икс,\; Y)\; \ge \; макс\; [ЧАС\; (Х),\; ЧАС\; (Y)]\; \{\backslash \; Displaystyle\; \backslash \; mathrm\; \{H\}\; (X,\; Y)\; \backslash \; geq\; \backslash \; max\; \backslash \; left\; [\backslash \; mathrm\; \{H\}\; (X),\; \backslash \; mathrm\; \{H\}\; (Y)\; \backslash \; right]\}$

$H\; (X\; 1,\dots ,\; X\; n)\; \ge \; max\; 1\; \le \; i\; \le \; N\; \{H\; (X\; i)\}\; \{\backslash \; displaystyle\; \backslash \; mathrm\; \{H\}\; \{\backslash \; bigl\; (\}\; X\_\; \{1\},\; \backslash \; ldots,\; X\_\; \{n\}\; \{\backslash \; bigr)\}\; \backslash \; geq\; \backslash \; max\; \_\; \{1\; \backslash \; leq\; i\; \backslash \; leq\; n\}\; \{\backslash \; Bigl\; \backslash \; \{\}\; \backslash \; mathrm\; \{H\}\; \{\backslash \; bigl\; (\}\; X\_\; \{i\}\; \{\backslash \; bigr)\}\; \{\backslash \; Bigr\; \backslash \}\}\}$

Меньше или равно сумме индивидуальных энтропий

Совместная энтропия набора переменных меньше или равна сумма индивидуальных энтропий переменных в наборе. Это пример субаддитивности . Это неравенство является равенством тогда и только тогда, когда $X\; \{\backslash \; displaystyle\; X\}$и $Y\; \{\backslash \; displaystyle\; Y\}$статистически независимы.

$H\; (Икс,\; Y)\; \le \; ЧАС\; (Икс)\; +\; ЧАС\; (Y)\; \{\backslash \; Displaystyle\; \backslash \; mathrm\; \{H\}\; (X,\; Y)\; \backslash \; leq\; \backslash \; mathrm\; \{H\}\; (X)\; +\; \backslash \; mathrm\; \{H\}\; (Y)\}$

$ЧАС\; (Икс\; 1,\dots ,\; Икс\; N)\; \le \; ЧАС\; (Икс\; 1)\; +\dots \; +\; Н\; (Икс\; N)\; \{\backslash \; Displaystyle\; \backslash \; mathrm\; \{H\}\; (X\_\; \{1\},\; \backslash \; ldots,\; X\_\; \{n\})\; \backslash \; leq\; \backslash \; mathrm\; \{H\}\; (X\_\; \{1\})\; +\; \backslash \; ldots\; +\; \backslash \; mathrm\; \{H\}\; (X\_\; \{n\})\}$

Совместная энтропия используется в определении условная энтропия

$H\; (X\; |\; Y)\; =\; H\; (X,\; Y)\; -\; H\; (Y)\; \{\backslash \; displaystyle\; \backslash \; mathrm\; \{H\}\; (X\; |\; Y)\; =\; \backslash \; mathrm\; \{H\}\; (X,\; Y)\; -\; \backslash \; mathrm\; \{H\}\; (Y)\; \backslash ,\}$,

и

$H\; (X\; 1,\dots ,\; X\; n)\; =\; \sum \; k\; =\; 1\; n\; H\; (X\; k\; |\; X\; k\; -\; 1,\dots ,\; X\; 1)\; \{\backslash \; displaystyle\; \backslash \; mathrm\; \{H\}\; (X\_\; \{1\},\; \backslash \; dots,\; X\_\; \{n\})\; =\; \backslash \; sum\; \_\; \{k\; =\; 1\}\; ^\; \{n\}\; \backslash \; mathrm\; \{H\}\; (X\_\; \{k\}\; |\; X\_\; \{k-1\},\; \backslash \; dots,\; X\_\; \{1\})\}$Он также используется в определении взаимной информации

$I\; \; (X;\; Y)\; =\; H\; (X)\; +\; H\; (Y)\; -\; H\; (X,\; Y)\; \{\backslash \; Displaystyle\; \backslash \; OperatorName\; \{I\}\; (X;\; Y)\; =\; \backslash \; mathrm\; \{H\}\; (X)\; +\; \backslash \; mathr\; m\; \{H\}\; (Y)\; -\; \backslash \; mathrm\; \{H\}\; (X,\; Y)\; \backslash ,\}$

В квантовой теории информации совместная энтропия обобщается до совместной квантовой энтропии.

Приложения

Доступен пакет Python для вычисления всех многомерных совместных энтропий, взаимной информации, условной взаимной информации, общих корреляций, информационного расстояния в наборе данных из n переменных.

Определение

Приведенное выше определение предназначено для дискретных случайных величин и точно так же верно в случае непрерывных случайных величин. Непрерывная версия дискретной совместной энтропии называется совместной дифференциальной (или непрерывной) энтропией. Пусть $X\; \{\backslash \; displaystyle\; X\}$и $Y\; \{\backslash \; displaystyle\; Y\}$будут непрерывными случайными величинами с совместной функцией плотности вероятности $е\; (х,\; y)\; \{\backslash \; displaystyle\; f\; (x,\; y)\}$. Дифференциальная энтропия суставов $h\; (X,\; Y)\; \{\backslash \; displaystyle\; h\; (X,\; Y)\}$определяется как

$h\; (X,\; Y)\; =\; -\; \int \; X,\; Y\; f\; (x,\; y)\; журнал\; \; е\; (x,\; y)\; dxdy\; \{\backslash \; displaystyle\; h\; (X,\; Y)\; =\; -\; \backslash \; int\; \_\; \{\{\backslash \; mathcal\; \{X\}\},\; \{\backslash \; mathcal\; \{Y\}\}\}\; f\; (x,\; y)\; \backslash \; log\; f\; (x,\; y)\; \backslash ,\; dxdy\}$

(Eq.3)

Для более чем двух непрерывных случайных величин $X\; 1,...,\; X\; n\; \{\backslash \; displaystyle\; X\_\; \{1\},...,\; X\_\; \{n\}\}$определение обобщается на:

$h\; (X\; 1,\dots ,\; X\; n)\; =\; -\; \int \; f\; (\; x\; 1,\dots ,\; xn)\; журнал\; \; е\; (x\; 1,\dots ,\; xn)\; dx\; 1\dots \; dxn\; \{\backslash \; displaystyle\; h\; (X\_\; \{1\},\; \backslash \; ldots,\; X\_\; \{n\})\; =\; -\; \backslash \; int\; f\; (x\_\; \{1\},\; \backslash \; ldots,\; x\_\; \{n\})\; \backslash \; log\; f\; (x\_\; \{1\},\; \backslash \; ldots,\; x\_\; \{n\})\; \backslash ,\; dx\_\; \{1\}\; \backslash \; ldots\; dx\_\; \{n\}\}$

(уравнение 4)

Интеграл берется за поддержку $f\; \{\backslash \; displaystyle\; f\}$. Возможно, что интеграла не существует, и в этом случае мы говорим, что дифференциальная энтропия не определена.

Свойства

Как и в дискретном случае, совместная дифференциальная энтропия набора случайных величин меньше или равна сумме энтропий отдельных случайных величин:

$h\; (X\; 1,\; Икс\; 2,\dots ,\; Икс\; N)\; \le \; \sum \; я\; знак\; равно\; 1\; nh\; (X\; i)\; \{\backslash \; displaystyle\; h\; (X\_\; \{1\},\; X\_\; \{2\},\; \backslash \; ldots,\; X\_\; \{n\})\; \backslash \; leq\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; h\; (X\_\; \{i\})\}$

Следующее правило цепочки выполняется для двух случайных величин:

$h\; (X,\; Y)\; =\; h\; (X\; |\; Y)\; +\; h\; (Y)\; \{\; \backslash \; displaystyle\; h\; (X,\; Y)\; =\; h\; (X\; |\; Y)\; +\; h\; (Y)\}$

В случае более двух случайных величин это обобщается следующим образом:

$h\; (X\; 1,\; X\; 2,\dots ,\; Икс\; N)\; знак\; равно\; \sum \; я\; знак\; равно\; 1\; NH\; (Икс\; я\; |\; Икс\; 1,\; Икс\; 2,\dots ,\; Икс\; я\; -\; 1)\; \{\backslash \; displaystyle\; h\; (X\_\; \{1\},\; X\_\; \{2\},\; \backslash \; ldots,\; X\_\; \{n\})\; =\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; h\; (X\_\; \{i\}\; |\; X\_\; \{1\},\; X\_\; \{2\},\; \backslash \; ldots,\; X\_\; \{i-1\})\}$

Совместная дифференциальная энтропия также используется в определение взаимной информации между непрерывными случайными величинами:

$I\; \; (X,\; Y)\; =\; h\; (X)\; +\; h\; (Y)\; -\; h\; (X,\; Y)\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{\; I\}\; (X,\; Y)\; =\; h\; (X)\; +\; h\; (Y)\; -h\; (X,\; Y)\}$