Теория информации и теория меры

В этой статье обсуждается, как теория информации (раздел математики, изучающий передачу, обработку и хранение из информации ) относится к теории меры (раздел математики, связанный с интегрированием и вероятностью ).

• 1 Меры в теории информации
• 2 Энтропия как «мера»
• 3 Многомерная взаимная информация
• 4 Ссылки
• 5 См. Также

Многие концепции теории информации имеют отдельные определения и формулы для непрерывных и дискретных случаев. Например, энтропия $H\; (X)\; \{\backslash \; displaystyle\; \backslash \; mathrm\; \{H\}\; (X)\}$обычно определяется для дискретных случайных величин, тогда как для непрерывных случайных величин связанные Используется концепция дифференциальной энтропии, записываемая как $h\; (X)\; \{\backslash \; displaystyle\; h\; (X)\}$(см. Cover and Thomas, 2006, глава 8). Обе эти концепции являются математическими ожиданиями, но математическое ожидание определяется с помощью интеграла для непрерывного случая и суммы для дискретного случая.

Эти отдельные определения могут быть более тесно связаны с точки зрения теории меры. Для дискретных случайных величин функции вероятности и массы можно рассматривать как функции плотности по отношению к счетной мере. Думая об интеграле и сумме как об интегрировании в пространстве мер, можно использовать единый подход.

Рассмотрим формулу дифференциальной энтропии непрерывной случайной величины $X\; \{\backslash \; displaystyle\; X\}$с диапазоном $R\; \{\backslash \; displaystyle\; \backslash \; mathbb\; \{R\}\}$и функция плотности вероятности $f\; (x)\; \{\backslash \; displaystyle\; f\; (x)\}$:

$h\; (X)\; =\; -\; \int \; R\; f\; (x)\; журнал\; \; f\; (x)\; dx.\; \{\backslash \; displaystyle\; h\; (X)\; =\; -\; \backslash \; int\; \_\; \{\backslash \; mathbb\; \{R\}\}\; f\; (x)\; \backslash \; log\; f\; (x)\; \backslash ,\; dx.\}$

Обычно это можно интерпретировать как следующее: Riemann– Интеграл Стилтьеса :

$час\; (X)\; =\; -\; \int \; R\; f\; (x)\; журнал\; \; f\; (x)\; d\; \mu \; (x),\; \{\backslash \; displaystyle\; h\; (X)\; =\; -\; \backslash \; int\; \_\; \{\backslash \; mathbb\; \{R\}\}\; f\; (\; x)\; \backslash \; log\; f\; (x)\; \backslash ,\; d\; \backslash \; mu\; (x),\}$

где $\mu \; \{\backslash \; displaystyle\; \backslash \; mu\}$- мера Лебега.

Если вместо этого, $X\; \{\backslash \; displaystyle\; X\}$дискретный, с диапазоном $\Omega \; \{\backslash \; displaystyle\; \backslash \; Omega\}$конечным набором, $f\; \{\backslash \; displaystyle\; f\}$- функция массы вероятности на $\Omega \; \{\backslash \; displaystyle\; \backslash \; Omega\}$, а $\nu \; \{\backslash \; displaystyle\; \backslash \; nu\}$- счетная мера на $\Omega \; \{\backslash \; displaystyle\; \backslash \; Omega\}$, мы можем написать:

$H\; (X)\; =\; -\; \sum \; x\; \in \; \Omega \; f\; (x)\; log\; \; f\; (x)\; =\; -\; \int \; \Omega \; f\; (x)\; журнал\; \; f\; (x)\; d\; \nu \; (x).\; \{\backslash \; displaystyle\; \backslash \; mathrm\; \{H\}\; (X)\; =\; -\; \backslash \; sum\; \_\; \{x\; \backslash \; in\; \backslash \; Omega\}\; f\; (x)\; \backslash \; log\; f\; (x)\; =\; -\; \backslash \; int\; \_\; \{\backslash \; Omega\}\; f\; (x)\; \backslash \; log\; f\; (\; x)\; \backslash ,\; d\; \backslash \; nu\; (x).\}$

Интегральное выражение и общая концепция идентичны в непрерывном случае; единственная разница - это используемая мера. В обоих случаях функция плотности вероятности $f\; \{\backslash \; displaystyle\; f\}$является производной Радона – Никодима от вероятностной меры относительно меры против который берется интеграл.

Если $P\; \{\backslash \; displaystyle\; P\}$- мера вероятности, вызванная $X\; \{\backslash \; displaystyle\; X\}$, то интеграл также может быть взяты непосредственно относительно $P\; \{\backslash \; displaystyle\; P\}$:

$h\; (X)\; =\; -\; \int \; X\; log\; \; d\; P\; d\; \mu \; d\; P,\; \{\backslash \; displaystyle\; h\; (X)\; =\; -\; \backslash \; int\; \_\; \{X\}\; \backslash \; log\; \{\backslash \; frac\; \{\backslash \; mathrm\; \{d\}\; P\}\; \{\backslash \; mathrm\; \{d\}\; \backslash \; mu\}\}\; \backslash ,\; dP,\}$

Если вместо основной меры μ мы берем другую вероятностную меру $Q\; \{\backslash \; displaystyle\; Q\; \}$, мы приходим к расхождению Кульбака – Лейблера : let $P\; \{\backslash \; displaystyle\; P\}$и $Q\; \{\backslash \; displaystyle\; Q\}$быть вероятностными мерами в одном и том же пространстве. Тогда, если $P\; \{\backslash \; displaystyle\; P\}$абсолютно непрерывен по отношению к $Q\; \{\backslash \; displaystyle\; Q\}$, записывается $P\; \ll \; Q,\; \{\backslash \; displaystyle\; P\; \backslash \; ll\; Q,\}$производная Радона – Никодима $d\; P\; d\; Q\; \{\backslash \; displaystyle\; \{\backslash \; frac\; \{\backslash \; mathrm\; \{d\}\; P\}\; \{\backslash \; mathrm\; \{d\}\; Q\}\}\}$существует, и расхождение Кульбака – Лейблера может быть выражено в его полной общности:

$D\; KL\; (P\; \Vert \; Q)\; =\; \int \; supp\; \; P\; d\; P\; d\; Q\; журнал\; \; d\; п\; d\; Q\; d\; Q\; знак\; равно\; \int \; supp\; \; п\; журнал\; \; d\; п\; d\; Q\; d\; P,\; \{\backslash \; displaystyle\; D\; \_\; \{\backslash \; operatorname\; \{KL\}\}\; (P\; \backslash \; |\; Q)\; =\; \backslash \; int\; \_\; \{\backslash \; operatorname\; \{supp\}\; P\; \}\; \{\backslash \; frac\; \{\backslash \; mathrm\; \{d\}\; P\}\; \{\backslash \; mathrm\; \{d\}\; Q\}\}\; \backslash \; log\; \{\backslash \; frac\; \{\backslash \; mathrm\; \{d\}\; P\}\; \{\backslash \; mathrm\; \{d\}\; Q\}\}\; \backslash ,\; dQ\; =\; \backslash \; int\; \_\; \{\backslash \; operatorname\; \{supp\}\; P\}\; \backslash \; log\; \{\backslash \; frac\; \{\backslash \; mathrm\; \{d\}\; P\}\; \{\backslash \; mathrm\; \{d\}\; Q\}\}\; \backslash ,\; dP,\}$

где интеграл проходит по опоре из $п.\; \{\backslash \; displaystyle\; P.\}$Обратите внимание, что мы опустили отрицательный знак: расхождение Кульбака – Лейблера всегда неотрицательно из-за неравенства Гиббса.

Диаграмма Венна для различных информационных мер, связанных с коррелированными переменными X и Y. Площадь, содержащаяся в обоих кругах, является совместной энтропией H (X, Y). Круг слева (красный и голубой) - это индивидуальная энтропия H (X), красный - условная энтропия H (X | Y). Круг справа (синий и голубой) - это H (Y), а синий - H (Y | X). Голубой - это взаимная информация I (X; Y). диаграмма Венна теоретико-информационных мер для трех переменных x, y и z. Каждый кружок представляет индивидуальную энтропию : H (x) - нижний левый кружок, H (y) - нижний правый, а H (z) - верхний кружок. Пересечения любых двух кружков представляют взаимную информацию для двух связанных переменных (например, I (x; z) желтый и серый). Объединение любых двух кругов - это объединенная энтропия для двух связанных переменных (например, H (x, y) - это все, кроме зеленого). Совместная энтропия H (x, y, z) всех трех переменных - это объединение всех трех окружностей. Он разделен на 7 частей: красный, синий и зеленый - условные энтропии H (x | y, z), H (y | x, z), H (z | x, y) соответственно., желтый, пурпурный и голубой обозначают условную взаимную информацию I (x; z | y), I (y; z | x) и I (x; y | z) соответственно, а серый цвет обозначает многомерная взаимная информация I (x; y; z). Многовариантная взаимная информация - единственная из всех, что может быть отрицательной.

Существует аналогия между базовыми «мерами из информации, которые использует Шеннон.>содержание случайных величин и показатель по множествам. А именно, объединенная энтропия, условная энтропия и взаимная информация могут рассматриваться как мера набора объединения, множества Разница и задают пересечение соответственно (Реза, с. 106–108).

Если мы свяжем существование абстрактных множеств $X\; ~\; \{\backslash \; displaystyle\; \{\backslash \; tilde\; \{X\}\}\}$и $Y\; ~\; \{\backslash \; displaystyle\; \{\backslash \; tilde\; \{Y\}\}\}$к произвольным дискретным случайным величинам X и Y, каким-то образом представляя информацию, переносимую X и Y, соответственно, такое, что:

• $\mu \; (X\; ~\; \cap \; Y\; ~)\; =\; 0\; \{\backslash \; displaystyle\; \backslash \; mu\; (\{\backslash \; tilde\; \{X\}\}\; \backslash \; cap\; \{\backslash \; tilde\; \{Y\}\})\; =\; 0\}$всякий раз, когда X и Y безусловно независимы, и
• $X\; ~\; =\; Y\; ~\; \{\backslash \; displaystyle\; \{\backslash \; tilde\; \{X\}\}\; =\; \{\backslash \; tilde\; \{Y\}\}\}$если X и Y таковы, что один из них полностью определяется другим (т. е. биекцией);

где $\mu \; \{\backslash \; displaystyle\; \backslash \; mu\}$- знаковая мера над этими множествами, и положим:

$H\; (X)\; =\; \mu \; (X\; ~),\; H\; (Y)\; =\; \mu \; (Y\; ~),\; H\; (X,\; Y)\; =\; \mu \; (X\; ~\; \cup \; Y\; ~),\; H\; (X\; \mid \; Y)\; =\; \mu \; (X\; ~\; \setminus \; Y\; ~),\; I\; \; (X;\; Y)\; =\; \mu \; (X\; ~\; \cap \; Y\; ~);\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{align\}\; \backslash \; mathrm\; \{H\}\; (X)\; =\; \backslash \; mu\; (\{\backslash \; tilde\; \{X\}\}),\; \backslash \backslash \backslash \; mathrm\; \{H\}\; (Y)\; =\; \backslash \; mu\; (\{\backslash \; tilde\; \{\; Y\}\}),\; \backslash \backslash \backslash \; mathrm\; \{H\}\; (X,\; Y)\; =\; \backslash \; mu\; (\{\backslash \; tilde\; \{X\}\}\; \backslash \; cup\; \{\backslash \; tilde\; \{Y\}\}),\; \backslash \backslash \backslash \; mathrm\; \{H\}\; (X\; \backslash \; середина\; Y)\; =\; \backslash \; mu\; (\{\backslash \; tilde\; \{X\}\}\; \backslash \; setminus\; \{\backslash \; tilde\; \{Y\}\}),\; \backslash \backslash \backslash \; operatorname\; \{I\}\; (X;\; Y)\; =\; \backslash \; mu\; (\{\backslash \; tilde\; \{X\}\}\; \backslash \; cap\; \{\backslash \; tilde\; \{Y\}\});\; \backslash \; end\; \{align\}\}\}$

мы обнаруживаем, что «мера» информационного содержания Шеннона удовлетворяет всем постулатам и основным свойствам формального показатель со знаком по множествам, как обычно показано на информационной диаграмме . Это позволяет записать сумму двух мер:

$\mu \; (A)\; +\; \mu \; (B)\; =\; \mu \; (A\; \cup \; B)\; +\; \mu \; (A\; \cap \; B)\; \{\backslash \; displaystyle\; \backslash \; mu\; (A)\; +\; \backslash \; mu\; (B)\; =\; \backslash \; mu\; (A\; \backslash \; cup\; B)\; +\; \backslash \; mu\; (A\; \backslash \; cap\; B)\}$

и аналог теоремы Байеса ($\mu \; (A)\; +\; \mu \; (B\; \setminus \; A)\; знак\; равно\; \mu \; (B)\; +\; \mu \; (A\; \setminus \; B)\; \{\backslash \; displaystyle\; \backslash \; mu\; (A)\; +\; \backslash \; mu\; (B\; \backslash \; setminus\; A)\; =\; \backslash \; mu\; (B)\; +\; \backslash \; mu\; (A\; \backslash \; setminus\; B)\}$) позволяет записать разность двух мер:

$\mu \; (A)\; -\; \mu \; (B)\; =\; \mu \; (A\; \setminus \; B)\; -\; \mu \; (B\; \setminus \; A)\; \{\backslash \; displaystyle\; \backslash \; mu\; (A)\; -\; \backslash \; mu\; (B)\; =\; \backslash \; mu\; (A\; \backslash \; setminus\; B)\; -\; \backslash \; mu\; (B\; \backslash \; setminus\; A)\}$

Это может быть удобным мнемоническим устройством в некоторых ситуациях, например

$H\; (X,\; Y)\; =\; H\; (X)\; +\; H\; (Y\; \mid \; X)\; \mu \; (X\; ~\; \cup \; Y\; ~)\; =\; \mu \; (X\; ~)\; +\; \mu \; (Y\; ~\; \setminus \; X\; ~)\; I\; \; (X;\; Y)\; =\; ЧАС\; (Икс)\; -\; ЧАС\; (Икс\; \mid \; Y)\; \mu \; (Икс\; ~\; \cap \; Y\; ~)\; =\; \mu \; (X\; ~)\; -\; \mu \; (X\; ~\; \setminus \; Y\; ~)\; \{\backslash \; Displaystyle\; \{\backslash \; begin\; \{align\}\; \backslash \; mathrm\; \{H\}\; (X,\; Y)\; =\; \backslash \; mathrm\; \{H\}\; (X)\; +\; \backslash \; mathrm\; \{H\}\; (Y\; \backslash \; mid\; X)\; \backslash \; mu\; (\{\backslash \; tilde\; \{X\}\}\; \backslash \; cup\; \{\backslash \; tilde\; \{Y\}\})\; =\; \backslash \; mu\; (\{\backslash \; tilde\; \{X\}\})\; +\; \backslash \; mu\; (\{\backslash \; tilde\; \{Y\}\}\; \backslash \; setminus\; \{\backslash \; tilde\; \{X\}\})\; \backslash \backslash \backslash \; имя\; оператора\; \{I\}\; (X;\; Y)\; =\; \backslash \; mathrm\; \{H\; \}\; (X)\; -\; \backslash \; mathrm\; \{H\}\; (X\; \backslash \; mid\; Y)\; \backslash \; mu\; (\{\backslash \; tilde\; \{X\}\}\; \backslash \; cap\; \{\backslash \; tilde\; \{Y\}\})\; =\; \backslash \; mu\; (\{\backslash \; tilde\; \{X\}\})\; -\; \backslash \; mu\; (\{\backslash \; tilde\; \{X\}\}\; \backslash \; setminus\; \{\backslash \; tilde\; \{Y\}\})\; \backslash \; end\; \{align\}\}\}$

Обратите внимание, что меры (математические ожидания логарифма) истинных вероятностей называются «энтропией» и обычно обозначается буквой H, в то время как другие меры часто называют «информацией» или «корреляцией» и обычно обозначаются буквой I. Для упрощения обозначений буква I иногда используется для всех показателей.

Определенные расширения определений основных мер информации Шеннона необходимы для работы с σ-алгеброй, генерируемой наборами, которые будут связаны с три или более произвольных случайных величин. (См. Реза, стр. 106–108 для неформального, но достаточно полного обсуждения.) А именно $H\; (X,\; Y,\; Z,\; \cdots )\; \{\backslash \; displaystyle\; \backslash \; mathrm\; \{H\}\; (X,\; Y,\; Z,\; \backslash \; cdots)\}$необходимо определить очевидным образом как энтропию совместного распределения и многомерную взаимную информацию $I\; \; (X;\; Y;\; Z;\; \cdots )\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{I\}\; (X;\; Y;\; Z;\; \backslash \; cdots)\}$определено подходящим образом, так что мы можем установить:

$H\; (X,\; Y,\; Z,\; \cdots )\; =\; \mu \; (X\; ~\; \cup \; Y\; ~\; \cup \; Z\; ~\; \cup \; \cdots ),\; I\; \; (X;\; Y;\; Z;\; \cdots )\; =\; \mu \; (X\; ~\; \cap \; Y\; ~\; \cap \; Z\; ~\; \cap \; \cdots );\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{align\}\; \backslash \; mathrm\; \{H\}\; (X,\; Y,\; Z,\; \backslash \; cdots)\; =\; \backslash \; mu\; (\{\backslash \; tilde\; \{X\}\}\; \backslash \; cup\; \{\backslash \; tilde\; \{Y\}\}\; \backslash \; cup\; \{\backslash \; tilde\; \{Z\}\}\; \backslash \; cup\; \backslash \; cdots),\; \backslash \backslash \backslash \; operatorname\; \{I\}\; (X;\; Y;\; Z;\; \backslash \; cdots)\; =\; \backslash \; mu\; (\{\backslash \; tilde\; \{X\}\}\; \backslash \; cap\; \{\backslash \; tilde\; \{Y\}\}\; \backslash \; cap\; \{\backslash \; tilde\; \{Z\}\}\; \backslash \; cap\; \backslash \; cdots);\; \backslash \; end\; \{align\}\}\}$

для определения (знаковой) меры по всей σ-алгебре. Не существует единого общепринятого определения многовариантной взаимной информации, но то, которое здесь соответствует мере пересечения множеств, принадлежит Фано (1966: стр. 57-59). Определение рекурсивное. В качестве базового случая взаимная информация одной случайной величины определяется как ее энтропия: $I\; \; (X)\; =\; H\; (X)\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{I\}\; (X)\; =\; \backslash \; mathrm\; \{H\}\; (\; X)\}$. Затем для $n\; \ge \; 2\; \{\backslash \; displaystyle\; n\; \backslash \; geq\; 2\}$мы устанавливаем

$I\; \; (X\; 1;\; \cdots ;\; X\; n)\; =\; I\; \; (X\; 1;\; \cdots ;\; X\; n\; -\; 1)\; -\; Я\; \; (Икс\; 1;\; \cdots ;\; Икс\; N\; -\; 1\; \mid \; Икс\; N),\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{I\}\; (X\_\; \{1\};\; \backslash \; cdots;\; X\_\; \{n\})\; =\; \backslash \; operatorname\; \{I\}\; (X\_\; \{1\};\; \backslash \; cdots;\; X\_\; \{n-1\})\; -\; \backslash \; operatorname\; \{I\}\; (X\_\; \{1\};\; \backslash \; cdots;\; X\_\; \{n-1\}\; \backslash \; mid\; X\_\; \{n\}),\}$

где условная взаимная информация определяется как

$I\; \; (X\; 1;\; \cdots ;\; X\; n\; -\; 1\; \mid \; X\; n)\; =\; EX\; n\; (I\; \; (X\; 1;\; \cdots ;\; X\; n\; -\; 1)\; \mid \; X\; n).\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{I\}\; (X\_\; \{1\};\; \backslash \; cdots;\; X\_\; \{n-1\}\; \backslash \; mid\; X\_\; \{n\})\; =\; \backslash \; mathbb\; \{E\}\; \_\; \{X\_\; \{n\}\}\; \{\backslash \; big\; (\}\; \backslash \; operatorname\; \{I\}\; (X\_\; \{1\};\; \backslash \; cdots;\; X\_\; \{n-1\})\; \backslash \; mid\; X\_\; \{n\}\; \{\backslash \; big)\}.\}$

Первый шаг в рекурсии дает определение Шеннона $I\; \; (\; Х\; 1;\; Х\; 2)\; =\; H\; (X\; 1)\; -\; H\; (X\; 1\; \mid \; X\; 2).\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{I\}\; (X\_\; \{1\};\; X\_\; \{2\})\; =\; \backslash \; mathrm\; \{H\}\; (X\_\; \{1\})\; -\; \backslash \; mathrm\; \{H\}\; (X\_\; \{1\}\; \backslash \; mid\; X\_\; \{2\}).\; \}$Многомерная взаимная информация (такая же, как информация о взаимодействии, но для изменения знака) трех или более случайных величин может быть как отрицательной, так и положительной: пусть X и Y будут двумя независимыми честно подбрасывает монету, и пусть Z будет их исключительным или. Тогда $I\; \; (X;\; Y;\; Z)\; =\; -\; 1\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{I\}\; (X;\; Y;\; Z)\; =\; -\; 1\}$бит.

Для трех или более случайных величин возможны многие другие варианты: например, $I\; \; (X,\; Y;\; Z)\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{I\}\; (X,\; Y;\; Z)\}$- это взаимная информация о совместном распределении X и Y относительно Z, и ее можно интерпретировать как $\mu \; ((X\; ~\; \cup \; Y\; ~)\; \cap \; Z\; ~).\; \{\backslash \; displaystyle\; \backslash \; mu\; ((\{\backslash \; tilde\; \{X\}\}\; \backslash \; cup\; \{\backslash \; tilde\; \{Y\}\})\; \backslash \; cap\; \{\backslash \; tilde\; \{Z\}\}).\}$Можно построить много более сложных выражений путь, и все еще имеют значение, например $I\; \; (X,\; Y;\; Z\; \mid \; W),\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{I\}\; (X,\; Y;\; Z\; \backslash \; mid\; W),\}$или $H\; (X,\; Z\; \mid \; W,\; Y).\; \{\backslash \; displaystyle\; \backslash \; mathrm\; \{H\}\; (X,\; Z\; \backslash \; mid\; W,\; Y).\}$

• Томас М. Ковер и Джой А. Томас. Элементы теории информации, второе издание, 2006 г. Нью-Джерси: Wiley and Sons. ISBN 978-0-471-24195-9.
• Фазлолла М. Реза. Введение в теорию информации. Нью-Йорк: McGraw – Hill 1961. Нью-Йорк: Dover 1994. ISBN 0-486-68210-2
• Фано, RM (1966), Передача информации: статистическая теория коммуникации, MIT Press, ISBN 978-0-262-56169-3, OCLC 804123877
• Р. W. Yeung, "Об энтропии, информационных неравенствах и группах". PS

• Теория информации
• Теория меры
• Теория множеств