Дивергенция Кульбака – Лейблера

В математической статистике дивергенция Кульбака – Лейблера (также называемая относительная энтропия ) является мерой того, насколько одно распределение вероятностей отличается от второго эталонного распределения вероятностей. Приложения включают определение относительной (Шеннона) энтропии в информационных системах, случайности в непрерывных временных рядах и получение информации при сравнении статистических моделей вывода. В отличие от вариации информации, это асимметричная мера распределения и, следовательно, не квалифицируется как статистическая метрика распространения - она ​​также не удовлетворяет неравенству треугольника . В простом случае расхождение Кульбака – Лейблера, равное 0, указывает, что два рассматриваемых распределения идентичны. Говоря упрощенно, это мера неожиданности с разнообразными приложениями, такими как прикладная статистика, механика жидкости, нейробиология и машинное обучение.

Содержание

• 1 Введение и контекст
• 2 Этимология
• 3 Определение
• 4 Базовый пример
• 5 Интерпретации
• 6 Мотивация
• 7 Свойства
• 8 Примеры
  • 8.1 Многомерные нормальные распределения
• 9 Отношения к метрикам
  • 9.1 Информационная метрика Фишера
    • 9.1.1 Теорема Фишера по информационной метрике
  • 9.2 Вариация информации
• 10 Связь с другими величинами теории информации
  • 10.1 Самоинформация
  • 10.2 Взаимная информация
  • 10.3 Энтропия Шеннона
  • 10.4 Условная энтропия
  • 10.5 Перекрестная энтропия
• 11 Байесовское обновление
  • 11.1 Байесовский экспериментальный план
• 12 Информация о дискриминации
  • 12.1 Принцип минимальной информации о различении
• 13 Связь с доступными работами
• 14 Квантовая теория информации
• 15 Связь между моделями и реальностью
• 16 Symme тройное расхождение
• 17 Связь с другими мерами вероятности-расстояния
• 18 Различие данных
• 19 См. также
• 20 Ссылки
• 21 Внешние ссылки

Введение и контекст

Рассмотрим два распределения вероятностей $P\; \{\backslash \; displaystyle\; P\}$и $Q\; \{\backslash \; displaystyle\; Q\}$. Обычно $P\; \{\backslash \; displaystyle\; P\}$представляет данные, наблюдения или точно измеренное распределение вероятностей. Распределение $Q\; \{\backslash \; displaystyle\; Q\}$представляет собой теорию, модель, описание или приближение $P\; \{\backslash \; displaystyle\; P\}$. Расхождение Кульбака – Лейблера затем интерпретируется как средняя разница количества битов, необходимых для кодирования выборок $P\; \{\backslash \; displaystyle\; P\}$с использованием кода, оптимизированного для $Q\; \{\backslash \; displaystyle\; Q\; \}$, а не оптимизированный для $P\; \{\backslash \; displaystyle\; P\}$.

этимология

Дивергенция Кульбака – Лейблера была введена Соломоном Кульбаком и Ричард Лейблер в 1951 году как направленное расхождение между двумя распределениями; Кульбак предпочел термин дискриминационная информация . Расхождение обсуждается в книге Кульбака 1959 года «Теория информации и статистика».

Определение

Для дискретных распределений вероятностей $P\; \{\backslash \; displaystyle\; P\}$и $Q\; \{\backslash \; displaystyle\; Q\}$, определенные в одном и том же вероятностном пространстве, $X\; \{\backslash \; displaystyle\; \{\backslash \; mathcal\; \{X\}\}\}$, расхождение Кульбака – Лейблера от $Q\; \{\backslash \; displaystyle\; Q\}$до $P\; \{\backslash \; displaystyle\; P\}$определяется как

$D\; KL\; (\; P\; \parallel \; Q)\; =\; \sum \; x\; \in \; XP\; (x)\; log\; \; (P\; (x)\; Q\; (x)).\; \{\backslash \; displaystyle\; D\; \_\; \{\backslash \; text\; \{KL\}\}\; (P\; \backslash \; parallel\; Q)\; =\; \backslash \; sum\; \_\; \{x\; \backslash \; in\; \{\backslash \; mathcal\; \{X\}\}\}\; P\; (x)\; \backslash \; log\; \backslash \; left\; (\{\backslash \; frac\; \{P\; (x)\; \}\; \{Q\; (x)\}\}\; \backslash \; right).\}$

что эквивалентно

$D\; KL\; (P\; \parallel \; Q)\; =\; -\; \sum \; x\; \in \; XP\; (x)\; log\; \; (Q\; (x)\; P\; (x))\; \{\backslash \; displaystyle\; D\; \_\; \{\backslash \; text\; \{KL\}\}\; (P\; \backslash \; parallel\; Q)\; =\; -\; \backslash \; sum\; \_\; \{x\; \backslash \; in\; \{\backslash \; mathcal\; \{X\}\}\}\; P\; (x)\; \backslash \; log\; \backslash \; left\; (\{\backslash \; frac\; \{Q\; (\; x)\}\; \{P\; (x)\}\}\; \backslash \; right)\}$

Другими словами, это математическое ожидание логарифмической разницы между вероятностями $P\; \{\backslash \; displaystyle\; P\}$и $Q\; \{\backslash \; displaystyle\; Q\}$, где математическое ожидание берется с использованием вероятностей $P\; \{\backslash \; displaystyle\; P\}$. Дивергенция Кульбака – Лейблера определяется, только если для всех $x\; \{\backslash \; displaystyle\; x\}$, $Q\; (x)\; =\; 0\; \{\backslash \; displaystyle\; Q\; (x)\; =\; 0\}$подразумевает $P\; (x)\; =\; 0\; \{\backslash \; displaystyle\; P\; (x)\; =\; 0\}$(абсолютная непрерывность ). Когда $P\; (x)\; \{\backslash \; displaystyle\; P\; (x)\}$равно нулю, вклад соответствующего члена интерпретируется как ноль, потому что

$lim\; x\; \to \; 0\; +\; x\; log\; \; (x)\; =\; 0.\; \{\backslash \; displaystyle\; \backslash \; lim\; \_\; \{x\; \backslash \; to\; 0\; ^\; \{+\}\}\; x\; \backslash \; log\; (x)\; =\; 0.\}$

Для распределений $P\; \{\backslash \; displaystyle\; P\}$и $Q\; \{\backslash \; displaystyle\; Q\}$непрерывной случайной величины, расхождение Кульбака – Лейблера определяется как интеграл:

$D\; KL\; (P\; \parallel \; Q)\; =\; \int \; -\; \infty \; \infty \; п\; (Икс)\; журнал\; \; (п\; (Икс)\; Q\; (Икс))\; dx\; \{\backslash \; Displaystyle\; D\; \_\; \{\backslash \; text\; \{KL\}\}\; (P\; \backslash \; parallel\; Q)\; =\; \backslash \; int\; \_\; \{-\; \backslash \; infty\}\; ^\; \{\backslash \; infty\; \}\; p\; (x)\; \backslash \; log\; \backslash \; left\; (\{\backslash \; frac\; \{p\; (x)\}\; \{q\; (x)\}\}\; \backslash \; right)\; \backslash ,\; dx\}$

где $p\; \{\backslash \; displaystyle\; p\}$и $q\; \{\backslash \; displaystyle\; q\}$обозначают плотности вероятности для $P\; \{\backslash \; displaystyle\; P\}$и $Q\; \{\; \backslash \; displaystyle\; Q\}$.

В более общем смысле, если $P\; \{\backslash \; displaystyle\; P\}$и $Q\; \{\backslash \; displaystyle\; Q\}$являются вероятностными мерами над набором $X\; \{\backslash \; displaystyle\; \{\backslash \; mathcal\; \{X\}\}\}$и $P\; \{\backslash \; displaystyle\; P\}$является абсолютно непрерывным относительно $Q\; \{\backslash \; displaystyle\; Q\}$, тогда расхождение Кульбака – Лейблера от $Q\; \{\backslash \; displaystyle\; Q\}$до $P\; \{\backslash \; displaystyle\; P\}$определяется как

$D\; KL\; (P\; \parallel \; Q)\; =\; \int \; X\; log\; \; (d\; P\; d\; Q)\; d\; P,\; \{\backslash \; displaystyle\; D\; \_\; \{\backslash \; text\; \{KL\}\}\; (P\; \backslash \; parallel\; Q)\; =\; \backslash \; int\; \_\; \{\backslash \; mathcal\; \{X\}\}\; \backslash \; log\; \backslash \; left\; (\{\backslash \; frac\; \{dP\}\; \{dQ\}\}\; \backslash \; right)\; \backslash ,\; dP,\}$

где $d\; P\; d\; Q\; \{\backslash \; displaystyle\; \{\backslash \; frac\; \{dP\}\; \{dQ\}\}\}$- производная Радона – Никодима $P\; \{\backslash \; displaystyle\; P\}$по отношению к $Q\; \{\backslash \; displaystyle\; Q\}$и при условии, что выражение в правой части существует. Эквивалентно (по правилу цепочки ) это можно записать как

$D\; KL\; (P\; \parallel \; Q)\; =\; \int \; X\; log\; \; (d\; P\; d\; Q)\; d\; P\; d\; Q\; d\; Q,\; \{\backslash \; displaystyle\; D\; \_\; \{\backslash \; text\; \{KL\}\}\; (P\; \backslash \; parallel\; Q)\; =\; \backslash \; int\; \_\; \{\backslash \; mathcal\; \{X\}\}\; \backslash \; log\; \backslash \; left\; (\{\backslash \; frac\; \{dP\}\; \{dQ\}\}\; \backslash \; right)\; \{\backslash \; frac\; \{dP\}\; \{\; dQ\}\}\; \backslash ,\; dQ,\}$

который является энтропией $Q\; \{\backslash \; displaystyle\; Q\}$относительно $P\; \{\backslash \; displaystyle\; P\}$. Продолжая в этом случае, если $\mu \; \{\backslash \; displaystyle\; \backslash \; mu\}$- это любая мера на $X\; \{\backslash \; displaystyle\; \{\backslash \; mathcal\; \{X\}\}\}$, для которой $p\; =\; d\; P\; d\; \mu \; \{\backslash \; displaystyle\; p\; =\; \{\backslash \; frac\; \{dP\}\; \{d\; \backslash \; mu\}\}\}$и $q\; =\; d\; Q\; d\; \mu \; \{\backslash \; displaystyle\; q\; =\; \{\backslash \; frac\; \{dQ\}\; \{d\; \backslash \; mu\}\}\}$существуют (это означает, что $p\; \{\backslash \; displaystyle\; p\}$и $q\; \{\backslash \; displaystyle\; q\}$абсолютно непрерывны по отношению к $\mu \; \{\backslash \; displaystyle\; \backslash \; mu\}$), то расхождение Кульбака – Лейблера от $Q\; \{\backslash \; displaystyle\; Q\}$до $P\; \{\backslash \; displaystyle\; P\}$задается как

$D\; KL\; (P\; \parallel \; Q)\; =\; \int \; X\; p\; log\; \; (pq)\; d\; \mu .\; \{\backslash \; displaystyle\; D\; \_\; \{\backslash \; text\; \{KL\}\}\; (P\; \backslash \; parallel\; Q)\; =\; \backslash \; int\; \_\; \{\backslash \; mathcal\; \{X\}\}\; p\; \backslash \; log\; \backslash \; left\; (\{\backslash \; frac\; \{p\}\; \{q\}\}\; \backslash \; right)\; \backslash ,\; d\; \backslash \; mu.\}$

Логарифмы в этих формулах принимаются по основанию 2, если информация измеряется в единицах бит, или к основанию $e\; \{\backslash \; displaystyle\; e\}$, если информация измеряется в нат. Большинство формул, содержащих расхождение Кульбака – Лейблера, справедливы независимо от основания логарифма.

Существуют различные соглашения для обращения к $D\; KL\; (P\; \parallel \; Q)\; \{\backslash \; displaystyle\; D\; \_\; \{\backslash \; text\; \{KL\}\}\; (P\; \backslash \; parallel\; Q)\}$словами. Часто это называют расхождением между $P\; \{\backslash \; displaystyle\; P\}$и $Q\; \{\backslash \; displaystyle\; Q\}$, но это не передает фундаментальную асимметрию в отношение. Иногда, как в этой статье, это может быть описано как расхождение $P\; \{\backslash \; displaystyle\; P\}$от $Q\; \{\backslash \; displaystyle\; Q\}$или как расхождение от $Q\; \{\backslash \; displaystyle\; Q\}$до $P\; \{\backslash \; displaystyle\; P\}$. Это отражает асимметрию в байесовском выводе, который начинается с prior $Q\; \{\backslash \; displaystyle\; Q\}$и обновляется до задний $P\; \{\backslash \; displaystyle\; P\}$. Другой распространенный способ обозначения $D\; KL\; (P\; \parallel \; Q)\; \{\backslash \; displaystyle\; D\; \_\; \{\backslash \; text\; \{KL\}\}\; (P\; \backslash \; parallel\; Q)\}$- это относительная энтропия $P\; \{\backslash \; displaystyle\; P\}$относительно $Q\; \{\backslash \; displaystyle\; Q\}$.

Базовый пример

Кульбак приводит следующий пример (таблица 2.1, пример 2.1). Пусть $P\; \{\backslash \; displaystyle\; P\}$и $Q\; \{\backslash \; displaystyle\; Q\}$будут распределениями, показанными в таблице и на рисунке. $P\; \{\backslash \; displaystyle\; P\}$- распределение в левой части рисунка, биномиальное распределение с $N\; =\; 2\; \{\backslash \; displaystyle\; N\; =\; 2\}$и $p\; =\; 0,4\; \{\backslash \; displaystyle\; p\; =\; 0,4\}$. $Q\; \{\backslash \; displaystyle\; Q\}$- распределение в правой части рисунка, дискретное равномерное распределение с три возможных результата $x\; =\; 0\; \{\backslash \; displaystyle\; x\; =\; 0\}$, $1\; \{\backslash \; displaystyle\; 1\}$или $2\; \{\backslash \; displaystyle\; 2\}$( т.е. $X\; =\; \{0,\; 1,\; 2\}\; \{\backslash \; displaystyle\; \{\backslash \; mathcal\; \{X\}\}\; =\; \backslash \; \{0,1,2\; \backslash \}\}$), каждый с вероятностью $p\; =\; 1/3\; \{\backslash \; displaystyle\; p\; =\; 1/3\}$.

x	0	1	2
Распределение P (x)	$9/25\; \{\backslash \; displaystyle\; 9/25\}$	$12/25\; \{\backslash \; displaystyle\; 12/25\}$	$4\; /\; 25\; \{\backslash \; displaystyle\; 4/25\}$
Распределение Q (x)	$1/3\; \{\backslash \; displaystyle\; 1/3\}$	$1/3\; \{\backslash \; displaystyle\; 1/3\}$	$1/3\; \{\; \backslash \; displaystyle\; 1/3\}$

KL-расхождения $D\; KL\; (P\; \parallel \; Q)\; \{\backslash \; displaystyle\; D\; \_\; \{\backslash \; text\; \{KL\}\}\; (P\; \backslash \; parallel\; Q)\}$и $D\; KL\; (Q\; \parallel \; P)\; \{\backslash \; displaystyle\; D\; \_\; \{\backslash \; text\; \{KL\}\}\; (Q\; \backslash \; par\; аллель\; P)\}$рассчитываются следующим образом. В этом примере используется натуральный логарифм с основанием e, обозначенный $ln\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{ln\}\}$для получения результатов в nats. (см. единицы информации ).

$D\; KL\; (P\; \parallel \; Q)\; =\; \sum \; x\; \in \; XP\; (x)\; ln\; \; (P\; (x)\; Q\; (x))\; =\; 9\; 25\; ln\; \; (9/25\; 1/3)\; +\; 12\; 25\; ln\; \; (12\; /\; 25\; 1/3)\; +\; 4\; 25\; ln\; \; (4/25\; 1/3)\; =\; 1\; 25\; (32\; ln\; \; (2)\; +\; 55\; ln\; \; (3)\; -\; 50\; ln\; \; (5))\; \approx \; 0,0852996\; \{\backslash \; displaystyle\; \{\; \backslash \; begin\; \{align\}\; D\; \_\; \{\backslash \; text\; \{KL\}\}\; (P\; \backslash \; parallel\; Q)\; =\; \backslash \; sum\; \_\; \{x\; \backslash \; in\; \{\backslash \; mathcal\; \{X\}\}\}\; P\; (x)\; \backslash \; ln\; \backslash \; left\; (\{\backslash \; frac\; \{P\; (x)\}\; \{Q\; (x)\}\}\; \backslash \; right)\; \backslash \backslash \; =\; \{\backslash \; frac\; \{9\}\; \{25\}\}\; \backslash \; ln\; \backslash \; left\; (\{\backslash \; frac\; \{9/25\}\; \{1/3\}\}\; \backslash \; right)\; +\; \{\backslash \; frac\; \{12\}\; \{25\}\}\; \backslash \; ln\; \backslash \; left\; (\{\backslash \; frac\; \{12/25\}\; \{1/3\}\}\; \backslash \; right)\; +\; \{\backslash \; frac\; \{4\}\; \{25\}\}\; \backslash \; ln\; \backslash \; left\; (\{\; \backslash \; frac\; \{4/25\}\; \{1/3\}\}\; \backslash \; right)\; \backslash \backslash \; =\; \{\backslash \; frac\; \{1\}\; \{25\}\}\; \backslash \; left\; (32\; \backslash \; ln\; (2)\; +55\; \backslash \; ln\; (3)\; -50\; \backslash \; ln\; (5)\; \backslash \; справа)\; \backslash \; приблизительно\; 0,0852996\; \backslash \; end\; \{align\}\}\}$

$D\; KL\; (Q\; \parallel \; P)\; =\; \sum \; x\; \in \; XQ\; (x)\; ln\; \; (Q\; (x)\; P\; (x))\; =\; 1\; 3\; ln\; \; (1/3\; 9/25)\; +\; 1\; 3\; ln\; \; (1/3\; 12/25)\; +\; 1\; 3\; ln\; \; (1/3\; 4/25)\; =\; 1\; 3\; (-\; 4\; ln\; \; (2)\; -\; 6\; ln\; \; (3)\; +\; 6\; пер\; \; (5))\; \approx \; 0,097455\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{align\}\; D\; \_\; \{\backslash \; text\; \{KL\}\}\; (Q\; \backslash \; parallel\; P)\; =\; \backslash \; sum\; \_\; \{x\; \backslash \; in\; \{\backslash \; mathcal\; \{X\; \}\}\}\; Q\; (x)\; \backslash \; ln\; \backslash \; left\; (\{\backslash \; frac\; \{Q\; (x)\}\; \{P\; (x)\}\}\; \backslash \; right)\; \backslash \backslash \; =\; \{\backslash \; frac\; \{1\}\; \{3\}\}\; \backslash \; ln\; \backslash \; left\; (\; \{\backslash \; frac\; \{1/3\}\; \{9/25\}\}\; \backslash \; right)\; +\; \{\backslash \; frac\; \{1\}\; \{3\}\}\; \backslash \; ln\; \backslash \; left\; (\{\backslash \; frac\; \{1/3\}\; \{12/25\}\}\; \backslash \; right)\; +\; \{\backslash \; frac\; \{1\}\; \{3\}\}\; \backslash \; ln\; \backslash \; left\; (\{\backslash \; frac\; \{\; 1/3\}\; \{4/25\}\}\; \backslash \; right)\; \backslash \backslash \; =\; \{\backslash \; frac\; \{1\}\; \{3\}\}\; \backslash \; left\; (-4\; \backslash \; ln\; (2)\; -6\; \backslash \; ln\; (3)\; +6\; \backslash \; ln\; (5)\; \backslash \; right)\; \backslash \; приблизительно\; 0,097455\; \backslash \; end\; \{align\}\}\}$

Интерпретация

Расхождение Кульбака – Лейблера от $Q\; \{\backslash \; displaystyle\; Q\}$до $P\; \{\backslash \; displaystyle\; P\}$часто обозначается $D\; KL\; (P\; \parallel \; Q)\; \{\backslash \; displaystyle\; D\; \_\; \{\backslash \; text\; \{KL\}\}\; (P\; \backslash \; parallel\; Q)\}$.

в контексте машинное обучение, $D\; KL\; (P\; \parallel \; Q)\; \{\backslash \; displaystyle\; D\; \_\; \{\backslash \; text\; \{KL\}\}\; (P\; \backslash \; parallel\; Q)\}$часто называют информацией . усиление достигается, если $Q\; \{\backslash \; displaystyle\; Q\}$используется вместо $P\; \{\backslash \; displaystyle\; P\}$. По аналогии с теорией информации, она также называется относительной энтропией $P\; \{\backslash \; displaystyle\; P\}$относительно $Q\; \{\backslash \; displaystyle\; Q\}$. В контексте теории кодирования можно построить $D\; KL\; (P\; \parallel \; Q)\; \{\backslash \; displaystyle\; D\; \_\; \{\backslash \; text\; \{KL\}\}\; (P\; \backslash \; parallel\; Q)\}$путем измерения ожидаемого количества дополнительных бит, необходимых для кодирования выборок из $P\; \{\backslash \; displaystyle\; P\}$с использованием кода, оптимизированного для $Q\; \{\; \backslash \; displaystyle\; Q\}$вместо кода, оптимизированного для $P\; \{\backslash \; displaystyle\; P\}$.

Выражается на языке байесовского вывода, $D\; KL\; (P\; \parallel \; Q)\; \{\backslash \; displaystyle\; D\; \_\; \{\backslash \; text\; \{KL\}\}\; (P\; \backslash \; parallel\; Q)\}$- мера информации, полученной путем пересмотра своих убеждений из априорного распределения вероятностей $Q\; \{\backslash \; displaystyle\; Q\}$до апостериорного распределения вероятностей $P\; \{\backslash \; displaystyle\; P\}$. Другими словами, это количество информации, потерянной при использовании $Q\; \{\backslash \; displaystyle\; Q\}$для аппроксимации $P\; \{\backslash \; displaystyle\; P\}$. В приложениях $P\; \{\backslash \; displaystyle\; P\}$обычно представляет «истинное» распределение данных, наблюдений или точно рассчитанное теоретическое распределение, а $Q\; \{\backslash \; displaystyle\; Q\}$обычно представляет теорию, модель, описание или приближение для $P\; \{\backslash \; displaystyle\; P\}$. Чтобы найти распределение $Q\; \{\backslash \; displaystyle\; Q\}$, которое наиболее близко к $P\; \{\backslash \; displaystyle\; P\}$, мы можем минимизировать расхождение KL и вычислить информационная проекция.

Дивергенция Кульбака – Лейблера является частным случаем более широкого класса статистических расхождений, называемых f-дивергенциями, а также класса расхождений Брегмана.. Это единственное такое расхождение по вероятностям, которое принадлежит обоим классам. Хотя это часто интуитивно воспринимается как способ измерения расстояния между распределениями вероятностей, расхождение Кульбака – Лейблера не является истинной метрикой. Он не подчиняется неравенству треугольника и в целом $D\; KL\; (P\; \parallel \; Q)\; \{\backslash \; displaystyle\; D\; \_\; \{\backslash \; text\; \{KL\}\}\; (P\; \backslash \; parallel\; Q)\}$не равно $D\; KL\; (Q\; \parallel \; P)\; \{\backslash \; displaystyle\; D\; \_\; \{\backslash \; text\; \{KL\}\}\; (Q\; \backslash \; parallel\; P)\}$. Однако его бесконечно малая форма, в частности его гессиан, дает метрический тензор, известный как информационная метрика Фишера.

Артур Хобсон доказал, что Кульбак –Дивергенция Лейблера - это единственная мера различия между распределениями вероятностей, которая удовлетворяет некоторым желаемым свойствам, которые являются каноническим расширением для тех, которые появляются в обычно используемой характеристике энтропии. Следовательно, взаимная информация является единственной мерой взаимной зависимости, которая подчиняется определенным связанным условиям, поскольку ее можно определить в терминах расхождения Кульбака – Лейблера.

Мотивация

Иллюстрация Кульбака– Дивергенция Лейблера (KL) для двух нормальных распределений. Типичная асимметрия расхождения Кульбака-Лейблера четко видна.

В теории информации теорема Крафт-Макмиллана устанавливает, что любая непосредственно декодируемая схема кодирования для кодирования сообщения идентифицирует одно значение $xi\; \{\backslash \; displaystyle\; x\_\; \{i\}\}$из набора возможностей $X\; \{\backslash \; displaystyle\; X\}$можно рассматривать как представление неявного распределения вероятностей $q\; (xi)\; =\; 2\; -\; \ell \; я\; \{\backslash \; displaystyle\; q\; (x\_\; \{i\})\; =\; 2\; ^\; \{-\; \backslash \; ell\; \_\; \{i\}\}\}$более $X\; \{\backslash \; displaystyle\; X\}$, где $\ell \; i\; \{\backslash \; displaystyle\; \backslash \; ell\; \_\; \{i\}\}$- длина кода для $xi\; \{\backslash \; displaystyle\; x\_\; \{i\}\}$в биты. Следовательно, расхождение Кульбака – Лейблера можно интерпретировать как ожидаемую дополнительную длину сообщения на данные, которые должны быть переданы, если код является оптимальным для данного (неправильного) распределения $Q\; \{\backslash \; displaystyle\; Q\}$, по сравнению с использованием кода, основанного на истинном распределении $P\; \{\backslash \; displaystyle\; P\}$.

$D\; KL\; (P\; \parallel \; Q)\; =\; -\; \sum \; x\; \in \; X\; p\; (x)\; log\; \; q\; (x)\; +\; \sum \; Икс\; \in \; Икс\; п\; (Икс)\; журнал\; \; п\; (Икс)\; знак\; равно\; H\; (P,\; Q)\; -\; H\; (P)\; \{\backslash \; Displaystyle\; \{\backslash \; begin\; \{align\}\; D\; \_\; \{\backslash \; text\; \{KL\}\}\; (P\; \backslash \; parallel\; Q)\; =\; -\; \backslash \; sum\; \_\; \{x\; \backslash \; in\; \{\backslash \; mathcal\; \{X\}\}\}\; p\; (x)\; \backslash \; log\; q\; (x)\; +\; \backslash \; sum\; \_\; \{x\; \backslash \; in\; \{\backslash \; mathcal\; \{X\}\}\}\; p\; (x)\; \backslash \; log\; p\; (Икс)\; \backslash \backslash \; =\; \backslash \; mathrm\; \{H\}\; (P,\; Q)\; -\; \backslash \; mathrm\; \{H\}\; (P)\; \backslash \; end\; \{align\}\}\}$

где $H\; (P,\; Q)\; \{\backslash \; displaystyle\; \backslash \; mathrm\; \{H\}\; (P,\; Q)\}$- это перекрестная энтропия для $P\; \{\backslash \; displaystyle\; P\}$и $Q\; \{\backslash \; displaystyle\; Q\}$, и $H\; (P)\; \{\backslash \; displaystyle\; \backslash \; mathrm\; \{H\}\; (P)\}$- энтропия $P\; \{\; \backslash \; displaystyle\; P\}$(то же самое, что кросс-энтропия P с самим собой).

Расхождение KL $KL\; (P\; \parallel \; Q)\; \{\backslash \; displaystyle\; KL\; (P\; \backslash \; parallel\; Q)\}$можно рассматривать как что-то вроде измерения того, насколько далеко распределение Q из распределения P. Перекрестная энтропия $H\; (P,\; Q)\; \{\backslash \; displaystyle\; H\; (P,\; Q)\}$сама по себе является таким измерением, но имеет недостаток, заключающийся в том, что $H\; (P,\; P)\; =:\; H\; (P)\; \{\backslash \; displaystyle\; H\; (P,\; P)\; =:\; H\; (P)\}$не равно нулю, поэтому мы вычитаем $H\; (P)\; \{\; \backslash \; displaystyle\; H\; (P)\}$, чтобы $KL\; (P\; \parallel \; Q)\; \{\backslash \; displaystyle\; KL\; (P\; \backslash \; parallel\; Q)\}$больше соответствовал нашему понятию расстояния. (К сожалению, это все еще несимметрично.) Существует связь между расхождением Кульбака – Лейблера и «функцией коэффициента » в теории больших отклонений.

Свойства

• Кульбака –Дивергенция Лейблера всегда неотрицательная,

$D\; KL\; (P\; \parallel \; Q)\; \ge \; 0,\; \{\backslash \; displaystyle\; D\; \_\; \{\backslash \; text\; \{KL\}\}\; (P\; \backslash \; parallel\; Q)\; \backslash \; geq\; 0,\}$

a результат, известный как неравенство Гиббса, с $D\; KL\; (P\; \parallel \; Q)\; \{\backslash \; displaystyle\; D\; \_\; \{\backslash \; text\; \{KL\}\}\; (P\; \backslash \; parallel\; Q)\}$ноль тогда и только тогда, когда $P\; =\; Q\; \{\backslash \; displaystyle\; P\; =\; Q\}$почти везде. Энтропия $H\; (P)\; \{\backslash \; displaystyle\; \backslash \; mathrm\; \{H\}\; (P)\}$, таким образом, устанавливает минимальное значение для кросс-энтропии $H\; (P,\; Q)\; \{\backslash \; displaystyle\; \backslash \; mathrm\; \{H\}\; (P,\; Q)\}$, ожидаемое количество бит, необходимое при использовании кода, основанного на $Q\; \{\backslash \; displaystyle\; Q\}$вместо $P\; \{\backslash \; displaystyle\; P\}$; и дивергенция Кульбака – Лейблера, следовательно, представляет собой ожидаемое количество дополнительных битов, которые должны быть переданы для идентификации значения $x\; \{\backslash \; displaystyle\; x\}$, взятого из $X\; \{\backslash \; displaystyle\; X\}$, если используется код, соответствующий распределению вероятностей $Q\; \{\backslash \; displaystyle\; Q\}$, а не «истинному» распределению $P\; \{\backslash \; displaystyle\; P\}$.

• Дивергенция Кульбака – Лейблера остается четко определенной для непрерывных распределений и, кроме того, инвариантна относительно преобразований параметров . Например, если преобразование выполнено из переменной $x\; \{\backslash \; displaystyle\; x\}$в переменную $y\; (x)\; \{\backslash \; displaystyle\; y\; (x)\}$, то, поскольку $P\; (x)\; dx\; =\; P\; (y)\; dy\; \{\backslash \; displaystyle\; P\; (x)\; dx\; =\; P\; (y)\; dy\}$и $Q\; (x)\; dx\; =\; Q\; (y)\; dy\; \{\backslash \; displaystyle\; Q\; (x)\; dx\; =\; Q\; (y)\; dy\}$расхождение Кульбака – Лейблера можно переписать:

$D\; KL\; (P\; \parallel \; Q)\; =\; \int \; xaxb\; P\; (x)\; log\; \; (P\; (x)\; Q\; (x))\; dx\; =\; \int \; yayb\; P\; (y)\; log\; \; (P\; (y)\; dydx\; Q\; (y)\; dydx)\; dy\; =\; \int \; yayb\; P\; (y)\; log\; \; (P\; (y)\; Q\; (\; y))\; dy\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{align\}\; D\; \_\; \{\backslash \; text\; \{KL\}\}\; (P\; \backslash \; parallel\; Q)\; =\; \backslash \; int\; \_\; \{x\_\; \{a\}\}\; ^\; \{x\_\; \{b\}\}\; P\; (x)\; \backslash \; log\; \backslash \; left\; (\{\backslash \; frac\; \{P\; (x)\}\; \{Q\; (x)\}\}\; \backslash \; right)\; \backslash ,\; dx\; \backslash \backslash \; [6pt]\; =\; \backslash \; int\; \_\{y\_\; \{a\}\}\; ^\; \{y\_\; \{b\}\}\; P\; (y)\; \backslash \; log\; \backslash \; left\; (\{\backslash \; frac\; \{P\; (y)\; \backslash ,\; \{\backslash \; frac\; \{dy\}\; \{dx\}\}\}\; \{Q\; (y)\; \backslash ,\; \{\backslash \; frac\; \{dy\}\; \{dx\}\}\}\}\; \backslash \; right)\; \backslash ,\; dy\; =\; \backslash \; int\; \_\; \{y\_\; \{a\}\}\; ^\; \{y\_\; \{b\}\}\; P\; (y)\; \backslash \; log\; \backslash \; left\; (\{\backslash \; frac\; \{P\; (\; y)\}\; \{Q\; (y)\}\}\; \backslash \; right)\; \backslash ,\; dy\; \backslash \; end\; \{align\}\}\}$

где $ya\; =\; y\; (xa)\; \{\backslash \; displaystyle\; y\_\; \{a\}\; =\; y\; (x\_\; \{a\})\}$и $yb\; =\; y\; (xb)\; \{\backslash \; displaystyle\; y\_\; \{b\}\; =\; y\; (x\_\; \{b\})\}$. Хотя предполагалось, что преобразование было непрерывным, это не обязательно. Это также показывает, что дивергенция Кульбака - Лейблера дает согласованную по размерам значение, поскольку если $x\; \{\backslash \; displaystyle\; x\}$является размерной переменной, $P\; (x)\; \{\; \backslash \; displaystyle\; P\; (x)\}$и $Q\; (x)\; \{\backslash \; displaystyle\; Q\; (x)\}$также имеют размеры, например, $P\; (x)\; dx\; \{\backslash \; displaystyle\; P\; (x)\; dx\}$безразмерно. Аргумент логарифмического члена был и остается безразмерным, как и должно быть. Следовательно, его можно рассматривать как некоторые другие свойства теории информации (например, самоинформация или энтропия Шеннона ), которая может стать неопределенной или отрицательной для недискретных вероятностей.

• Дивергенция Кульбака - Лейблера аддитивна для независимых распределений во многом так же, как энтропия Шеннона. Если $P\; 1,\; P\; 2\; \{\backslash \; displaystyle\; P\_\; \{1\},\; P\_\; \{2\}\}$- независимые распределения, с совместным распределением $P\; (x,\; y)\; =\; P\; 1\; (x)\; П\; 2\; (Y)\; \{\backslash \; Displaystyle\; P\; (x,\; y)\; =\; P\_\; \{1\}\; (x)\; P\_\; \{2\}\; (y)\}$и $Q,\; Q\; 1,\; Q\; 2\; \{\backslash \; displaystyle\; Q,\; Q\_\; \{1\},\; Q\_\; \{2\}\}$аналогично, тогда

$D\; KL\; (P\; \parallel \; Q)\; =\; D\; KL\; (P\; 1\; \parallel \; Q\; 1)\; +\; D\; KL\; (P\; 2\; \parallel \; Вопрос\; 2).\; \{\backslash \; displaystyle\; D\; \_\; \{\backslash \; text\; \{KL\}\}\; (P\; \backslash \; parallel\; Q)\; =\; D\; \_\; \{\backslash \; text\; \{KL\}\}\; (P\_\; \{1\}\; \backslash \; parallel\; Q\_\; \{1\})\; +\; D\; \_\; \{\backslash \; text\; \{KL\}\}\; (P\_\; \{2\}\; \backslash \; parallel\; Q\_\; \{2\}).\}$

• Дивергенция Кульбака - Лейблера $D\; KL\; (P\; \parallel \; Q)\; \{\backslash \; displaystyle\; D\; \_\; \{\backslash \; text\; \{KL\}\}\; (P\; \backslash \; parallel\; Q)\}$является выпуклым в паре функций вероятности и массы $(p,\; q)\; \{\backslash \; displaystyle\; (p,\; q)\}$, т. Е. Если $(p\; 1,\; q\; 1)\; \{\backslash \; displaystyle\; (p\_\; \{1\},\; q\_\; \{1\})\}$и $(p\; 2,\; q\; 2)\; \{\backslash \; displaystyle\; (p\_\; \{2\; \}),\; q\_\; \{2\})\}$- две пары вероятностных массовых функций, тогда

  $D\; KL\; (\lambda \; p\; 1\; +\; (1\; -\; \lambda )\; p\; 2\; \parallel \; \lambda \; q\; 1\; +\; (1\; -\; \lambda )\; q\; 2)\; \le \; \lambda \; D\; KL\; (п\; 1\; \parallel \; q\; 1)\; +\; (1\; -\; \lambda )\; D\; KL\; (p\; 2\; \parallel \; q\; 2)\; для\; 0\; \le \; \lambda \; \le \; 1.\; \{\backslash \; displaystyle\; D\; \_\; \{\backslash \; text\; \{KL\}\}\; (\backslash \; лямбда\; p\_\; \{1\}\; +\; (1-\; \backslash \; lambda)\; p\_\; \{2\}\; \backslash \; parallel\; \backslash \; lambda\; q\_\; \{1\}\; +\; (1-\; \backslash \; lambda)\; q\_\; \{2\})\; \backslash \; leq\; \backslash \; lambda\; D\; \_\; \{\backslash \; text\; \{KL\}\}\; (\; p\_\; \{1\}\; \backslash \; parallel\; q\_\; \{1\})\; +\; (1-\; \backslash \; lambda)\; D\; \_\; \{\backslash \; text\; \{KL\}\}\; (p\_\; \{2\}\; \backslash \; parallel\; q\_\; \{2\})\; \{\backslash \; text\; \{for\}\}\; 0\; \backslash \; leq\; \backslash \; лямбда\; \backslash \; leq\; 1.\}$

Примеры

Многомерные нормальные распределения

Предположим, что у нас есть два многовариантных и нормальных распределения со средними значениями $\mu \; 0,\; \mu \; 1\; \{\backslash \; displaystyle\; \backslash \; mu\; \_\; \{0\},\; \backslash \; mu\; \_\; \{1\}\}$и с (неспособности установить) ковариационные матрицы $\Sigma \; 0,\; \Sigma \; 1.\; \{\; \backslash \; displaystyle\; \backslash \; Sigma\; \_\; \{0\},\; \backslash \; Sigma\; \_\; \{1\}.\}$Если два распределения имеют одинаковую величину ность, $k\; \{\backslash \; displaystyle\; k\}$, тогда расхождение Кульбака - Лейблера между распределениями выглядит следующим образом:

$D\; KL\; (N\; 0\; \parallel \; N\; 1)\; =\; 1\; 2\; (tr\; \; (\Sigma \; 1\; -\; 1\; \Sigma \; 0)\; +\; (\mu \; 1\; -\; \mu \; 0)\; T\; \Sigma \; 1\; -\; 1\; (\mu \; 1\; -\; \mu \; 0)\; -\; k\; +\; ln\; \; (det\; \Sigma \; 1\; det\; \Sigma \; 0)).\; \{\backslash \; displaystyle\; D\; \_\; \{\backslash \; text\; \{KL\}\}\; \backslash \; left\; (\{\backslash \; mathcal\; \{N\}\}\; \_\; \{0\}\; \backslash \; parallel\; \{\backslash \; mathcal\; \{N\}\}\; \_\; \{1\}\; \backslash \; right)\; =\; \{\backslash \; frac\; \{1\}\; \{\; 2\}\}\; \backslash \; left\; (\backslash \; operatorname\; \{tr\}\; \backslash \; left\; (\backslash \; Sigma\; \_\; \{1\}\; ^\; \{-\; 1\}\; \backslash \; Sigma\; \_\; \{0\}\; \backslash \; right)\; +\; \backslash \; left\; (\backslash \; mu\; \_\; \{1\}\; -\; \backslash \; mu\; \_\; \{0\; \}\; \backslash \; right)\; ^\; \{\backslash \; mathsf\; \{T\}\}\; \backslash \; Sigma\; \_\; \{1\}\; ^\; \{-\; 1\}\; \backslash \; left\; (\backslash \; mu\; \_\; \{1\}\; -\; \backslash \; mu\; \_\; \{0\}\; \backslash \; right)\; -k\; +\; \backslash \; ln\; \backslash \; left\; (\; \{\backslash \; frac\; \{\backslash \; det\; \backslash \; Sigma\; \_\; \{1\}\}\; \{\backslash \; det\; \backslash \; Sigma\; \_\; \{0\}\}\}\; \backslash \; right)\; \backslash \; right).\}$

Логарифм в последнем члене должен быть взят за основу e, поскольку все члены, кроме последнего, являются логарифмами по основанию выражений, которые либо являются факторами плотности плотности, либо иным образом образуются естественным образом. Таким образом, уравнение дает результат, измеренный в нат. Разделив все выражение выше на $ln\; \; (2)\; \{\backslash \; displaystyle\; \backslash \; ln\; (2)\}$, получаем расхождение в битах.

Особый случай и обычная величина в вариационный вывод, это KL-расхождение между диагональным многомерным нормальным и стандартным нормальным распределением (с нулевым средним и единичной дисперсией):

$D\; KL\; (N\; ((\mu \; 1,\dots ,\; \mu \; k)\; T,\; diag\; \; (\sigma \; 1\; 2,\dots ,\; \Sigma \; k\; 2))\; \parallel \; N\; (0,\; I))\; =\; 1\; 2\; \sum \; i\; =\; 1\; k\; (\sigma \; i\; 2\; +\; \mu \; i\; 2\; -\; 1\; -\; ln\; \; (\sigma \; i\; 2)).\; \{\backslash \; Displaystyle\; D\; \_\; \{\backslash \; текст\; \{KL\}\}\; \backslash \; left\; (\{\backslash \; mathcal\; \{N\}\}\; \backslash \; left\; (\backslash \; left\; (\backslash \; mu\; \_\; \{1\},\; \backslash \; ldots,\; \backslash \; mu\; \_\; \{k\}\; \backslash \; right)\; ^\; \{\backslash \; mathsf\; \{T\}\},\; \backslash \; operatorname\; \{diag\}\; \backslash \; left\; (\backslash \; sigma\; \_\; \{1\}\; ^\; \{2\},\; \backslash \; ldots,\; \backslash \; sigma\; \_\; \{k\}\; ^\; \{2\}\; \backslash \; right)\; \backslash \; right)\; \backslash \; parallel\; \{\backslash \; mathcal\; \{\; N\}\}\; \backslash \; left\; (\backslash \; mathbf\; \{0\},\; \backslash \; mathbf\; \{I\}\; \backslash \; right)\; \backslash \; right)\; =\; \{1\; \backslash \; over\; 2\}\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{k\}\; \backslash \; left\; (\backslash \; sigma\; \_\; \{i\; \}\; ^\; \{2\}\; +\; \backslash \; mu\; \_\; \{i\}\; ^\; \{2\}\; -1-\; \backslash \; ln\; \backslash \; left\; (\backslash \; sigma\; \_\; \{i\}\; ^\; \{2\}\; \backslash \; right)\; \backslash \; right).\}$

Отношение к метрикам

метрикой расстояния »в пространстве вероятностных распределений, но это было бы неправильно, оно не - то есть $D\; KL\; (P\; \parallel \; Q)\; \ne \; D\; KL\; (Q\; \parallel \; P)\; \{\backslash \; displaystyle\; D\; \_\; \{\backslash \; text\; \{KL\}\}\; (P\; \backslash \; parallel\; Q)\; \backslash \; neq\; D\; \_\; \{\backslash \; text\; \{KL\}\}\; (Q\; \backslash \; параллельно\; P)\}$- и не удовлетворяет неравенству треугольника. Даже в этом случае, будучи преметрикой, он генерирует топологию в пространстве распределений вероятностей. Более конкретно, если $\{P\; 1,\; P\; 2,\dots \}\; \{\backslash \; displaystyle\; \backslash \; \{P\_\; \{1\},\; P\_\; \{2\},\; \backslash \; ldots\; \backslash \}\}$- это последовательность распределений, такая что

$lim\; n\; \to \; \infty \; D\; KL\; (п\; N\; \parallel \; Q)\; =\; 0\; \{\backslash \; displaystyle\; \backslash \; lim\; \_\; \{n\; \backslash \; to\; \backslash \; infty\}\; D\; \_\; \{\backslash \; text\; \{KL\}\}\; (P\_\; \{n\}\; \backslash \; parallel\; Q)\; =\; 0\}$

, то говорят, что

$P\; n\; \to \; DQ.\; \{\backslash \; displaystyle\; P\_\; \{n\}\; \{\backslash \; xrightarrow\; \{D\}\}\; Q.\}$

Из неравенства Пинскера следует, что

$P\; n\; \to \; DP\; \Rightarrow \; P\; n\; \to \; TVP,\; \{\backslash \; displaystyle\; P\_\; \{n\}\; \{\; \backslash \; xrightarrow\; \{D\}\}\; P\; \backslash \; Rightarrow\; P\_\; \{n\}\; \{\backslash \; xrightarrow\; \{TV\}\}\; P,\}$

, где последнее означает обычную сходимость в общей вариации.

метрика информации Fisher

Дивергенция Кульбака - Лейблера напрямую связана с информационной метрикой Фишера. Это можно пояснить следующим образом. Предположим, что распределения вероятностей $P\; \{\backslash \; displaystyle\; P\}$и $Q\; \{\backslash \; displaystyle\; Q\}$оба параметраризованы некоторыми (возможно, многомерным) параметром $\theta \; \{\; \backslash \; Displaystyle\; \backslash \; theta\}$. Рассмотрим тогда два близких значения: $P\; =\; P\; (\theta )\; \{\backslash \; displaystyle\; P\; =\; P\; (\backslash \; theta)\}$и $Q\; =\; P\; (\theta \; 0)\; \{\backslash \; displaystyle\; Q\; =\; P\; (\; \backslash \; theta\; \_\; \{0\})\}$, так что параметр $\theta \; \{\backslash \; displaystyle\; \backslash \; theta\}$лишь на небольшую часть отличается от значения $\theta \; 0\; \{\backslash \; displaystyle\; \backslash \; theta\; \_\; \{0\}\}$. В частности, до первого порядка (с использованием соглашения о суммировании Эйнштейна )

$P\; (\theta )\; =\; P\; (\theta \; 0)\; +\; \Delta \; \theta \; j\; P\; j\; (\theta \; 0)\; +\; \cdots \; \{\backslash \; displaystyle\; P\; (\backslash \; theta)\; =\; P\; (\backslash \; theta\; \_\; \{0\})\; +\; \backslash \; Delta\; \backslash \; theta\; \_\; \{j\}\; P\_\; \{j\}\; (\backslash \; theta\; \_\; \{0\})\; +\; \backslash \; cdots\}$

с $\Delta \; \theta \; j\; =\; (\theta \; -\; \theta \; 0)\; j\; \{\backslash \; displaystyle\; \backslash \; Delta\; \backslash \; theta\; \_\; \{j\}\; =\; (\backslash \; theta\; -\; \backslash \; theta\; \_\; \{0\})\; \_\; \{j\}\}$небольшое изменение $\theta \; \{\backslash \; displaystyle\; \backslash \; theta\}$в направлении $j\; \{\backslash \; displaystyle\; j\}$и $P\; j\; (\theta \; 0)\; =\; \partial \; P\; \partial \; \theta \; j\; (\theta \; 0)\; \{\backslash \; displaystyle\; P\_\; \{j\}\; \backslash \; left\; (\backslash \; theta\; \_\; \{0\}\; \backslash \; right)\; =\; \{\backslash \; frac\; \{\backslash \; partial\; P\}\; \{\backslash \; partial\; \backslash \; theta\; \_\; \{j\}\}\}\; (\backslash \; theta\; \_\; \{0\})\}$соответствующая скорость изменения распределения вероятностей. Расхождение Кульбака - Лейблера имеет абсолютный минимум 0 для $P\; =\; Q\; \{\backslash \; displaystyle\; P\; =\; Q\}$, то есть $\theta \; =\; \theta \; 0\; \{\backslash \; displaystyle\; \backslash \; theta\; =\; \backslash \; theta\; \_\; \{\; 0\}\}$, он изменяется только на второй порядок по малым параметрам $\Delta \; \theta \; j\; \{\backslash \; displaystyle\; \backslash \; Delta\; \backslash \; theta\; \_\; \{j\}\}$. Более формально, как и для любого минимума, первые переменные расходимости обращаются в нуль

$\partial \; \partial \; \theta \; j\; |\; \theta \; знак\; равно\; \theta \; 0\; D\; KL\; (п\; (\theta )\; \parallel \; п\; (\theta \; 0))\; =\; 0,\; \{\backslash \; displaystyle\; \backslash \; left.\; \{\backslash \; frac\; \{\backslash \; partial\}\; \{\backslash \; partial\; \backslash \; theta\; \_\; \{j\}\}\}\; \backslash \; right\; |\; \_\; \{\backslash \; theta\; =\; \backslash \; theta\; \_\; \{0\}\}\; D\; \_\; \{\backslash \; text\; \{KL\}\}\; (P\; (\backslash \; theta)\; \backslash \; parallel\; P\; (\backslash \; theta\; \_\; \{0\}))\; =\; 0,\}$

и Тейлора расширение до второго порядка

$D\; KL\; (P\; (\theta )\; \parallel \; P\; (\theta \; 0))\; =\; 1\; 2\; \Delta \; \theta \; j\; \Delta \; \theta \; kgjk\; (\theta \; 0)\; +\; \cdots \; \{\backslash \; displaystyle\; D\; \_\; \{\backslash \; text\; \{KL\; \}\}\; (P\; (\backslash \; theta)\; \backslash \; parallel\; P\; (\backslash \; theta\; \_\; \{0\}))\; =\; \{\backslash \; frac\; \{1\}\; \{2\}\}\; \backslash \; Delta\; \backslash \; theta\; \_\; \{j\}\; \backslash \; Delta\; \backslash \; theta\; \_\; \{k\}\; g\_\; \{jk\; \}\; (\backslash \; theta\; \_\; \{0\})\; +\; \backslash \; cdots\}$

где матрица Гессе дивергенции

$gjk\; (\theta \; 0)\; =\; \partial \; 2\; \partial \; \theta \; j\; \partial \; \theta \; k\; |\; \theta \; знак\; равно\; \theta \; 0\; D\; KL\; (п\; (\theta )\; \parallel \; п\; (\theta \; 0))\; \{\backslash \; displaystyle\; g\_\; \{jk\}\; (\backslash \; theta\; \_\; \{0\})\; =\; \backslash \; left.\; \{\backslash \; frac\; \{\backslash \; partial\; ^\; \{2\}\}\; \{\backslash \; частичный\; \backslash \; theta\; \_\; \{j\}\; \backslash ,\; \backslash \; partial\; \backslash \; theta\; \_\; \{k\}\}\}\; \backslash \; right\; |\; \_\; \{\backslash \; theta\; =\; \backslash \; theta\; \_\; \{0\}\}\; D\; \_\; \{\backslash \; text\; \{KL\}\}\; (P\; (\backslash \; theta)\; \backslash \; parallel\; P\; (\backslash \; theta\; \_\; \{0\}))\}$

должно быть положительным полуопределенным. Позволяя $\theta \; 0\; \{\backslash \; displaystyle\; \backslash \; theta\; \_\; \{0\}\}$исслед (и отбрасывая субиндекс 0) гессиан $gjk\; (\theta )\; \{\backslash \; displaystyle\; g\_\; \{jk\}\; (\backslash \; theta)\}$определяет (возможно, вырожденную) риманову метрику в пространственных параметрах, называемую информационной метрикой Фишера.

Информационная метрическая теорема Фишера

Когда $p\; (x,\; \rho )\; \{\backslash \; displaystyle\; p\; \_\; \{(x,\; \backslash \; rho)\}\}$удовлетворяет следующим условиям регулярности :

$\partial \; журнал\; \; (p)\; \partial \; \rho ,\; \partial \; 2\; журнал\; \; (p)\; \partial \; \rho \; 2,\; \partial \; 3\; журнал\; \; (p)\; \partial \; \rho \; 3\; \{\backslash \; displaystyle\; \{\backslash \; tfrac\; \{\backslash \; partial\; \backslash \; log\; (p)\}\; \{\; \backslash \; partial\; \backslash \; rho\}\},\; \{\backslash \; tfrac\; \{\backslash \; partial\; ^\; \{2\}\; \backslash \; log\; (p)\}\; \{\backslash \; partial\; \backslash \; rho\; ^\; \{2\}\}\},\; \{\backslash \; tfrac\; \{\backslash \; partial\; ^\; \{3\}\; \backslash \; log\; (p)\; \}\; \{\backslash \; partial\; \backslash \; rho\; ^\; \{3\}\}\}\}$существует,

где ξ не зависит от ρ

$\int \; x\; =\; 0\; \infty \; \partial \; p\; (x,\; \rho )\; \partial \; \rho \; |\; \rho \; =\; 0\; d\; x\; =\; \int \; x\; =\; 0\; \infty \; \partial \; 2\; p\; (x,\; \rho )\; \partial \; \rho \; 2\; |\; \rho \; знак\; равно\; 0\; dx\; знак\; равно\; 0\; \{\backslash \; displaystyle\; \backslash \; left.\; \backslash \; int\; \_\; \{x\; =\; 0\}\; ^\; \{\backslash \; infty\}\; \{\backslash \; frac\; \{\backslash \; partial\; p\; (x,\; \backslash \; rho)\}\; \{\backslash \; partial\; \backslash \; rho\}\}\; \backslash \; right\; |\; \_\; \{\backslash \; rho\; =\; 0\}\; \backslash ,\; dx\; =\; \backslash \; left.\; \backslash \; int\; \_\; \{x\; =\; 0\}\; ^\; \{\backslash \; infty\}\; \{\backslash \; frac\; \{\backslash \; partial\; ^\; \{2\}\; p\; (x,\; \backslash \; rho)\}\; \{\backslash \; partial\; \backslash \; rho\; ^\; \{2\}\}\}\; \backslash \; right\; |\; \_\; \{\backslash \; rho\; =\; 0\}\; \backslash ,\; dx\; =\; 0\}$

, тогда:

$D\; (p\; (x,\; 0)\; \parallel \; p\; (x,\; \rho ))\; =\; c\; \rho \; 2\; 2\; +\; O\; (\rho \; 3)\; как\; \rho \; \to \; 0.\; \{\backslash \; Displaystyle\; \{\backslash \; mathcal\; \{D\}\}\; (p\; (x,\; 0)\; \backslash \; parallel\; p\; (x,\; \backslash \; rho))\; =\; \{\backslash \; frac\; \{c\; \backslash \; rho\; ^\; \{2\}\}\; \{2\}\}\; +\; \{\; \backslash \; mathcal\; \{O\}\}\; \backslash \; left\; (\backslash \; rho\; ^\; \{3\}\; \backslash \; right)\; \{\backslash \; text\; \{as\}\}\; \backslash \; rho\; \backslash \; to\; 0.\}$

Изменение информации

Другой теоретико-информационный показатель - это Вариация информации, которая примерно представляет собой симметризацию условной энтропии. Это показатель на множестве разделов дискретного вероятностного пространства.

Связь с другими величинами теории информации

Многие другие величины теории информации можно интерпретировать как приложения расхождения Кульбака - Лейблера к конкретным случаям.

Собственная информация

Самоинформация , также известная как информационное содержание сигнала, случайной величины или события определяется как отрицательный логарифм вероятности наступления данного результата.

При применении к дискретной случайной величине самоинформация может быть представлена ​​как

$I\; \; (m)\; =\; D\; KL\; (\delta \; im\; \parallel \; \{pi\}),\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{\backslash \; operatorname\; \{I\}\}\; (m)\; =\; D\; \_\; \{\backslash \; text\; \{KL\}\}\; \backslash \; left\; (\backslash \; delta\; \_\; \{\backslash \; text\; \{im\}\}\; \backslash \; parallel\; \backslash \; \{p\_\; \{i\}\; \backslash \}\; \backslash \; right),\}$

- дивергенция Кульбака - Лейблера распределения вероятностей $P\; (i)\; \{\backslash \; displaystyle\; P\; (i)\}$от дельты Кронекера, представляющая уверенность в том, что $i\; =\; m\; \{\backslash \; displaystyle\; i\; =\; m\}$- то есть количество дополнительных битов, которые должны быть переданы для идентификации $i\; \{\backslash \; displaystyle\; i\}$, если только распределение вероятностей $P\; (i)\; \{\backslash \; displaystyle\; P\; (i)\}$доступно получателю, но не факт, что $i\; =\; m\; \{\backslash \; displaystyle\; i\; =\; m\}$.

Взаимная информация

взаимная информация,

$I\; \; (X;\; Y)\; =\; D\; KL\; (P\; (X,\; Y)\; \parallel \; P\; (X)\; P\; (Y))\; =\; EX\; \; \{D\; KL\; (P\; (Y\; \mid \; Икс)\; \parallel \; п\; (Y))\}\; знак\; равно\; EY\; \; \{D\; KL\; (P\; (X\; \mid \; Y)\; \parallel \; P\; (X))\}\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{align\}\; \backslash \; operatorna\; me\; \{I\}\; (X;\; Y)\; =\; D\; \_\; \{\backslash \; text\; \{KL\}\}\; (P\; (X,\; Y)\; \backslash \; parallel\; P\; (X)\; P\; (Y))\; \backslash \backslash \; =\; \backslash \; operatorname\; \{E\}\; \_\; \{X\}\; \backslash \; \{D\; \_\; \{\backslash \; text\; \{KL\}\}\; (P\; (Y\; \backslash \; mid\; X)\; \backslash \; parallel\; P\; (Y))\; \backslash \}\; \backslash \backslash \; =\; \backslash \; operatorname\; \{E\}\; \_\; \{Y\}\; \backslash \; \{D\; \_\; \{\backslash \; text\; \{KL\}\}\; (P\; (X\; \backslash \; mid\; Y)\; \backslash \; parallel\; P\; (X))\; \backslash \}\; \backslash \; end\; \{align\}\}\}$

- расхождение Кульбака – Лейблера произведения $P\; (X)\; P\; (Y)\; \{\backslash \; displaystyle\; P\; (X)\; P\; (\; Y)\}$из двух распределений предельной вероятности из совместного распределения вероятностей $P\; (X,\; Y)\; \{\backslash \; displaystyle\; P\; (X,\; Y)\; \}$- т.е. ожидаемое количество дополнительных битов, которые должны быть переданы для идентификации $X\; \{\backslash \; displaystyle\; X\}$и $Y\; \{\backslash \; displaystyle\; Y\}$, если они кодируются с использованием только их маргинальных распределений вместо совместного распределения. Эквивалентно, если совместная вероятность $P\; (X,\; Y)\; \{\backslash \; displaystyle\; P\; (X,\; Y)\}$известна, это ожидаемое количество дополнительных битов, которые в среднем должны быть отправлены для идентификации $Y\; \{\backslash \; displaystyle\; Y\}$, если значение $X\; \{\backslash \; displaystyle\; X\}$еще не известно получателю.

энтропия Шеннона

энтропия Шеннона,

$H\; (X)\; =\; E\; \; [IX\; \; (x)]\; =\; log\; \; (N)\; -\; D\; KL\; (p\; X\; (\; х)\; \parallel \; PU\; (X))\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{align\}\; \backslash \; mathrm\; \{H\}\; (X)\; =\; \backslash \; operatorname\; \{E\}\; \backslash \; left\; [\backslash \; operatorname\; \{I\}\; \_\; \{X\}\; (x)\; \backslash \; right]\; \backslash \backslash \; =\; \backslash \; log\; (N)\; -D\; \_\; \{\backslash \; text\; \{KL\}\}\; \backslash \; left\; (p\_\; \{X\}\; (x)\; \backslash \; parallel\; P\_\; \{U\}\; (X)\; \backslash \; right)\; \backslash \; end\; \{align\}\}\}$

- количество битов, которое необходимо передать для идентификации $X\; \{\backslash \; displaystyle\; X\}$из $N\; \{\backslash \; displaystyle\; N\}$с равной вероятностью за вычетом Дивергенция Кульбака – Лейблера равномерного распределения по случайным переменным из $X\; \{\backslash \; displaystyle\; X\}$, $PU\; (X)\; \{\backslash \; displaystyle\; P\_\; \{U\}\; (X)\}$, из истинного распределения $P\; (X)\; \{\backslash \; displaystyle\; P\; (X)\}$- то есть меньше ожидаемого количества сохраненных битов, которое нужно было бы отправить, если бы значение $X\; \{\backslash \; displaystyle\; X\}$были закодированы в соответствии с равномерным распределением $PU\; (X)\; \{\backslash \; displaystyle\; P\_\; \{U\}\; (X)\}$, а не tr распределение ue $P\; (X)\; \{\backslash \; displaystyle\; P\; (X)\}$.

Условная энтропия

условная энтропия,

$H\; (X\; \mid \; Y)\; =\; log\; \; (N)\; -\; D\; KL\; (P\; (X,\; Y)\; \parallel \; PU\; (X)\; P\; (Y))\; =\; журнал\; \; (N)\; -\; D\; KL\; (P\; (X,\; Y)\; \parallel \; P\; (X)\; P\; (Y))\; -\; D\; KL\; (P\; (X)\; \parallel \; PU\; (X))\; =\; H\; (X)\; -\; I\; \; (X;\; Y)\; знак\; равно\; журнал\; \; (N)\; -\; EY\; \; [D\; KL\; (P\; (X\; \mid \; Y)\; \parallel \; PU\; (X))]\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{align\}\; \backslash \; mathrm\; \{H\}\; (X\; \backslash \; mid\; Y)\; =\; \backslash \; log\; (N)\; -D\; \_\; \{\backslash \; text\; \{KL\}\}\; (P\; (X,\; Y)\; \backslash \; parallel\; P\_\; \{U\}\; (X)\; P\; (Y))\; \backslash \backslash \; =\; \backslash \; log\; (N)\; -D\; \_\; \{\backslash \; text\; \{\; KL\}\}\; (P\; (X,\; Y)\; \backslash \; parallel\; P\; (X)\; P\; (Y))\; -\; D\; \_\; \{\backslash \; text\; \{KL\}\}\; (P\; (X)\; \backslash \; parallel\; P\_\; \{U\}\; (X))\; \backslash \backslash \; =\; \backslash \; mathrm\; \{H\}\; (X)\; -\; \backslash \; operatorname\; \{I\}\; (X;\; Y)\; \backslash \backslash \; =\; \backslash \; log\; (N)\; -\; \backslash \; operatorname\; \{E\}\; \_\; \{Y\}\; \backslash \; left\; [D\; \_\; \{\backslash \; text\; \{KL\}\}\; \backslash \; left\; (P\; \backslash \; left\; (X\; \backslash \; mid\; Y\; \backslash \; right)\; \backslash \; parallel\; P\_\; \{U\}\; (X)\; \backslash \; right)\; \backslash \; right]\; \backslash \; end\; \{align\}\}\}$

- количество битов, которое необходимо передать для идентификации $X\; \{\backslash \; displaystyle\; X\}$из $N\; \{\backslash \; displaystyle\; N\}$равновероятные возможности за вычетом расхождения Кульбака – Лейблера в распределении продукта $PU\; (\; X)\; P\; (Y)\; \{\backslash \; displaystyle\; P\_\; \{U\}\; (X)\; P\; (Y)\}$из истинного совместного распределения $P\; (X,\; Y)\; \{\backslash \; displaystyle\; P\; (X,\; Y)\; \}$- то есть за вычетом ожидаемого количества сохраненных битов, которое пришлось бы отправить, если бы значение $X\; \{\backslash \; displaystyle\; X\}$было закодировано в соответствии с равномерным распределением $P\; U\; (X)\; \{\backslash \; displaystyle\; P\_\; \{U\}\; (X)\}$вместо условного распределения $P\; (X\; |\; Y)\; \{\backslash \; displaystyle\; P\; (X\; |\; Y)\}$из $X\; \{\backslash \; displaystyle\; X\}$с учетом $Y\; \{\backslash \; displaystyle\; Y\}$.

перекрестная энтропия

Когда у нас есть набор возможных событий, поступающих из распределения p, мы можем кодировать их (с помощью сжатия данных без потерь ), используя энтропийное кодирование. Это сжимает данные, заменяя каждый входной символ фиксированной длины на соответствующий уникальный код переменной длины без префиксов (например: события (A, B, C) с вероятностями p = (1 / 2, 1/4, 1/4) могут быть закодированы как биты (0, 10, 11)). Если мы знаем распределение p заранее, мы можем разработать оптимальную кодировку (например, с использованием кодирования Хаффмана ). Это означает, что сообщения, которые мы кодируем, будут иметь в среднем самую короткую длину (при условии, что закодированные события выбираются из p), которая будет равна энтропии Шеннона из p (обозначается как $H\; (p)\; \{\backslash \; displaystyle\; \backslash \; mathrm\; \{H\}\; (p)\}$). Однако, если мы используем другое распределение вероятностей (q) при создании схемы энтропийного кодирования, то большее количество бит будет использоваться (в среднем) для идентификации события из набора возможностей. Это новое (большее) число измеряется перекрестной энтропией между p и q.

перекрестная энтропия между двумя распределениями вероятностей (p и q) измеряет среднее количество бит, необходимых для идентификации события из набора возможностей, если схема кодирования используется на основе данного распределения вероятностей q, а не «истинное» распределение p. Перекрестная энтропия для двух распределений p и q в одном и том же вероятностном пространстве , таким образом, определяется следующим образом:

$H\; (p,\; q)\; =\; E\; p\; \; [-\; log\; \; (q)]\; =\; H\; (p)\; +\; D\; KL\; (p\; \parallel \; q).\; \{\backslash \; displaystyle\; \backslash \; mathrm\; \{H\}\; (p,\; q)\; =\; \backslash \; operatorname\; \{E\}\; \_\; \{p\}\; [-\; \backslash \; log\; (q)]\; =\; \backslash \; mathrm\; \{H\}\; (p)\; +\; D\; \_\; \{\backslash \; text\; \{KL\}\}\; (p\; \backslash \; parallel\; q).\}$

В этой сценарии расхождения KL можно интерпретировать как в среднем дополнительное количество, которое необходимо (сверх $H\; (p)\; \{\backslash \; displaystyle\; \backslash \; mathrm\; \{H\}\; (p)\}$) для кодирования событий из-за использования q для построения схемы кодирования вместо p.

Байесовское обновление

В байесовской статистике расхождение Кульбака - Лейблера может быть как мера увеличения количества информации при переходе от априорного распределения к апостериорному распределению : $p\; (x)\; \to \; p\; (x\; \mid \; I)\; \{\backslash \; displaystyle\; p\; (x)\; \backslash \; to\; p\; (x\; \backslash \; mid\; I)\}$. Если обнаружен новый факт $Y\; =\; y\; \{\backslash \; displaystyle\; Y\; =\; y\}$, его можно использовать для обновления апостерического распределения для $X\; \{\backslash \; displaystyle\; X\}$от $p\; (x\; \mid \; I)\; \{\backslash \; displaystyle\; p\; (x\; \backslash \; mid\; I)\}$до нового апостериорного распределения $p\; (x\; \mid \; y,\; I)\; \{\backslash \; displaystyle\; p\; (x\; \backslash \; mid\; y,\; I)\}$с использованием теоремы Байеса :

$p\; (x\; \mid \; y,\; I)\; =\; p\; (y\; \mid \; x,\; I)\; p\; (x\; \mid \; I)\; p\; (y\; \mid \; I)\; \{\backslash \; displaystyle\; p\; (x\; \backslash \; mid\; y,\; I)\; =\; \{\backslash \; frac\; \{p\; (y\; \backslash \; mid\; x,\; I)\; p\; (x\; \backslash \; mid\; I)\}\; \{p\; (y\; \backslash \; mid\; I)\}\}\}$

Это распределение имеет новую энтропию :

$H\; (p\; (x\; \mid \; y,\; I))\; =\; -\; \sum \; xp\; (x\; \mid \; y,\; I)\; log\; \; p\; (x\; \mid \; y,\; I),\; \{\backslash \; displaystyle\; \backslash \; mathrm\; \{H\}\; \{\backslash \; big\; (\}\; p\; (x\; \backslash \; mid\; y,\; I)\; \{\backslash \; big)\}\; =\; -\; \backslash \; sum\; \_\; \{x\}\; p\; (x\; \backslash \; mid\; y,\; I)\; \backslash \; log\; p\; (x\; \backslash \; mid\; y,\; I),\}$

который может быть меньше или больше исходной энтропии $H\; (p\; (x\; \mid \; I))\; \{\backslash \; displaystyle\; \backslash \; mathrm\; \{H\}\; (p\; (x\; \backslash \; mid\; I))\}$. Однако с точки зрения нового распределения вероятностей можно оценить, что использовался исходный код на основе $p\; (x\; \mid \; I)\; \{\backslash \; displaystyle\; p\; (x\; \backslash \; mid\; I)\}$вместо нового кода, основанный на $p\; (x\; \mid \; y,\; I)\; \{\backslash \; displaystyle\; p\; (x\; \backslash \; mid\; y,\; I)\}$, добавил бы ожидаемое количество битов:

$D\; KL\; (п\; (Икс\; \mid \; Y,\; I)\; \parallel \; п\; (Икс\; \mid \; I))\; =\; \sum \; XP\; (X\; \mid \; Y,\; I)\; журнал\; \; (п\; (x\; \mid \; Y,\; I)\; p\; (x\; \mid \; I))\; \{\backslash \; Displaystyle\; D\; \_\; \{\backslash \; текст\; \{KL\}\}\; \{\backslash \; big\; (\}\; p\; (x\; \backslash \; mid\; y,\; I)\; \backslash \; parallel\; p\; (x\; \backslash \; mid\; I)\; \{\backslash \; big)\}\; =\; \backslash \; sum\; \_\; \{x\}\; p\; (x\; \backslash \; mid\; y,\; I)\; \backslash \; log\; \backslash \; left\; (\{\backslash \; frac\; \{\; p\; (x\; \backslash \; mid\; y,\; I)\}\; \{p\; (x\; \backslash \; mid\; I)\}\}\; \backslash \; right)\}$

до длины сообщения. Таким образом, это представляет собой количество полезной информации или прирост информации о $X\; \{\backslash \; displaystyle\; X\}$, которое мы можем оценить, обнаружив $Y\; =\; y\; \{\backslash \; displaystyle\; Y\; =\; y\}$.

Если затем поступает следующий фрагмент данных, $Y\; 2\; =\; y\; 2\; \{\backslash \; displaystyle\; Y\_\; \{2\}\; =\; y\_\; \{2\}\}$, распределение вероятностей для $x\; \{\backslash \; displaystyle\; x\}$можно обновлять дальше, чтобы дать новое наилучшее предположение $p\; (x\; \mid \; y\; 1,\; y\; 2,\; I)\; \{\backslash \; displaystyle\; p\; (x\; \backslash \; mid\; y\_\; \{1\; \},\; y\_\; \{2\},\; I)\}$. Если повторно исследовать получение информации для использования $p\; (x\; \mid \; y\; 1,\; I)\; \{\backslash \; displaystyle\; p\; (x\; \backslash \; mid\; y\_\; \{1\},\; I)\}$вместо $p\; (x\; \mid \; I)\; \{\backslash \; displaystyle\; p\; (x\; \backslash \; mid\; I)\}$, оказывается, что оно может быть больше или меньше, чем предполагалось ранее:

$\sum \; xp\; (x\; \mid \; y\; 1,\; y\; 2,\; I)\; журнал\; \; (п\; (Икс\; \mid \; Y\; 1,\; Y\; 2,\; I)\; п\; (Икс\; \mid \; I))\; \{\backslash \; Displaystyle\; \backslash \; сумма\; \_\; \{х\}\; р\; (х\; \backslash \; середина\; Y\_\; \{1\},\; Y\_\; \{2\},\; I)\; \backslash \; log\; \backslash \; left\; (\{\backslash \; frac\; \{p\; (x\; \backslash \; mid\; y\_\; \{1\},\; y\_\; \{2\},\; I)\}\; \{p\; (x\; \backslash \; mid\; I)\}\}\; \backslash \; right)\}$может быть ≤ или>чем $\sum \; Хр\; (Икс\; \mid \; Y\; 1,\; I)\; журнал\; \; (п\; (Икс\; \mid \; Y\; 1,\; I)\; р\; (Икс\; \mid \; I))\; \{\backslash \; Displaystyle\; \backslash \; Displaystyle\; \backslash \; сумма\; \_\; \{х\}\; р\; (х\; \backslash \; mid\; y\_\; \{1\},\; I)\; \backslash \; log\; \backslash \; left\; (\{\backslash \; frac\; \{p\; (x\; \backslash \; mid\; y\_\; \{1\},\; I)\}\; \{p\; (x\; \backslash \; mid\; I)\}\}\; \backslash \; right)\}$

и поэтому комбинированный выигрыш информации не подчиняется неравенству треугольника:

$D\; KL\; (p\; (x\; \mid \; y\; 1,\; y\; 2,\; I)\; \parallel \; p\; (x\; \mid \; I))\; \{\backslash \; displaystyle\; D\; \_\; \{\backslash \; text\; \{KL\}\}\; \{\backslash \; big\; (\}\; p\; (x\; \backslash \; mid\; y\_\; \{1\},\; y\_\; \{2\},\; I)\; \backslash \; parallel\; p\; (x\; \backslash \; mid\; I)\; \{\backslash \; big)\}\}$может быть <, = or>, чем $D\; KL\; (p\; (x\; \mid \; y\; 1,\; y\; 2,\; I)\; \parallel \; p\; (x\; \mid \; y\; 1,\; I))\; +\; D\; KL\; (p\; (x\; \mid \; y\; 1,\; I)\; \parallel \; p\; (\; Икс\; \mid \; I))\; \{\backslash \; Displaystyle\; D\; \_\; \{\backslash \; text\; \{KL\}\}\; \{\backslash \; big\; (\}\; p\; (x\; \backslash \; mid\; y\_\; \{1\},\; y\_\; \{2\},\; I)\; \backslash \; parallel\; p\; (x\; \backslash \; mid\; y\_\; \{1\},\; I)\; \{\backslash \; big)\}\; +\; D\; \_\; \{\backslash \; text\; \{KL\}\}\; \{\backslash \; big\; (\}\; p\; (x\; \backslash \; mid\; y\_\; \{1\},\; I)\; \backslash \; parallel\; p\; (x\; \backslash \; mid\; I)\; \{\backslash \; big)\}\}$

Все, что можно сказать, это то, что в среднем с использованием $p\; (y\; 2\; \mid \; y\; 1,\; x,\; I)\; \{\backslash \; displaystyle\; p\; (y\_\; \{2\}\; \backslash \; mid\; y\_\; \{1\},\; x,\; I)\}$, две стороны будут усреднены.

Байесовский план эксперимента

Общая цель Байесовского плана эксперимента - максимизировать ожидаемое расхождение Кульбака – Лейблера между априорным и апостериорным. Когда апостериорные функции аппроксимируются как гауссовы распределения, план, максимизирующий ожидаемую дивергенцию Кульбака – Лейблера, называется d-оптимальным Байесом.

Информация о различении

Дивергенция Кульбака – Лейблера $D\; KL\; (p\; (Икс\; \mid \; ЧАС\; 1)\; \parallel \; п\; (Икс\; \mid \; Н\; 0))\; \{\backslash \; textstyle\; D\; \_\; \{\backslash \; text\; \{KL\}\}\; \{\backslash \; bigl\; (\}\; p\; (x\; \backslash \; mid\; H\_\; \{1\})\; \backslash \; parallel\; p\; (x\; \backslash \; mid\; H\_\; \{\; 0\})\; \{\backslash \; bigr)\}\}$также можно интерпретировать как ожидаемую дискриминационную информацию для $H\; 1\; \{\backslash \; displaystyle\; H\_\; \{1\}\}$свыше $H\; 0\; \{\backslash \; displaystyle\; H\_\; \{0\}\}$: среднее значение информации на выборку для различения в пользу гипотезы $H\; 1\; \{\backslash \; displaystyle\; H\_\; \{1\}\}$против гипотезы $H\; 0\; \{\backslash \; displaystyle\; H\_\; \{0\}\}$, когда гипотеза $H\; 1\; \{\backslash \; displaystyle\; H\_\; \{1\}\}$верна. Другое название этой величины, данное ей И. J. Good, ожидаемая масса доказательств для $H\; 1\; \{\backslash \; displaystyle\; H\_\; \{1\}\}$по $H\; 0\; \{\backslash \; displaystyle\; H\_\; \{\; 0\}\}$следует ожидать от каждой выборки.

Ожидаемый вес доказательств для $H\; 1\; \{\backslash \; displaystyle\; H\_\; \{1\}\}$по $H\; 0\; \{\backslash \; displaystyle\; H\_\; \{0\}\}$не не то же самое, что получение информации, ожидаемое на выборку о распределении вероятностей $p\; (H)\; \{\backslash \; displaystyle\; p\; (H)\}$гипотез,

$D\; KL\; (p\; (x\; \mid \; H\; 1)\; \parallel \; p\; (x\; \mid \; H\; 0))\; \ne \; IG\; =\; D\; KL\; (p\; (H\; \mid \; x)\; \parallel \; p\; (H\; I)).\; \{\backslash \; displaystyle\; D\; \_\; \{\backslash \; text\; \{KL\}\}\; (p\; (x\; \backslash \; mid\; H\_\; \{1\})\; \backslash \; parallel\; p\; (x\; \backslash \; mid\; H\_\; \{0\}))\; \backslash \; neq\; IG\; =\; D\; \_\; \{\backslash \; text\; \{KL\}\}\; (p\; (\; H\; \backslash \; mid\; x)\; \backslash \; parallel\; p\; (H\; \backslash \; mid\; I)).\}$

Любую из двух величин можно использовать в качестве функции полезности в байесовском дизайне эксперимента, чтобы выбрать оптимальный следующий вопрос для исследуйте: но в целом они приведут к довольно разным экспериментальным стратегиям.

На шкале энтропии прироста информации существует очень небольшая разница между почти достоверностью и абсолютной достоверностью - кодирование в соответствии с почти достоверностью почти не требует больше битов, чем кодирование в соответствии с абсолютной достоверностью. С другой стороны, по шкале logit, подразумеваемой весом доказательств, разница между ними огромна - возможно, бесконечна; это может отражать разницу между почти уверенностью (на вероятностном уровне) в том, что, скажем, гипотеза Римана верна, по сравнению с уверенностью в ее правильности, поскольку имеется математическое доказательство. Эти две разные шкалы функции потерь для неопределенности полезны в зависимости от того, насколько хорошо каждая отражает конкретные обстоятельства рассматриваемой проблемы.

Принцип минимальной информации о дискриминации

Идея расхождения Кульбака – Лейблера как информации о дискриминации привела к тому, что Кульбак предложил Принцип минимальной информации о дискриминации (MDI): с учетом новых фактов, следует выбрать новое распределение $f\; \{\backslash \; displaystyle\; f\}$, которое так же сложно отличить от исходного распределения $f\; 0\; \{\backslash \; displaystyle\; f\_\; \{0\}\}$по возможности; так что новые данные дают столь же небольшой информационный прирост $D\; KL\; (f\; \parallel \; f\; 0)\; \{\backslash \; displaystyle\; D\; \_\; \{\backslash \; text\; \{KL\}\}\; (f\; \backslash \; parallel\; f\_\; \{0\})\}$как возможный.

Например, если было предыдущее распределение $p\; (x,\; a)\; \{\backslash \; displaystyle\; p\; (x,\; a)\}$over $x\; \{\backslash \; displaystyle\; x\}$и $a\; \{\backslash \; displaystyle\; a\}$, и впоследствии узнали, что истинное распределение $a\; \{\backslash \; displaystyle\; a\}$было $u\; (a)\; \{\backslash \; displaystyle\; u\; (a)\}$, затем расхождение Кульбака – Лейблера между новым совместным распределением для $x\; \{\backslash \; displaystyle\; x\}$и $a\; \{\backslash \; displaystyle\; a\}$, $q\; (x\; \mid \; a)\; u\; (a)\; \{\backslash \; displaystyle\; q\; (x\; \backslash \; mid\; a)\; u\; (a)\}$, и более раннее предварительное распределение будет:

$D\; KL\; (q\; (x\; \mid \; a)\; u\; (a)\; \parallel \; p\; (x,\; a))\; =\; E\; u\; (a)\; \; \{D\; KL\; (q\; (x\; \mid \; a)\; \parallel \; p\; (x\; \mid \; a))\}\; +\; D\; KL\; (U\; (а)\; \parallel \; п\; (а)),\; \{\backslash \; Displaystyle\; D\; \_\; \{\backslash \; текст\; \{KL\}\}\; (д\; (х\; \backslash \; середина\; а)\; и\; (а)\; \backslash \; параллельно\; р\; (х,\; а))\; =\; \backslash \; OperatorName\; \{E\; \}\; \_\; \{u\; (a)\}\; \backslash \; left\; \backslash \; \{D\; \_\; \{\backslash \; text\; \{KL\}\}\; (q\; (x\; \backslash \; mid\; a)\; \backslash \; parallel\; p\; (x\; \backslash \; mid\; a))\; \backslash \; right\; \backslash \}\; +\; D\; \_\; \{\backslash \; text\; \{KL\}\; \}\; (u\; (a)\; \backslash \; parallel\; p\; (a)),\}$

т.е. сумма дивергенции Кульбака – Лейблера $p\; (a)\; \{\backslash \; displaystyle\; p\; (a)\}$предыдущего распределения для $a\; \{\backslash \; displaystyle\; a\}$из обновленное распределение $u\; (a)\; \{\backslash \; displaystyle\; u\; (a)\}$плюс ожидаемое значение (с использованием распределения вероятностей $u\; (a)\; \{\backslash \; displaystyle\; u\; (a)\}$) расхождения Кульбака – Лейблера предшествующего условного распределения $p\; (x\; \mid \; a)\; \{\backslash \; displaystyle\; p\; (x\; \backslash \; mid\; a)\}$из нового условного распределения $Q\; (Икс\; \mid \; а)\; \{\backslash \; Displaystyle\; Q\; (х\; \backslash \; середина\; а)\}$. (Обратите внимание, что часто более позднее ожидаемое значение называется условной дивергенцией Кульбака – Лейблера (или условной относительной энтропией) и обозначается $D\; KL\; (q\; (x\; \mid \; a)\; \parallel \; p\; (x\; \mid \; a))\; \{\backslash \; displaystyle\; D\_\; \{\; \backslash \; text\; \{KL\}\}\; (q\; (x\; \backslash \; mid\; a)\; \backslash \; parallel\; p\; (x\; \backslash \; mid\; a))\}$) Это минимизируется, если $q\; (x\; \mid \; a)\; =\; p\; (x\; \mid \; а)\; \{\backslash \; displaystyle\; q\; (x\; \backslash \; mid\; a)\; =\; p\; (x\; \backslash \; mid\; a)\}$по всей поддержке $u\; (a)\; \{\backslash \; displaystyle\; u\; (a)\}$; и мы отмечаем, что этот результат включает теорему Байеса, если новое распределение $u\; (a)\; \{\backslash \; displaystyle\; u\; (a)\}$на самом деле является функцией δ, представляющей уверенность, что $a\; \{\; \backslash \; displaystyle\; a\}$имеет одно конкретное значение.

MDI можно рассматривать как расширение Лапласа принципа недостаточной причины и принципа максимальной энтропии ET Джейнс. В частности, это естественное расширение принципа максимальной энтропии с дискретных на непрерывные распределения, для которых энтропия Шеннона перестает быть столь полезной (см. дифференциальная энтропия ), но расхождение Кульбака – Лейблера продолжает оставаться столь же актуально.

В технической литературе MDI иногда называют принципом минимальной кросс-энтропии (MCE) или Minxent для краткости. Минимизация расхождения Кульбака – Лейблера от $m\; \{\backslash \; displaystyle\; m\}$до $p\; \{\backslash \; displaystyle\; p\}$по отношению к $m\; \{\backslash \; displaystyle\; m\}$эквивалентно минимизации перекрестной энтропии $p\; \{\backslash \; displaystyle\; p\}$и $m\; \{\backslash \; displaystyle\; m\}$, поскольку

$ЧАС\; (п,\; м)\; знак\; равно\; ЧАС\; (п)\; +\; D\; KL\; (п\; \parallel \; м),\; \{\backslash \; displaystyle\; \backslash \; mathrm\; \{H\}\; (p,\; m)\; =\; \backslash \; mathrm\; \{H\}\; (p)\; +\; D\; \_\; \{\backslash \; text\; \{KL\; \}\}\; (p\; \backslash \; parallel\; m),\}$

что подходит, если кто-то пытается выбрать адекватное приближение к $p\; \{\backslash \; displaystyle\; p\}$. Однако зачастую это не та задача, которую пытаются решить. Вместо этого столь же часто $m\; \{\backslash \; displaystyle\; m\}$является фиксированной априорной мерой, а $p\; \{\backslash \; displaystyle\; p\}$пытается для оптимизации путем минимизации $D\; KL\; (p\; \parallel \; m)\; \{\backslash \; displaystyle\; D\; \_\; \{\backslash \; text\; \{KL\}\}\; (p\; \backslash \; parallel\; m)\}$с некоторым ограничением. Это привело к некоторой двусмысленности в литературе, и некоторые авторы пытались разрешить несогласованность, переопределив кросс-энтропию как $D\; KL\; (p\; \parallel \; m)\; \{\backslash \; displaystyle\; D\; \_\; \{\backslash \; text\; \{KL\}\}\; (p\; \backslash \; parallel\; m)\}$, а не $H\; (p,\; m)\; \{\backslash \; displaystyle\; \backslash \; mathrm\; \{H\}\; (p,\; m)\}$.

Отношение к доступной работе

График зависимости давления от объема доступная работа моля газообразного аргона относительно окружающей среды, рассчитанная как $T\; o\; \{\backslash \; displaystyle\; T\_\; \{o\}\}$умноженное на расхождение Кульбака – Лейблера.

Сюрпризы добавляют где вероятности умножить. Неожиданность для вероятностного события $p\; \{\backslash \; displaystyle\; p\}$определяется как $s\; =\; k\; ln\; \; (1\; /\; p)\; \{\backslash \; displaystyle\; s\; =\; k\; \backslash \; ln\; (1\; /\; p)\}$. Если $k\; \{\backslash \; displaystyle\; k\}$равно $\{1,\; 1\; /\; ln\; \; 2,\; 1,38\; \times \; 10-23\}\; \{\backslash \; displaystyle\; \backslash \; left\; \backslash \; \{1,1\; /\; \backslash \; ln\; 2,\; 1,38\; \backslash \; times\; 10\; ^\; \{-\; 23\}\; \backslash \; right\; \backslash \}\}$, тогда сюрприз в $\{\{\backslash \; displaystyle\; \backslash \; \{\}$nats, битах или $J\; /\; K\}\; \{\backslash \; displaystyle\; J\; /\; K\; \backslash \}\}$так что, например, есть $N\; \{\backslash \; displaystyle\; N\}$неожиданности для всех "орлов" бросок $N\; \{\backslash \; displaystyle\; N\}$монет.

Наиболее вероятные состояния (например, для атомов в газе) выводятся путем максимизации средней неожиданности $S\; \{\backslash \; displaystyle\; S\}$(энтропии ) для данного набора параметров управления ( например давление $P\; \{\backslash \; displaystyle\; P\}$или объем $V\; \{\backslash \; displaystyle\; V\}$). Эта ограниченная максимизация энтропии, как классически, так и квантово-механически, минимизирует доступность Гиббса в единицах энтропии $A\; \equiv \; -\; k\; ln\; \; (Z)\; \{\backslash \; displaystyle\; A\; \backslash \; Equiv\; -k\; \backslash \; ln\; (Z)\}$где $Z\; \{\backslash \; displaystyle\; Z\}$- ограниченная кратность или функция распределения.

Когда температура $T\; \{\backslash \; displaystyle\; T\; \}$фиксирован, свободная энергия ($T\; \times \; A\; \{\backslash \; displaystyle\; T\; \backslash \; times\; A\}$) также минимизирована. Таким образом, если $T,\; V\; \{\backslash \; displaystyle\; T,\; V\}$и количество молекул $N\; \{\backslash \; displaystyle\; N\}$постоянны, свободная энергия Гельмгольца $F\; \equiv \; U\; -\; TS\; \{\backslash \; displaystyle\; F\; \backslash \; Equiv\; U-TS\}$(где $U\; \{\backslash \; displaystyle\; U\}$- энергия) минимизируется как система «уравновешивает». Если $T\; \{\backslash \; displaystyle\; T\}$и $P\; \{\backslash \; displaystyle\; P\}$остаются постоянными (например, во время процессов в вашем теле), Гиббс освобождается энергия $G\; =\; U\; +\; PV\; -\; TS\; \{\backslash \; displaystyle\; G\; =\; U\; +\; PV-TS\}$вместо этого минимизируется. Изменение свободной энергии в этих условиях является мерой доступной работы, которая может быть проделана в процессе. Таким образом доступна работа для идеального газа при постоянной температуре $T\; o\; \{\backslash \; displaystyle\; T\_\; \{o\}\}$и давлении $P\; o\; \{\backslash \; displaystyle\; P\_\; \{o\}\}$равно $W\; =\; \Delta \; G\; =\; N\; К\; T\; о\; \Theta \; (V\; /\; V\; o)\; \{\backslash \; displaystyle\; W\; =\; \backslash \; Delta\; G\; =\; NkT\_\; \{o\}\; \backslash \; Theta\; (V\; /\; V\_\; \{o\})\}$где $V\; o\; =\; N\; k\; T\; o\; /\; P\; o\; \{\backslash \; displaystyle\; V\_\; \{o\}\; =\; NkT\_\; \{o\}\; /\; P\_\; \{o\}\}$и $\Theta \; (x)\; =\; x\; -\; 1\; -\; ln\; \; x\; \ge \; 0\; \{\backslash \; displaystyle\; \backslash \; Theta\; (x)\; =\; x-1-\; \backslash \; ln\; x\; \backslash \; geq\; 0\}$(см. Также неравенство Гиббса ).

В более общем смысле доступная работа относительно некоторой окружающей среды получается путем умножения температуры окружающей среды $T\; o\; \{\backslash \; displaystyle\; T\_\; \{o\}\}$по Кульбаку – Лейблеру дивергенция или чистая неожиданность $\Delta \; I\; \ge \; 0,\; \{\backslash \; displaystyle\; \backslash \; Delta\; I\; \backslash \; geq\; 0,\}$определяется как среднее значение $k\; ln\; \; (p\; /\; po)\; \{\backslash \; displaystyle\; k\; \backslash \; ln\; (p\; /\; p\_\; \{o\})\}$где $po\; \{\backslash \; displaystyle\; p\_\; \{o\}\}$- вероятность данного состояния при окружающих условиях. Например, доступная работа по уравновешиванию одноатомного идеального газа до значений окружающей среды $V\; o\; \{\backslash \; displaystyle\; V\_\; \{o\}\}$и $T\; o\; \{\backslash \; displaystyle\; T\_\; \{o\}\}$, таким образом, $W\; =\; T\; o\; \Delta \; I\; \{\backslash \; displaystyle\; W\; =\; T\_\; \{o\}\; \backslash \; Delta\; I\}$, где расхождение Кульбака – Лейблера

$\Delta \; I\; =\; N\; k\; [\; \Theta \; (VV\; o)\; +\; 3\; 2\; \Theta \; (TT\; o)].\; \{\backslash \; displaystyle\; \backslash \; Delta\; I\; =\; Nk\; \backslash \; left\; [\backslash \; Theta\; \backslash \; left\; (\{\backslash \; frac\; \{V\}\; \{V\_\; \{o\}\}\}\; \backslash \; right)\; +\; \{\backslash \; frac\; \{3\}\; \{2\}\}\; \backslash \; Theta\; \backslash \; left\; (\{\backslash \; frac\; \{T\}\; \{T\_\; \{o\}\}\}\; \backslash \; right)\; \backslash \; right].\}$

Результирующие контуры постоянного расхождения Кульбака – Лейблера, показанные справа для моля аргона при стандартной температуре и давлении, например, устанавливают пределы о преобразовании горячего в холодное, как в пламенном кондиционировании воздуха или в устройстве без источника питания для преобразования кипящей воды в ледяную воду, обсуждаемую здесь. Таким образом, расхождение Кульбака – Лейблера измеряет термодинамическую доступность в битах.

Квантовая теория информации

Для матриц плотности $P\; \{\backslash \; displaystyle\; P\}$и $Q\; \{\backslash \; displaystyle\; Q\}$в гильбертовом пространстве, расходимость K – L (или квантовая относительная энтропия, как ее часто называют в данном случае) от $Q\; \{\backslash \; displaystyle\; Q\; \}$- $P\; \{\backslash \; displaystyle\; P\}$определяется как

$D\; KL\; (P\; \parallel \; Q)\; =\; Tr\; \; (P\; (log\; \; (P)\; -\; log\; \; (Q))).\; \{\backslash \; displaystyle\; D\; \_\; \{\backslash \; text\; \{KL\}\}\; (P\; \backslash \; parallel\; Q)\; =\; \backslash \; operatorname\; \{Tr\}\; (P\; (\backslash \; log\; (P)\; -\; \backslash \; log\; (Q))).\}$

в квантовой информации наука минимум $D\; KL\; (P\; \parallel \; Q)\; \{\backslash \; displaystyle\; D\; \_\; \{\backslash \; text\; \{KL\}\}\; (P\; \backslash \; parallel\; Q)\}$по всем разделимым состояниям $Q\; \{\; \backslash \; displaystyle\; Q\}$также может использоваться как мера запутанности в состоянии $P\; \{\backslash \; displaystyle\; P\}$.

Взаимосвязь между моделями и реальностью

Подобно тому, как отклонение Кульбака – Лейблера «реального от окружающего» измеряет термодинамическую доступность, расхождение Кульбака – Лейблера «реальность от модели» также полезно, даже если единственными подсказками, которые у нас есть о реальности, являются некоторые экспериментальные измерения. В первом случае расхождение Кульбака-Лейблера описывает расстояние до равновесия или (умноженное на температуру окружающей среды) объем доступной работы, а во втором случае оно сообщает вам о сюрпризах, которые реальность готовит, или, другими словами, о том, сколько модели еще предстоит изучить.

Хотя этот инструмент для оценки моделей по сравнению с системами, доступными экспериментально, может применяться в любой области, его применение для выбора статистической модели с помощью информационного критерия Акаике особенно важно. хорошо описано в статьях и книге Бернхэма и Андерсона. Короче говоря, отклонение реальности Кульбака – Лейблера от модели можно оценить с точностью до постоянного аддитивного члена с помощью отклонений, наблюдаемых между данными и прогнозами модели (например, среднеквадратичное отклонение ). Оценки такого расхождения для моделей, которые используют один и тот же аддитивный член, в свою очередь, могут использоваться для выбора моделей.

При попытке подогнать параметризованные модели к данным существуют различные оценщики, которые пытаются минимизировать расхождение Кульбака – Лейблера, такие как оценщики максимального правдоподобия и максимального интервала.>

Симметричное расхождение

Сами Кульбак и Лейблер фактически определили расхождение как:

$D\; KL\; (P\; \parallel \; Q)\; +\; D\; KL\; (Q\; \parallel \; P)\; \{\backslash \; displaystyle\; D\; \_\; \{\backslash \; text\; \{KL\}\; \}\; (P\; \backslash \; parallel\; Q)\; +\; D\; \_\; \{\backslash \; text\; \{KL\}\}\; (Q\; \backslash \; parallel\; P)\}$

, которое является симметричным и неотрицательным. Это количество иногда использовалось для выбора характеристик в классификации задач, где $P\; \{\backslash \; displaystyle\; P\}$и $Q\; \{\backslash \; displaystyle\; Q\; \}$- это условные файлы PDF функции в двух разных классах. В банковской и финансовой отраслях эта величина называется индексом стабильности населения и используется для оценки распределительных сдвигов в характеристиках модели во времени.

Альтернатива дается через дивергенцию $\lambda \; \{\backslash \; displaystyle\; \backslash \; lambda\}$,

$D\; \lambda \; (P\; \parallel \; Q)\; =\; \lambda \; D\; KL\; (P\; \parallel \; \lambda \; P\; +\; (1\; -\; \lambda )\; Q)\; +\; (1\; -\; \lambda )\; D\; KL\; (Q\; \parallel \; \lambda \; P\; +\; (1\; -\; \lambda )\; Q),\; \{\backslash \; displaystyle\; D\; \_\; \{\backslash \; lambda\}\; (P\; \backslash \; parallel\; Q)\; =\; \backslash \; lambda\; D\; \_\; \{\backslash \; text\; \{KL\}\}\; (P\; \backslash \; parallel\; \backslash \; lambda\; P\; +\; (1-\; \backslash \; lambda)\; Q)\; +\; (1-\; \backslash \; lambda)\; D\; \_\; \{\backslash \; text\; \{KL\}\}\; (Q\; \backslash \; parallel\; \backslash \; lambda\; P\; +\; (1-\; \backslash \; lambda)\; Q),\; \}$

, который можно интерпретировать как ожидаемое получение информации о $X\; \{\backslash \; displaystyle\; X\}$от определения того, какое распределение вероятностей $X\; \{\backslash \; displaystyle\; X\}$является взяты из, $P\; \{\backslash \; displaystyle\; P\}$или $Q\; \{\backslash \; displaystyle\; Q\}$, если они в настоящее время имеют вероятности $\lambda \; \{\backslash \; displaystyle\; \backslash \; lambda\}$и $1\; -\; \lambda \; \{\backslash \; displaystyle\; 1-\; \backslash \; lambda\}$соответственно.

Значение $\lambda \; =\; 0,5\; \{\backslash \; displaystyle\; \backslash \; lambda\; =\; 0,5\; \}$дает расхождение Дженсена – Шеннона, определяемое как

$D\; JS\; =\; 1\; 2\; D\; KL\; (P\; \parallel \; M)\; +\; 1\; 2\; D\; KL\; (Q\; \parallel \; M)\; \{\backslash \; displaystyle\; D\; \_\; \{\backslash \; text\; \{JS\}\}\; =\; \{\backslash \; frac\; \{1\; \}\; \{2\}\}\; D\; \_\; \{\backslash \; text\; \{KL\}\}\; (P\; \backslash \; parallel\; M)\; +\; \{\backslash \; frac\; \{1\}\; \{2\}\}\; D\; \_\; \{\backslash \; text\; \{KL\}\}\; (Q\; \backslash \; parallel\; M)\}$

где $M\; \{\backslash \; displaystyle\; M\}$- среднее значение двух распределений,

$M\; =\; 1\; 2\; (P\; +\; Q).\; \{\backslash \; displaystyle\; M\; =\; \{\backslash \; frac\; \{1\}\; \{2\}\}\; (P\; +\; Q).\}$

$DJS\; \{\backslash \; displaystyle\; D\_\; \{JS\}\}$также можно интерпретировать как мощность шумного информационный канал с двумя входами, дающими выходные распределения $P\; \{\backslash \; displaystyle\; P\}$и $Q\; \{\backslash \; displaystyle\; Q\}$. Дивергенция Дженсена – Шеннона, как и все f-расходимости, локально пропорциональна информационной метрике Фишера. Она похожа на метрику Хеллингера (в том смысле, что она индуцирует такую ​​же аффинную связность на статистическом многообразии ).

Связь с другими мерами вероятностного расстояния

Есть много других важных мер вероятностного расстояния. Некоторые из них особенно связаны с расхождением Кульбака – Лейблера. Например:

• расстояние полного отклонения, $\delta \; (p,\; q)\; \{\backslash \; displaystyle\; \backslash \; delta\; (p,\; q)\}$. Это связано с расхождением через неравенство Пинскера : $\delta \; (P,\; Q)\; \le \; 1\; 2\; D\; KL\; (P\; \parallel \; Q)\; \{\backslash \; displaystyle\; \backslash \; delta\; (P,\; Q)\; \backslash \; leq\; \{\backslash \; sqrt\; \{\{\backslash \; frac\; \{1\}\; \{2\}\}\; D\; \_\; \{\backslash \; text\; \{KL\}\}\; (P\; \backslash \; parallel\; Q)\}\}\}$
• Семейство расхождений Реньи обеспечивает обобщение расхождения Кульбака – Лейблера. В зависимости от значения определенного параметра, $\alpha \; \{\backslash \; displaystyle\; \backslash \; alpha\}$, могут быть выведены различные неравенства.

Другие известные меры расстояния включают расстояние Хеллингера, пересечение гистограммы, статистика хи-квадрат, расстояние в квадратичной форме, расстояние совпадения, расстояние Колмогорова – Смирнова и расстояние землечерпалки.

Данные разность

Так же, как абсолютная энтропия служит теоретической основой для сжатия данных, относительная энтропия служит теоретической основой для разности данных - абсолютной энтропии набора данных в в этомсмысле данные, необходимые для его восстановления (минимальный сжатый размер), в то время как относительная энтропия целевого набора данных при заданном исходном наборе данных - это данные, необходимые для восстановления целевого набора при заданном источнике (минимальный размер патч ).

См. Также

• информационный критерий Акаике
• байесовский информационный критерий
• расхождение Брегмана
• кросс-энтропия
• информационный критерий отклонения
• энтропийное значение под угрозой
• неравенство энтропийной мощности
• Расстояние Хеллингера
• Получение информации в деревьях решений
• Коэффициент получения информации
• Теория информации и теория меры
• Дивергенция Дженсена – Шеннона
• Квантовая относительная энтропия
• Соломон Кульбак и Ричард Лейблер

Ссылки

Внешние ссылки

• Информационный набор инструментов для теоретических оценок
• Рубиновый драгоценный камень для расчета расхождения Кульбака – Лейблера
• Руководство Джона Шленса по расхождению Кульбака – Лейблера и теории правдоподобия
• Код Matlab для вычисления дивергенции Кульбака – Лейблера для дискретных распределений
• Серджио Верду, Относительная энтропия, NIPS 2009. Часовая видеолекция.
• Современный обзор теоретико-информационных мер расхождения

=== !!! == Знак равно <2>\ lambda <2><3>{\ displaystyle \ mathrm {H} (p, m) = \ mathrm {H} (p) + D _ {\ text {KL}} (p \ parallel m), } <3><4>{\ displaystyle {\ begin {align} D _ {\ text {KL}} (P \ parallel Q) = \ int _ {x_ {a}} ^ {x_ {b}} P ( x) \ log \ left ({\ frac {P (x)} {Q (x)}} \ right) \, dx \\ [6pt] = \ int _ {y_ {a}} ^ {y_ {b }} P (y) \ log \ left ({\ frac {P (y) \, {\ frac {dy} {dx}}} {Q (y) \, {\ frac {dy} {dx}}}) } \ right) \, dy = \ int _ {y_ {a}} ^ {y_ {b}} P (y) \ log \ left ({\ frac {P (y)} {Q (y)}} \ вправо) \, dy \ конец {выровнено}}} <4><5>{\ displaystyle {\ mathcal {D}} (p (x, 0) \ parallel p (x, \ rho)) = {\ frac { c \ rho ^ {2}} {2}} + {\ mathcal {O}} \ left (\ rho ^ {3} \ right) {\ text {as}} \ rho \ to 0.} <5><6>{\ displaystyle P (x) dx} <6><7>{\ displaystyle P (\ theta) = P (\ theta _ {0}) + \ Delta \ theta _ {j} P_ {j} (\ тета _ {0}) + \ cdots} <7><8>P (x) <8><9>x_ {i} <9><10>{\ textstyle D _ {\ text {KL}} {\ bigl (} p (x \ mid H_ {1}) \ parallel p (x \ mid H_ {0}) {\ bigr)}} <10><11>V_ {o} <11><12>{\ displaystyle D_ {\ text {KL}} (P \ parallel Q) = \ in t _ {\ mathcal {X}} p \ log \ left ({\ frac {p} {q}} \ right) \, d \ mu.} <12><13>{\ displaystyle \ mathrm {H} ( P)} <13><14>V_ {o} = NkT_ {o} / P_ {o} <14><15>Q <15><16>{\ displaystyle D _ {\ text {KL}} (P \ параллельный Q) = \ int _ {\ mathcal {X}} \ log \ left ({\ frac {dP} {dQ}} \ right) \, dP,} <16><17>{\ displaystyle D _ {\ text {KL}} \ left ({\ mathcal {N}} \ left (\ left (\ mu _ {1}, \ ldots, \ mu _ {k} \ right) ^ {\ mathsf {T}}, \ operatorname {diag} \ left (\ sigma _ {1} ^ {2}, \ ldots, \ sigma _ {k} ^ {2} \ right) \ right) \ parallel {\ mathcal {N}} \ left (\ mathbf {0}, \ mathbf {I} \ right) \ right) = {1 \ over 2} \ sum _ {i = 1} ^ {k} \ left (\ sigma _ {i} ^ {2} + \ mu _ {i} ^ {2} -1- \ ln \ left (\ sigma _ {i} ^ {2} \ right) \ right).} <17><18>{\ displaystyle M = {\ frac {1 } {2}} (P + Q).} <18><19>{\ displaystyle W = \ Delta G = NkT_ {o} \ Theta (V / V_ {o})} <19><20>{\ displaystyle D _ {\ text {KL}} (P \ parallel Q) = D _ {\ text {KL}} (P_ {1} \ parallel Q_ {1}) + D _ {\ text {KL}} (P_ {2} \ parallel Q_ {2}).} <20><21>\ theta <21><22>P_{1},P_{2}<22><23>P(X|Y)<23><24>\ пер (2) <24><25>ЧАС (P, Q) <25><26>{\ displaystyle \ Theta (x) = x-1- \ ln x \ geq 0} <26><27>{ \ Displaystyle Q (х) dx = Q ( y) dy} <27><28>T, V <28><29>f_ {0} <29><30>J / K \} <30><31>{\ displaystyle \ mathrm {H} (p)} <31><32>Q, Q_ {1}, Q_ {2} <32><33>{\ displaystyle {\ begin {align} D _ {\ text {KL}} (Q \ parallel P) = \ sum _ {x \ in {\ mathcal {X}}} Q (x) \ ln \ left ({\ frac {Q (x)} {P (x)}} \ right) \\ = {\ frac {1} {3}} \ ln \ left ({\ frac {1/3} {9/25}} \ right) + {\ frac {1} {3}} \ ln \ left ({\ frac {1 / 3} {12/25}} \ right) + {\ frac {1} {3}} \ ln \ left ({\ frac {1/3} {4/25}} \ right) \\ = { \ frac {1} {3}} \ left (-4 \ ln (2) -6 \ ln (3) +6 \ ln (5) \ right) \ приблизительно 0,097455 \ end {align}}} <33><34>{\ displaystyle Y = y} <34><35>{\ displaystyle A \ Equiv -k \ ln (Z)} <35><36>{\ displaystyle D _ {\ text {KL}} {\ big ( } p (x \ mid y_ {1}, y_ {2}, I) \ parallel p (x \ mid y_ {1}, I) {\ big)} + D _ {\ text {KL}} {\ big ( } п (х \ середина Y_ {1}, I) \ параллель р (х \ середина I) {\ большой)}} <36><37>{\ displaystyle \ {P_ {1}, P_ {2}, \ ldots \}} <37><38>{\ displaystyle p _ {(x, \ rho)}} <38><39>{\ displaystyle P (X) P (Y)} <39><40>N <40><41>T <41><42>V <42><43>U <43><44>P (x) = 0 <44><45>{\ displaystyle D _ {\ text {KL}} (f \ parallel f_ {0})} <45><46>{\ displaystyle \ mathrm {H} (p, m)} <46><47>{\ displaystyle \ delta (P, Q) \ leq {\ sqrt {{\ frac {1} {2}} D _ {\ text {KL}} (P \ parallel Q)}}} <47><48>{\ displaystyle s знак равно к \ пер (1 / p)} <48><49>{\ displaystyle p (x, a)} <49><50>H_ {1} <50><51>Q = P (\ theta _ { 0}) <51><52>\ mu <52><53>{\ displaystyle {\ mathcal {X}} = \ {0,1,2 \}} <53><54>{\ displaystyle q (x \ mid a) = p (x \ mid a)} <54><55>{\ displaystyle D _ {\ text {KL}} (p \ parallel m)} <55><56>{\ displaystyle \ Delta I \ geq 0,} <56><57>{\ displaystyle P_ {U} (X) P (Y)} <57><58>k \ ln (p / p_ {o}) <58><59>y ( х) <59><60>{\ displaystyle \ left. {\ frac {\ partial} {\ partial \ theta _ {j}}} \ right | _ {\ theta = \ theta _ {0}} D _ {\ текст {KL}} (P (\ theta) \ parallel P (\ theta _ {0})) = 0,} <60><61>{\ displaystyle p (x \ mid I)} <61><62>q <62><63>{\ displaystyle P (i)} <63><64>M <64><65>{\ displaystyle (p_ {1}, q_ {1})} <65><66>{ \ Displaystyle D _ {\ текст {KL}} (\ lambda p_ {1} + (1- \ lambda) p_ {2} \ parallel \ lambda q_ {1} + (1- \ lambda) q_ {2}) \ leq \ lambda D _ {\ text {KL}} (p_ {1} \ parallel q_ {1}) + (1- \ lambda) D _ {\ text {KL}} (p_ {2} \ parallel q_ {2}) { \ text {for}} 0 \ leq \ lambda \ leq 1.} <66><67>{\ displaystyle D _ {\ text {KL}} (P \ parallel Q)} <67><68>{\ displaystyle {\ begin {align} D _ {\ text {KL}} (P \ parallel Q) = - \ sum _ {x \ in {\ mathcal {X}}} p (x) \ log q (x) + \ sum _ {x \ in {\ mathcal {X}}} p (x) \ log p (x) \\ = \ mathrm {H} (P, Q) - \ mathrm {H } (P) \ конец {выровнено}}} <68><69>j <69><70>{\ displaystyle {\ tfrac {\ partial \ log (p)} {\ partial \ rho}}, {\ tfrac {\ partial ^ {2} \ log (p)} {\ partial \ rho ^ {2}}}, {\ tfrac {\ partial ^ {3} \ log (p)} {\ partial \ rho ^ {3} }}} <70><71>{\ displaystyle p (x) \ to p (x \ mid I)} <71><72>{\ displaystyle D _ {\ text {KL}} (q (x \ mid a) u (a) \ parallel p (x, a)) = \ operatorname {E} _ {u (a)} \ left \ {D _ {\ text {KL}} (q (x \ mid a) \ parallel p (Икс \ середина а)) \ право \} + D _ {\ текст {KL}} (и (а) \ параллельно р (а)),} <72><73>{\ Displaystyle \ Delta \ theta _ {j } = (\ theta - \ theta _ {0}) _ {j}} <73><74>{\ displaystyle \ left \ {1,1 / \ ln 2,1.38 \ times 10 ^ {- 23} \ right \}} <74><75>P_ {o} <75><76>{\ displaystyle \ mathrm {H} (p, q) = \ operatorname {E} _ {p} [- \ log (q)] = \ mathrm {H} (p) + D _ {\ text {KL}} (p \ parallel q).} <76><77>x = 0 <77><78>e <78><79>p <79><80>{\ displaystyle p (x \ mid y, I) = {\ frac {p (y \ mid x, I) p (x \ mid I)} {p (y \ mid I)}}} <80><81>Д <81><82>{\ displaystyle i = m} <82><83>{\ displaystyle {\ begin {align} D _ {\ text {KL}} (P \ parallel Q) = \ sum _ {x \ in {\ mathcal {X}}} P (x) \ ln \ left ({\ frac {P (x)} {Q (x)}} \ right) \\ = {\ frac {9} {25}} \ ln \ left ({\ frac {9/25} {1/3}} \ right) + {\ frac {12} {25}} \ ln \ left ({\ frac {12/25} {1/3 }} \ right) + {\ frac {4} {25}} \ ln \ left ({\ frac {4/25} {1/3}} \ right) \\ = {\ frac {1} {25 }} \ left (32 \ ln (2) +55 \ ln (3) -50 \ ln (5) \ right) \ приблизительно 0,0852996 \ конец {выровнено}}} <83><84>{\ displaystyle {\ begin {выровнено} \ left | {\ frac {\ partial p} {\ partial \ rho}} \ right | <85>{\ displaystyle \ left. \ Int _ {x = 0} ^ {\ infty} {\ frac {\ partial p (x, \ rho)} {\ partial \ rho}} \ right | _ {\ rho = 0} \, dx = \ left. \ Int _ {x = 0} ^ {\ infty} {\ frac {\ partial ^ {2} p (x, \ rho)} {\ partial \ rho ^ {2} }} \ right | _ {\ rho = 0} \, d х = 0} <85><86>{\ displaystyle p = {\ frac {dP} {d \ mu}}} <86><87>{\ displaystyle p (x \ mid y_ {1}, y_ {2 }, I)} <87><88>{\ displaystyle \ Delta \ theta _ {j}} <88><89>{\ displaystyle y_ {b} = y (x_ {b})} <89><90>{\ displaystyle \ lim _ {n \ to \ infty} D _ {\ text {KL}} (P_ {n} \ parallel Q) = 0} <90><91>{\ displaystyle q (x \ mid a) и (а)} <91><92>{\ displaystyle p = 0,4} <92><93>P <93><94>p_ {o} <94><95>{\ displaystyle D _ {\ text {KL }} (P \ parallel Q) = \ int _ {- \ infty} ^ {\ infty} p (x) \ log \ left ({\ frac {p (x)} {q (x)}} \ right) \, dx} <95><96>{\ displaystyle \ displaystyle \ sum _ {x} p (x \ mid y_ {1}, I) \ log \ left ({\ frac {p (x \ mid y_ {1) }, I)} {p (x \ mid I)}} \ right)} <96><97>\ theta = \ theta _ {0} <97><98>Два распределения для иллюстрации расхождения Кульбака – Лейблера <98><99>{\ displaystyle q (x_ {i}) = 2 ^ {- \ ell _ {i}}} <99><100>S <100><101>{\ displaystyle \ Delta I = Nk \ left [\ Theta \ left ({\ frac {V} {V_ {o}}} \ right) + {\ frac {3} {2}} \ Theta \ left ({\ frac {T} {T_ {o}} } \ right) \ right].} <101><102>{\ displaystyle D _ {\ text {KL}} (P \ parallel Q) = - \ sum _ {x \ in {\ mathcal {X}}} P (x) \ log \ left ({\ frac {Q (x)} {P (x)}} \ right) } <102><103>{\ displaystyle p (x \ mid a)} <103><104>{\ displaystyle \ lim _ {x \ to 0 ^ {+}} x \ log (x) = 0.} <104><105>\ theta _ {0} <105><106>{\ displaystyle P_ {U} (X)} <106><107>{\ displaystyle p (H)} <107><108>{ \ displaystyle 12/25} <108><109>{\ displaystyle \ operatorname {ln}} <109><110>{\ displaystyle D _ {\ lambda} (P \ parallel Q) = \ lambda D _ {\ text {KL }} (P \ parallel \ lambda P + (1- \ lambda) Q) + (1- \ lambda) D _ {\ text {KL}} (Q \ parallel \ lambda P + (1- \ lambda) Q),} <110><111>{\ displaystyle G = U + PV-TS} <111><112>{\ displaystyle {\ frac {dP} {dQ}}} <112><113>{\ mathcal {X}} <113><114>{\displaystyle D_{\text{KL}}{\big (}p(x\mid y_{1},y_{2},I)\parallel p(x\mid I){\big)}}<114><115>{\displaystyle D_{\text{KL}}{\big (}p(x\mid y,I)\parallel p(x\mid I){\big)}=\ sum _{x}p(x\mid y,I)\log \left({\frac {p(x\mid y,I)}{p(x\mid I)}}\right)}<115><116>{\displaystyle D_{\text{KL}}(Q\parallel P)}<116><117>{\displaystyle p(y_{2}\mid y_{1},x,I)}<117><118>\ell_i<118><119>{\displaystyle 9/25}<119><120>{\displaystyle {\begin{aligned}\operatorname {I} (X;Y)=D_ {\text{KL}}(P(X,Y)\parallel P(X)P(Y))\\=\operatorname {E} _{X}\{D_{\text{KL}}(P(Y\mid X)\parallel P(Y))\}\\=\operatorname {E} _{Y}\{D_{\text{KL}}(P(X\mid Y)\parallel P(X))\}\end{aligned}}}<120><121>Q(x)<121><122>{\displaystyle D_{\text{KL}}(P\parallel Q)\neq D_{\text{KL}}(Q\parallel P)}<122><123>{\displaystyle u(a)}<123><124>{\mathcal{X}}<124><125>f<125><126>Q(x)=0<126><127>T\times A<127><128>1<128><129>x<129><130>{\displaystyle {\begin{aligned}\mathrm {H} (X)=\operatorname {E} \left[\operatorname {I} _{X}(x)\right]\\=\log(N)-D_{\text{KL}}\left(p_{X}(x)\parallel P_{U}(X)\right)\end{aligned}}}<130><131>H(P)<131><132>a<132><133>{\displaystyle \lambda =0.5}<133><134>{\displaystyle g_{jk}(\theta _{0})=\left.{\frac {\partial ^{2}}{\partial \theta _{j}\,\partial \theta _{k}}}\right|_{\theta =\theta _{0}}D_{\text{KL}}(P(\theta)\parallel P(\theta _{0}))}<134><135>{\displaystyle D_{\text{JS}}={\frac {1}{2}}D_{\text{KL}}(P\parallel M)+{\frac {1}{2}}D_{\text{KL}}(Q\parallel M)}<135><136>X<136><137>{\displaystyle D_{\text{KL}}\left({\mathcal {N}}_{0}\parallel {\mathcal {N}}_{1}\right)={\frac {1}{2}}\left(\operatorname {tr} \left(\Sigma _{1}^{-1}\Sigma _{0}\right)+\left(\mu _{1}-\mu _{0}\right)^{\mathsf {T}}\Sigma _{1}^{-1}\left(\mu _{1}-\mu _{0}\right)-k+\ln \left({\frac {\det \Sigma _{1}}{\det \Sigma _{0}}}\right)\right).}<137><138>\alpha <138><139>{\displaystyle P_{n}{\xrightarrow {D}}Q.}<139><140>{\displaystyle D_{\text{KL}}(P\parallel Q)+D_{\text{KL}}(Q\parallel P)}<140><141>H_{0}<141><142>{\displaystyle \mathrm {H} (P,Q)}<142><143>{\displaystyle \mathrm {H} {\big (}p(x\mid y,I){\big)}=-\sum _{x}p(x\mid y,I)\log p(x\mid y,I),}<143><144>{\displaystyle p(x\mid y,I)}<144><145>P(X)<145><146>{\displaystyle y_{a}=y(x_{a})}<146><147>1/3<147><148>{\displaystyle \sum _{x}p(x\mid y_{1},y_{2},I)\log \left({\frac {p(x\mid y_{1},y_{2},I)}{p(x\mid I)}}\right)}<148><149>2<149><150>{\displaystyle P_{j}\left(\theta _{0}\right)={\frac {\partial P}{\partial \theta _{j}}}(\theta _{0})}<150><151>k<151><152>{\displaystyle P_{n}{\xrightarrow {D}}P\Rightarrow P_{n}{\xrightarrow {TV}}P,}<152><153>g_{jk}(\theta)<153><154>{\displaystyle F\equiv U-TS}<154><155>(p,q)<155><156>{\displaystyle 4/25}<156><157>{\displaystyle p(x\mid y_{1},I)}<157><158>1-\lambda <158><159>{\displaystyle D_{\text{KL}}(P\parallel Q)=\int _{\mathcal {X}}\log \left({\frac {dP}{dQ}}\right){\frac {dP}{dQ}}\,dQ,}<159><160>{\displaystyle q(x\mid a)}<160><161>{\displaystyle D_{\text{KL}}(p(x\mid H_{1})\parallel p(x\mid H_{0}))\neq IG=D_{\text{KL}}(p(H\mid x)\parallel p(H\mid I)).}<161><162>{\displaystyle W=T_{o}\Delta I}<162><163>\delta (p,q)<163><164>i<164><165>m<165><166>{\displaystyle Y_{2}=y_{2}}<166><167>T_{o}<167><168>N=2<168><169>\mu _{0},\mu _{1}<169><170>{\displaystyle KL(P\parallel Q)}<170><171>{\displaystyle q={\frac {dQ}{d\mu }}}<171><172>{\displaystyle \operatorname {\operatorname {I} } (m)=D_{\text{KL}}\left(\delta _{\text{im}}\parallel \{p_{i}\}\right),}<172><173>{\displaystyle D_{\text{KL}}( P\parallel Q)=\operatorname {Tr} (P(\log(P)-\log(Q))).}<173><174>P=Q<174><175>{\displaystyle D_{\text{KL}}(P\parallel Q)\geq 0,}<175><176>{\displaystyle P(x,y)=P_{1}(x)P_{2}(y)}<176><177>{\displaystyle D_{JS}}<177><178>p=1/3<178><179>Z<179><180>{\displaystyle \mathrm {H} (p(x\mid I))}<180><181>p(a)<181><182>{\displaystyle (p_{2},q_{2})}<182><183>{\displaystyle H(P,P)=:H(P)}<183><184>{\displaystyle \Sigma _{0},\Sigma _{1}.}<184><185>P=P(\theta)<185><186>{\displaystyle P(X,Y)}<186><187>{\displaystyle P(x)dx=P(y)dy}<187><188>{\displaystyle D_{\text{KL}}(P\parallel Q)=\sum _{x\in {\mathcal {X}}}P(x)\log \left({\frac {P(x)}{Q(x)}}\right).}<188><189>{\displaystyle {\begin{aligned}\mathrm {H} (X\mid Y)=\log(N)-D_{\text{KL}}(P(X,Y)\parallel P_{U}(X)P(Y))\\=\log(N)-D_{\text{KL}}(P(X,Y)\parallel P(X)P(Y))-D_{\text{KL}}(P(X)\parallel P_{U}(X))\\=\mathrm {H} (X)-\operatorname {I} (X;Y)\\=\log(N)-\operatorname {E} _{Y}\left[D_{\text{KL}}\left(P\left(X\mid Y\right)\parallel P_{U}(X)\right)\righ t]\end{aligned}}}<189><190>{\displaystyle D_{\text{KL}}(q(x\mid a)\paral lel p(x\mid a))}<190><191>{\displaystyle D_{\text{KL}}(P(\theta)\parallel P(\theta _{0}))={\frac {1}{2}}\Delta \theta _{j}\Delta \theta _{k}g_{jk}(\theta _{0})+\cdots }<191><192>\{<192>html