Ограничение плотности дискретных точек

В теория информации, предельная плотность дискретных точек является корректировкой формулы Клода Шеннона для дифференциальной энтропии.

. Она была сформулирована Эдвином Томпсон Джейнс для устранения недостатков в первоначальном определении дифференциальной энтропии.

Первоначально Шеннон записал следующую формулу для энтропии непрерывного распределения, известной как дифференциальная энтропия :

$h\; (X)\; =\; -\; \int \; p\; (x)\; журнал\; \; p\; (x)\; dx.\; \{\backslash \; displaystyle\; h\; (X)\; =\; -\; \backslash \; int\; p\; (x)\; \backslash \; log\; p\; (x)\; \backslash ,\; dx.\}$

Однако, в отличие от формулы Шеннона для дискретной энтропии, это не результат какого-либо вывода (Шеннон просто заменил символ суммирования в дискретной версии на интеграл), и оказалось, что отсутствуют многие свойства, которые делают дискретную энтропию полезной мерой неопределенности. В частности, он не инвариантен при замене переменных и даже может стать отрицательным. Кроме того, это даже неверно по размерам. Поскольку $P\; (x)\; \{\backslash \; displaystyle\; P\; (x)\}$будет безразмерным, $p\; (x)\; \{\backslash \; displaystyle\; p\; (x)\}$должен иметь единицы измерения of $1\; dx\; \{\backslash \; displaystyle\; \{\backslash \; frac\; \{1\}\; \{dx\}\}\}$, что означает, что аргумент логарифма не является безразмерным, как требуется.

Джейнс (1963, 1968) утверждал, что формулу для непрерывной энтропии следует выводить, взяв предел все более плотных дискретных распределений. Предположим, что у нас есть набор $N\; \{\backslash \; displaystyle\; N\}$дискретных точек $\{xi\}\; \{\backslash \; displaystyle\; \backslash \; \{x\_\; \{i\}\; \backslash \}\}$, например что в пределе $N\; \to \; \infty \; \{\backslash \; displaystyle\; N\; \backslash \; to\; \backslash \; infty\}$их плотность приближается к функции $m\; (x)\; \{\backslash \; displaystyle\; m\; (x)\}$называется «инвариантная мера».

Джейнс вывел из этого следующую формулу для непрерывной энтропии, которую, как он утверждал, следует принимать как правильную формулу:

$lim\; N\; \to \; \infty \; HN\; (\; Икс)\; знак\; равно\; журнал\; \; (N)\; -\; \int \; п\; (Икс)\; журнал\; \; п\; (Икс)\; м\; (Икс)\; dx.\; \{\backslash \; Displaystyle\; \backslash \; lim\; \_\; \{N\; \backslash \; rightarrow\; \backslash \; infty\}\; H\_\; \{N\}\; (X)\; =\; \backslash \; log\; (\; N)\; -\; \backslash \; int\; p\; (x)\; \backslash \; log\; \{\backslash \; frac\; \{p\; (x)\}\; \{m\; (x)\}\}\; \backslash ,\; dx.\}$

Обычно, когда это написано, термин $log\; \; (\; N)\; \{\backslash \; displaystyle\; \backslash \; log\; (N)\}$опускается, так как обычно это не будет конечным. Таким образом, фактическое общее определение:

$H\; (X)\; =\; -\; \int \; p\; (x)\; log\; \; п\; (Икс)\; м\; (Икс)\; dx.\; \{\backslash \; Displaystyle\; H\; (X)\; =\; -\; \backslash \; int\; p\; (x)\; \backslash \; log\; \{\backslash \; frac\; \{p\; (x)\}\; \{m\; (x)\}\}\; \backslash ,\; dx.\}$

Если неясно, следует ли опускать термин $log\; \; (N)\; \{\backslash \; displaystyle\; \backslash \; log\; (N)\}$, можно написать

$HN\; (X)\; \sim \; log\; \; (N)\; +\; ЧАС\; (Икс)\; \{\backslash \; Displaystyle\; H\_\; \{N\}\; (X)\; \backslash \; sim\; \backslash \; log\; (N)\; +\; H\; (X)\}$

Обратите внимание, что в формуле Джейнса $m\; (x)\; \{\backslash \; displaystyle\; m\; (x)\}$- плотность вероятности. Понятно, что для любого плавника ite $N\; \{\backslash \; displaystyle\; N\}$, что $m\; (x)\; \{\backslash \; displaystyle\; m\; (x)\}$представляет собой просто равномерную плотность по квантованию непрерывного пространства который используется в сумме Римана. В пределе $m\; (x)\; \{\backslash \; displaystyle\; m\; (x)\}$- это непрерывная предельная плотность точек при квантовании, используемая для представления непрерывной переменной $x\; \{\backslash \; displaystyle\; x\}$.

Предположим, у кого-то есть числовой формат, который принимает $N\; \{\backslash \; displaystyle\; N\}$возможных значений, распределенных согласно $m\; (x)\; \{\backslash \; displaystyle\; m\; (x)\}$. Тогда $HN\; (X)\; \{\backslash \; displaystyle\; H\_\; \{N\}\; (X)\}$(если $N\; \{\backslash \; displaystyle\; N\}$достаточно велико, чтобы непрерывное приближение действительный) - дискретная энтропия переменной $x\; \{\backslash \; displaystyle\; x\}$в этой кодировке. Это равно среднему числу битов, необходимых для передачи этой информации, и составляет не более $log\; \; (N)\; \{\backslash \; displaystyle\; \backslash \; log\; (N)\}$. Следовательно, $H\; (X)\; \{\backslash \; displaystyle\; H\; (X)\}$можно рассматривать как количество информации, полученной, зная, что переменная $x\; \{\backslash \; displaystyle\; x\}$следует распределению $p\; (x)\; \{\backslash \; displaystyle\; p\; (x)\}$и не распределяется равномерно по возможным квантованным значениям, как это было бы в случае, если бы оно следовало $m\; (x)\; \{\backslash \; displaystyle\; m\; (x)\}$. $H\; (X)\; \{\backslash \; displaystyle\; H\; (X)\}$на самом деле (отрицательное) расхождение Кульбака – Лейблера от $m\; (x)\; \{\backslash \; displaystyle\; m\; (x)\}$to $p\; (x)\; \{\backslash \; displaystyle\; p\; (x)\}$, который рассматривается как информация, полученная в результате изучения того, что переменная, ранее считавшаяся распределенной как $m\; (x)\; \{\backslash \; displaystyle\; m\; (x)\}$, фактически распределяется как $p\; (x)\; \{\backslash \; displaystyle\; p\; (\; x)\}$.

Формула непрерывной энтропии Джейнса имеет свойство быть инвариантной при замене переменных при условии, что $m\; (x)\; \{\backslash \; displaystyle\; m\; (x)\}$и $p\; (x)\; \{\backslash \; displaystyle\; p\; (x)\}$трансфо таким же образом. (Отсюда и название «инвариантная мера» для m.) Это решает многие трудности, возникающие при применении формулы Шеннона для непрерывной энтропии. Сам Джейнс отказался от термина $log\; \; (N)\; \{\backslash \; displaystyle\; \backslash \; log\; (N)\}$, поскольку он не имел отношения к его работе (максимальное распределение энтропии), и несколько неловко иметь бесконечный срок в расчете. К сожалению, с этим ничего не поделать, если квантование выполняется произвольно точно, как это было бы в случае непрерывного предела. Обратите внимание, что $H\; (X)\; \{\backslash \; displaystyle\; H\; (X)\}$, как определено здесь (без $log\; \; (N)\; \{\backslash \; displaystyle\; \backslash \; log\; (N)\}$term) всегда будет неположительным, потому что расхождение KL всегда будет неотрицательным.

Если это так, что $m\; (x)\; \{\backslash \; displaystyle\; m\; (x)\}$постоянно в некотором интервале размера $r\; \{\backslash \; displaystyle\; r\}$и $p\; (x)\; \{\backslash \; displaystyle\; p\; (x)\}$по существу равно нулю за пределами этого интервала, тогда предельная плотность дискретных точек (LDDP) тесно связана с дифференциальная энтропия $час\; (X)\; \{\backslash \; displaystyle\; h\; (X)\}$

$HN\; (X)\; \approx \; log\; \; (N)\; -\; log\; \; (r)\; +\; h\; (X)\; \{\backslash \; displaystyle\; H\_\; \{N\}\; (X)\; \backslash \; приблизительно\; \backslash \; log\; (N)\; -\; \backslash \; log\; (r)\; +\; h\; (X)\}$

• Jaynes, ET (2003). Теория вероятностей: логика науки. Издательство Кембриджского университета. ISBN 978-0521592710.