Информационное содержание

В теории информации, информационное содержание, самоинформация, неожиданность или Информация Шеннона - это базовая величина, полученная из вероятности определенного события, происходящего из случайная величина. Его можно рассматривать как альтернативный способ выражения вероятности, очень похожий на шансы или логарифмические шансы, но который имеет особые математические преимущества в контексте теории информации.

Информация Шеннона может интерпретироваться как количественная оценка уровня «неожиданности» конкретного результата. Поскольку это такая базовая величина, она также появляется в нескольких других параметрах настройки, таких как длина сообщения, необходимого для передачи события, при оптимальном кодировании источника случайной величины.

Информация Шеннона тесно связана с теоретической энтропией информации, которая представляет собой ожидаемое значение самоинформации случайной величины, количественно определяющее, насколько удивительной является случайная величина «в среднем». Это средний объем самоинформации, которую наблюдатель ожидал бы получить о случайной величине при ее измерении.

Информационное содержание может быть выражено в различных единицах информации, из которых наиболее распространенным является «бит» (иногда также называемый «шеннон»), как описано ниже.

• 1 Определение
• 2 Свойства
  • 2.1 Монотонно убывающая функция вероятности
  • 2.2 Связь с логарифмическими шансами
  • 2.3 Аддитивность независимых событий
• 3 Примечания
• 4 Примеры
  • 4.1 Честный бросок монеты
  • 4.2 Честный бросок кости
  • 4.3 Два независимых одинаково распределенных кубика
    • 4.3.1 Информация о частоте бросков
    • 4.3.2 Информация о сумме кубиков
  • 4.4 Общее дискретное равномерное распределение
    • 4.4.1 Частный случай: постоянная случайная величина
  • 4.5 Категориальное распределение
• 5 Связь с энтропией
• 6 Вывод
• 7 См. Также
• 8 Ссылки
• 9 Далее чтение
• 10 Внешние ссылки

Определение самоинформации Клода Шеннона было выбрано для соответствия нескольким аксиомам:

1. Событие со 100% вероятностью совершенно неудивительно и не дает никакой информации.
2. Чем менее вероятно событие, тем оно удивительнее и тем больше информации оно дает.
3. Если два независимых события измеряются отдельно, общий объем информации - это сумма самоинформации отдельных событий.

Подробный вывод приведен ниже, но можно показать, что существует уникальная функция вероятности, которая соответствует этим трем аксиомам, с точностью до мультипликативной коэффициент масштабирования. В широком смысле для события $x\; \{\backslash \; displaystyle\; x\}$с вероятностью $P\; \{\backslash \; displaystyle\; P\}$информационное содержание определяется следующим образом:

$I\; \; (x):\; =\; -\; log\; b\; \; [Pr\; (x)]\; =\; -\; log\; b\; \; (P).\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{I\}\; (x):\; =\; -\; \backslash \; log\; \_\; \{b\}\; \{\backslash \; left\; [\backslash \; Pr\; \{\backslash \; left\; (x\; \backslash \; right)\}\; \backslash \; right]\}\; =\; -\; \backslash \; log\; \_\; \{b\}\; \{\backslash \; left\; (P\; \backslash \; right)\}.\}$

Основание журнала остается неопределенным, что соответствует коэффициенту масштабирования, указанному выше. Различные варианты основания соответствуют разным единицам информации: если логарифмическое основание равно 2, единица называется «бит » или «шеннон» ; если логарифм является натуральным логарифмом (соответствует основанию числа Эйлера e ≈ 2,7182818284), единица измерения называется «нат», сокращенно от «натуральный» ; и если основание равно 10, единицы называются «хартли», десятичное «цифры» или иногда «точки».

Формально, для случайной величины $X\; \{\backslash \; displaystyle\; X\}$с функцией массы вероятности $p\; X\; (x)\; \{\backslash \; displaystyle\; p\_\; \{\; X\}\; \{\backslash \; left\; (x\; \backslash \; right)\}\}$, самоинформация измерения $X\; \{\backslash \; displaystyle\; X\}$как результат $x\; \{\backslash \; displaystyle\; x\}$определяется как

$IX\; \; (x):\; =\; -\; log\; \; [p\; X\; (x)]\; =\; log\; \; (1\; p\; X\; (x)).\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{I\}\; \_\; \{X\}\; (x):\; =\; -\; \backslash \; log\; \{\backslash \; left\; [p\_\; \{X\}\; \{\backslash \; left\; (x\; \backslash \; right)\}\; \backslash \; right]\}\; =\; \backslash \; log\; \{\backslash \; left\; (\{\backslash \; frac\; \{1\}\; \{p\_\; \{X\}\; \{\backslash \; left\; (x\; \backslash \; right)\}\}\}\; \backslash \; right)\}.\}$

. энтропия Шеннона случайной величины $X\; \{\backslash \; displaystyle\; X\; \}$выше определяется как

$H\; (X)\; =\; \sum \; x\; -\; p\; X\; (x)\; log\; \; p\; X\; (x)\; =\; \sum \; xp\; X\; (x)\; IX\; \; (x)\; =\; def\; E\; \; [IX\; \; (X)],\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{alignat\}\; \{2\}\; \backslash \; mathrm\; \{H\}\; (X)\; =\; \backslash \; sum\; \_\; \{x\}\; \{-\; p\_\; \{X\}\; \{\backslash \; left\; (x\; \backslash \; right)\}\; \backslash \; log\; \{p\_\; \{X\}\; \{\backslash \; left\; (x\; \backslash \; right)\}\}\}\; \backslash \backslash \; =\; \backslash \; sum\; \_\; \{x\}\; \{p\_\; \{X\}\; \{\backslash \; left\; (x\; \backslash \; right)\}\; \backslash \; operatorname\; \{I\; \}\; \_\; \{X\}\; (x)\}\; \backslash \backslash \; \{\backslash \; overset\; \{\backslash \; underset\; \{\backslash \; mathrm\; \{def\}\}\; \{\}\}\; \{=\}\}\; \backslash \; \backslash \; operatorname\; \{E\}\; \{\backslash \; left\; [\backslash \; operatorname\; \{I\}\; \_\; \{X\; \}\; (X)\; \backslash \; right]\},\; \backslash \; end\; \{alignat\}\}\}$

по определению равно ожидаемому информационному содержанию измерения $X\; \{\backslash \; displaystyle\; X\}$.

Использование нотации $IX\; (x)\; \{\backslash \; displaystyle\; I\_\; \{X\}\; (x)\}$для самоинформации выше не универсален. Поскольку запись $I\; (X;\; Y)\; \{\backslash \; displaystyle\; I\; (X;\; Y)\}$также часто используется для связанного количества взаимной информации, многие авторы используют строчная $h\; X\; (x)\; \{\backslash \; displaystyle\; h\_\; \{X\}\; (x)\}$вместо самоэнтропии, отражая использование заглавной $H\; (X)\; \{\backslash \; displaystyle\; H\; (\; X)\}$для энтропии.

Монотонно убывающая функция вероятности

Для заданного вероятностного пространства измерение более редких событий интуитивно более «удивительные» и дают больше информации, чем более общие ценности. Таким образом, самоинформация - это строго убывающая монотонная функция вероятности, или иногда называемая «противотонной» функцией.

Хотя стандартные вероятности представлены действительными числами в интервале $[0,\; 1]\; \{\backslash \; displaystyle\; [0,1]\}$, самоинформация представлена ​​расширенными действительными числами в интервале $[0,\; \infty ]\; \{\backslash \; displaystyle\; [0,\; \backslash \; infty]\}$. В частности, для любого выбора логарифмического основания у нас есть следующее:

• Если конкретное событие имеет 100% вероятность наступления, то его самоинформация будет $-\; log\; \; (1)\; =\; 0\; \{\backslash \; displaystyle\; -\; \backslash \; log\; (1)\; =\; 0\}$: его появление "совершенно не удивительно" и не дает никакой информации.
• Если конкретное событие имеет вероятность возникновения 0%, то его самоинформация $-\; log\; \; (0)\; =\; \infty \; \{\backslash \; displaystyle\; -\; \backslash \; log\; (0)\; =\; \backslash \; infty\}$: его появление «бесконечно удивительно».

Отсюда мы может получить несколько общих свойств:

• Интуитивно больше информации можно получить, наблюдая за неожиданным событием - это «удивительно».
  • Например, если существует шанс один на миллион, что Алиса выиграет в лотерею, ее друг Боб получит значительно больше информации, узнав, что она выиграла, чем проиграла в данный день. (См. Также: Математика лотереи.)
• Это устанавливает неявную связь между самоинформацией случайной величины и ее дисперсией.

Связью с логарифмическими шансами

Информация Шеннона тесно связана с логарифмическими коэффициентами. В частности, для некоторого события $x\; \{\backslash \; displaystyle\; x\}$предположим, что $p\; (x)\; \{\backslash \; displaystyle\; p\; (x)\}$- вероятность появления $x\; \{\backslash \; displaystyle\; x\}$, и что $p\; (\neg \; x)\; =\; 1\; -\; p\; (x)\; \{\backslash \; displaystyle\; p\; (\backslash \; lnot\; x)\; =\; 1-p\; (x)\}$- вероятность того, что $x\; \{\backslash \; displaystyle\; x\}$не произойдет. Тогда мы имеют следующее определение логарифма шансов:

$логарифм\; шансов\; (x)\; =\; журнал\; \; (p\; (x)\; p\; (\neg \; x))\; \{\backslash \; displaystyle\; \{\backslash \; text\; \{log-odds\}\}\; (x)\; =\; \backslash \; log\; \backslash \; left\; (\{\backslash \; frac\; \{p\; (x)\}\; \{p\; (\backslash \; lnot\; x)\}\}\; \backslash \; right)\}$

Это может быть выражено как разница двух данных Шеннона:

$log-odds\; (x)\; =\; I\; (\neg \; x)\; -\; I\; (x)\; \{\backslash \; displaystyle\; \{\backslash \; text\; \{log-odds\}\}\; (x)\; =\; I\; (\backslash \; lnot\; x)\; -I\; (x)\}$

Другими словами, l og-odds можно интерпретировать как уровень неожиданности, если событие «не произошло», за вычетом уровня неожиданности, если событие «произойдет».

Аддитивность независимых событий

Информационное содержание двух независимых событий является суммой информационного содержания каждого события. Это свойство известно как аддитивность в математике и сигма-аддитивность, в частности, в мере и теории вероятностей. Рассмотрим две независимые случайные величины $X,\; Y\; \{\backslash \; textstyle\; X,\; \backslash ,\; Y\}$с вероятностно-массовыми функциями $p\; X\; (x)\; \{\backslash \; displaystyle\; p\_\; \{X\}\; (x)\}$и $p\; Y\; (y)\; \{\backslash \; displaystyle\; p\_\; \{Y\}\; (y)\}$соответственно. объединенная функция массы вероятности равна

$p\; X,\; Y\; (x,\; y)\; =\; Pr\; (X\; =\; x,\; Y\; =\; y)\; =\; p\; X\; (x)\; p\; Y\; (y)\; \{\backslash \; displaystyle\; p\_\; \{X,\; Y\}\; \backslash !\; \backslash \; Left\; (x,\; y\; \backslash \; right)\; =\; \backslash \; Pr\; (X\; =\; x,\; \backslash ,\; Y\; =\; y)\; =\; p\_\; \{X\}\; \backslash !\; (X)\; \backslash ,\; p\_\; \{Y\}\; \backslash !\; (Y)\}$

, поскольку $X\; \{\backslash \; textstyle\; X\}$и $Y\; \{\backslash \; textstyle\; Y\}$независимы. Информационное содержание outcome $(X,\; Y)\; =\; (x,\; y)\; \{\backslash \; displaystyle\; (X,\; Y)\; =\; (x,\; y)\}$is

$IX,\; Y\; \; (x,\; y)\; =\; -\; журнал\; 2\; \; [p\; X,\; Y\; (x,\; y)]\; =\; -\; журнал\; 2\; \; [p\; X\; (x)\; p\; Y\; (y)]\; =\; -\; журнал\; 2\; \; [p\; X\; (x)]\; -\; журнал\; 2\; \; [п\; Y\; (y)]\; =\; IX\; \; (x)\; +\; IY\; \; (y)\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{align\}\; \backslash \; operatorname\; \{I\}\; \_\; \{X,\; Y\}\; (x,\; y)\; =\; -\; \backslash \; log\; \_\; \{2\}\; \backslash \; left\; [p\_\; \{X,\; Y\}\; (x,\; y)\; \backslash \; right]\; =\; -\; \backslash \; log\; \_\; \{2\}\; \backslash \; left\; [p\_\; \{X\}\; \backslash !\; (x)\; p\_\; \{Y\}\; \backslash !\; (y)\; \backslash \; right]\; \backslash \backslash \; =\; -\; \backslash \; log\; \_\; \{2\}\; \backslash \; left\; [p\_\; \{X\}\; \{(x)\}\; \backslash \; right]\; -\; \backslash \; log\; \_\; \{2\}\; \backslash \; left\; [p\_\; \{Y\}\; \{(y)\}\; \backslash \; right]\; \backslash \backslash \; =\; \backslash \; operatorname\; \{I\}\; \_\; \{X\}\; (x)\; +\; \backslash \; operatorname\; \{I\}\; \_\; \{Y\}\; (y)\; \backslash \; end\; \{align\}\}\}$См. § Два независимых, идентичных распределенные кости ниже для примера.

Соответствующим свойством для правдоподобий является то, что логарифмическая вероятность независимых событий является суммой логарифмических вероятностей каждого события. Интерпретируя логарифмическую вероятность как «поддержку» или отрицательную неожиданность (степень, в которой событие поддерживает данную модель: модель поддерживается событием в той степени, в которой событие неудивительно для данной модели), это означает, что независимые события добавляют поддержка: информация, которую два события вместе предоставляют для статистического вывода, является суммой их независимой информации.

Этот показатель также называют неожиданностью, поскольку он представляет собой «неожиданность » от видения результата (крайне маловероятный результат Очень неожиданно). Этот термин (как мера логарифмической вероятности) был введен Майроном Трибусом в его книге «Термостатика и термодинамика» 1961 года.

Когда событие является случайной реализацией (переменной), самореализация информация переменной определяется как ожидаемое значение самоинформации реализации.

Самоинформация является примером правильного правила подсчета очков.

Справедливый бросок монеты

Рассмотрим испытание Бернулли подбрасывать честную монету $X\; \{\backslash \; displaystyle\; X\}$. вероятности событий выпадения монеты в виде орла $H\; \{\backslash \; displaystyle\; H\}$и решки $T\; \{\backslash \; displaystyle\; T\}$(см. честная монета и аверс и реверс ) равны по половине каждый, $p\; X\; (H)\; =\; p\; X\; (T)\; =\; 1\; 2\; =\; 0,5\; \{\backslash \; textstyle\; p\_\; \{X\}\; \{(H)\}\; =\; p\_\; \{X\}\; \{(T)\}\; =\; \{\backslash \; tfrac\; \{1\}\; \{2\}\}\; =\; 0,5\}$. После измерения переменной в виде голов, связанное с этим информационное усиление равно

$IX\; \; (H)\; =\; -\; log\; 2\; \; p\; X\; (H)\; =\; -\; log\; 2\; 1\; 2\; =\; 1,\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{I\}\; \_\; \{X\}\; (H)\; =\; -\; \backslash \; log\; \_\; \{2\}\; \{p\_\; \{X\}\; \{(H)\}\}\; =\; -\; \backslash \; log\; \_\; \{2\}\; \backslash !\; \{\backslash \; Tfrac\; \{1\}\; \{2\}\}\; =\; 1,\}$, так что выигрыш в информации при честном приземлении орла составляет 1 шеннон. Аналогичным образом, информационный прирост измерения $T\; \{\backslash \; displaystyle\; T\}$хвостов равен $IX\; \; (T)\; =\; -\; log\; 2\; \; p\; X\; (T)\; =\; -\; log\; 2\; 1\; 2\; =\; 1\; Шеннон.\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{I\}\; \_\; \{X\}\; (T)\; =\; -\; \backslash \; log\; \_\; \{2\}\; \{p\_\; \{X\}\; \{(T)\}\}\; =\; -\; \backslash \; log\; \_\; \{2\}\; \backslash !\; \{\backslash \; tfrac\; \{1\}\; \{2\}\}\; =\; 1\; \{\backslash \; text\; \{shannon\}\}.\}$

Справедливый бросок кубиков

Предположим, у нас есть правильный шестигранный кубик. Значение броска кости - это дискретная однородная случайная величина $X\; \sim \; DU\; [1,\; 6]\; \{\backslash \; displaystyle\; X\; \backslash \; sim\; \backslash \; mathrm\; \{DU\}\; [1,6]\}$с функцией вероятности и массы

$p\; X\; (k)\; =\; \{1\; 6,\; k\; \in \; \{1,\; 2,\; 3,\; 4,\; 5,\; 6\}\; 0,\; иначе\; \{\backslash \; displaystyle\; p\_\; \{X\}\; (k)\; =\; \{\backslash \; begin\; \{case\}\; \{\backslash \; frac\; \{1\}\; \{6\}\},\; k\; \backslash \; in\; \backslash \; \{1,2,3,4,5,6\; \backslash \}\; \backslash \backslash \; 0,\; \{\backslash \; text\; \{else\}\}\; \backslash \; end\; \{case\}\}\}$Вероятность выпадения 4 равна $p\; X\; (4)\; =\; 1\; 6\; \{\backslash \; textstyle\; p\_\; \{X\}\; (4)\; =\; \{\backslash \; frac\; \{1\}\; \{6\}\}\}$, как и для любого другого действительного рулона. Таким образом, информационное содержание прокатки 4 составляет $IX\; \; (4)\; =\; -\; log\; 2\; \; p\; X\; (4)\; =\; -\; log\; 2\; \; 1\; 6\; \approx \; 2,585\; шеннона\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{I\}\; \_\; \{X\}\; (\; 4)\; =\; -\; \backslash \; log\; \_\; \{2\}\; \{p\_\; \{X\}\; \{(4)\}\}\; =\; -\; \backslash \; log\; \_\; \{2\}\; \{\backslash \; tfrac\; \{1\}\; \{6\}\}\; \backslash \; приблизительно\; 2.585\; \backslash ;\; \{\backslash \; text\; \{shannons\}\; \}\}$информации.

Две независимые одинаково распределенные игральные кости

Предположим, у нас есть две независимых одинаково распределенных случайных величины $X,\; Y\; \sim \; DU\; [1,\; 6]\; \{\backslash \; textstyle\; X,\; \backslash ,\; Y\; \backslash \; sim\; \backslash \; mathrm\; \{DU\}\; [1,6]\}$, каждый из которых соответствует независимому справедливому броску 6-сторонних кубиков. совместное распределение из $X\; \{\backslash \; displaystyle\; X\}$и $Y\; \{\backslash \; displaystyle\; Y\}$is

$p\; X,\; Y\; (x,\; y)\; =\; Pr\; (\; X\; =\; x,\; Y\; =\; y)\; =\; p\; X\; (x)\; p\; Y\; (y)\; =\; \{1\; 36,\; x,\; y\; \in \; [1,\; 6]\; \cap \; N\; 0\; в\; противном\; случае.\; \{\backslash \; Displaystyle\; \{\backslash \; begin\; \{align\}\; p\_\; \{X,\; Y\}\; \backslash !\; \backslash \; left\; (x,\; y\; \backslash \; right)\; \{\}\; =\; \backslash \; Pr\; (X\; =\; x,\; \backslash ,\; Y\; =\; y)\; =\; p\_\; \{X\}\; \backslash !\; (х)\; \backslash ,\; п\_\; \{Y\}\; \backslash !\; (у)\; \backslash \backslash \; \{\}\; =\; \{\backslash \; begin\; \{case\}\; \backslash \; displaystyle\; \{1\; \backslash \; over\; 36\},\; \backslash \; x,\; y\; \backslash \; in\; [1,6]\; \backslash \; cap\; \backslash \; mathbb\; \{N\}\; \backslash \backslash \; 0\; \{\backslash \; text\; \{в\; противном\; случае.\}\}\; \backslash \; End\; \{cases\}\}\; \backslash \; end\; \{align\}\}\}$

Информационное содержание случайной переменной $(X,\; Y)\; =\; (2,\; 4)\; \{\backslash \; displaystyle\; (X,\; Y)\; =\; (2,\; \backslash ,\; 4)\}$равно

$IX,\; Y\; \; (2,\; 4)\; =\; -\; журнал\; 2\; [p\; X,\; Y\; (2,\; 4)]\; =\; log\; 2\; 36\; =\; 2\; log\; 2\; 6\; \approx \; 5,169925\; шеннонов,\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{align\}\; \backslash \; operatorname\; \{I\}\; \_\; \{X,\; Y\}\; \{(2,4)\}\; =\; -\; \backslash \; log\; \_\; \{2\}\; \backslash !\; \{\backslash \; left\; [p\_\; \{X,\; Y\}\; \{(2,4)\}\; \backslash \; right]\}\; =\; \backslash \; log\; \_\; \{2\}\; \backslash !\; \{36\}\; =\; 2\; \backslash \; log\; \_\; \{2\}\; \backslash !\; \{6\}\; \backslash \backslash \; \backslash \; приблизительно\; 5,169925\; \{\backslash \; text\; \{shannons\}\},\; \backslash \; end\; \{align\}\}\}$точно так же, как $IX,\; Y\; \; (2,\; 4)\; =\; -\; log\; 2\; [p\; X,\; Y\; (2,\; 4)]\; =\; -\; журнал\; 2\; [p\; X\; (2)]\; -\; журнал\; 2\; [p\; Y\; (4)]\; =\; 2\; log\; 2\; 6\; \approx \; 5,169925\; шеннонов,\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{align\}\; \backslash \; operatorname\; \{\; I\}\; \_\; \{X,\; Y\}\; \{(2,4)\}\; =\; -\; \backslash \; log\; \_\; \{2\}\; \backslash !\; \{\backslash \; Left\; [p\_\; \{X,\; Y\}\; \{(2,4)\}\; \backslash \; right]\}\; =\; -\; \backslash \; log\; \_\; \{2\}\; \backslash !\; \{\backslash \; left\; [p\_\; \{X\}\; (2)\; \backslash \; right]\}\; -\; \backslash \; log\; \_\; \{2\}\; \backslash !\; \{\backslash \; left\; [p\_\; \{Y\}\; (4)\; \backslash \; right]\}\; \backslash \backslash \; =\; 2\; \backslash \; log\; \_\; \{2\}\; \backslash !\; \{6\}\; \backslash \backslash \; \backslash \; a\; pprox\; 5.169925\; \{\backslash \; text\; \{shannons\}\},\; \backslash \; end\; \{align\}\}\}$, как описано в § Аддитивность независимых событий.

Информация о частоте бросков

Если мы получаем информацию о значении кубика без знания того, какой кубик имел какое значение, мы можем формализовать подход с помощью так называемых подсчетных переменных

$C\; k:\; =\; \delta \; k\; (X)\; +\; \delta \; k\; (Y)\; =\; \{0,\; \neg \; (X\; =\; k\; \vee \; Y\; =\; k)\; 1,\; X\; =\; k\; ⊻\; Y\; =\; k\; 2,\; X\; =\; k\; \wedge \; Y\; =\; k\; \{\backslash \; displaystyle\; C\_\; \{k\}:\; =\; \backslash \; delta\; \_\; \{k\}\; (X)\; +\; \backslash \; delta\; \_\; \{k\}\; (Y)\; =\; \{\backslash \; begin\; \{cases\}\; 0,\; \backslash \; neg\; \backslash ,\; (X\; =\; k\; \backslash \; vee\; Y\; =\; k)\; \backslash \backslash \; 1,\; \backslash \; quad\; X\; =\; k\; \backslash ,\; \backslash \; veebar\; \backslash ,\; Y\; =\; k\; \backslash \backslash \; 2,\; \backslash \; quad\; X\; =\; k\; \backslash ,\; \backslash \; wedge\; \backslash ,\; Y\; =\; k\; \backslash \; end\; \{cases\}\}\}$

для $k\; \in \; \{1,\; 2,\; 3,\; 4,\; 5,\; 6\}\; \{\backslash \; displaystyle\; k\; \backslash \; in\; \backslash \; \{1,2,3,4,5,6\; \backslash \}\}$, тогда $\sum \; k\; =\; 1\; 6\; C\; k\; =\; 2\; \{\backslash \; textstyle\; \backslash \; sum\; \_\; \{k\; =\; 1\}\; ^\; \{6\}\; \{C\_\; \{k\}\}\; =\; 2\}$и счетчики имеют многочлен распределение

$f\; (c\; 1,\dots ,\; c\; 6)\; =\; Pr\; (C\; 1\; =\; c\; 1\; и\dots \; и\; C\; 6\; =\; c\; 6)\; =\; \{1\; 18\; 1\; c\; 1!\; \cdots \; c\; k!,\; когда\; \sum \; i\; =\; 1\; 6\; c\; i\; =\; 2\; 0\; в\; противном\; случае,\; =\; \{1\; 18,\; когда\; 2\; c\; k\; равны\; 1\; 1\; 36,\; когда\; ровно\; один\; c\; k\; =\; 2\; 0,\; в\; противном\; случае.\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{align\}\; f\; (c\_\; \{1\},\; \backslash \; ldots,\; c\_\; \{6\})\; \{\}\; =\; \backslash \; Pr\; (C\_\; \{1\}\; =\; c\_\; \{1\}\; \{\backslash \; text\; \{and\}\}\; \backslash \; dots\; \{\; \backslash \; text\; \{и\}\}\; C\_\; \{6\}\; =\; c\_\; \{6\})\; \backslash \backslash \; \{\}\; =\; \{\backslash \; begin\; \{cases\}\; \{\backslash \; displaystyle\; \{1\; \backslash \; over\; \{18\}\}\; \{1\; \backslash \; over\; c\_\; \{1\}!\; \backslash \; cdots\; c\_\; \{k\}!\}\},\; \backslash \; \{\backslash \; text\; \{when\}\}\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{6\}\; c\_\; \{i\}\; =\; 2\; \backslash \backslash \; 0\; \{\backslash \; text\; \{в\; противном\; случае\}\}\; \backslash \; end\; \{case\; \}\}\; \backslash \backslash \; \{\}\; =\; \{\backslash \; begin\; \{cases\}\; \{1\; \backslash \; over\; 18\},\; \backslash \; \{\backslash \; text\; \{when\; 2\}\}\; c\_\; \{k\}\; \{\backslash \; text\; \{are\}\}\; 1\; \backslash \backslash \; \{1\; \backslash \; over\; 36\; \},\; \backslash \; \{\backslash \; text\; \{,\; когда\; ровно\; один\}\}\; c\_\; \{k\}\; =\; 2\; \backslash \backslash \; 0,\; \backslash \; \{\backslash \; text\; \{в\; противном\; случае.\}\}\; \backslash \; end\; \{cases\}\}\; \backslash \; end\; \{align\}\}\}$

Чтобы проверьте это, 6 исходов $(X,\; Y)\; \in \; \{(k,\; k)\}\; k\; =\; 1\; 6\; =\; \{(1,\; 1),\; (2,\; 2),\; (3,\; 3),\; (4,\; 4),\; (5,\; 5),\; (6,\; 6)\}\; \{\backslash \; textstyle\; (X,\; Y)\; \backslash \; in\; \backslash \; left\; \backslash \; \{(k,\; k)\; \backslash \; right\; \backslash \}\; \_\; \{k\; =\; 1\}\; ^\; \{6\}\; =\; \backslash \; left\; \backslash \; \{(1,1),\; (2,2),\; (3,3),\; (4,4),\; (5,5),\; (6,6)\; \backslash \; right\; \backslash \}\}$соответствуют событие $C\; k\; =\; 2\; \{\backslash \; displaystyle\; C\_\; \{k\}\; =\; 2\}$и общая вероятность 1/6. Это единственные события, которые точно сохраняются с указанием того, какие кости выпали, какой результат, потому что результаты одинаковы. Без знания того, как различать кубики, бросающие другие числа, другие $(6\; 2)\; =\; 15\; \{\backslash \; textstyle\; \{\backslash \; binom\; \{6\}\; \{2\}\}\; =\; 15\}$комбинаций соответствуют бросанию одного кубика одно число и другой кубик бросают другое число, каждое с вероятностью 1/18. Действительно, $6\; \cdot \; 1\; 36\; +\; 15\; \cdot \; 1\; 18\; =\; 1\; \{\backslash \; textstyle\; 6\; \backslash \; cdot\; \{\backslash \; tfrac\; \{1\}\; \{36\}\}\; +\; 15\; \backslash \; cdot\; \{\backslash \; tfrac\; \{1\}\; \{18\}\}\; =\; 1\}$, если требуется.

Неудивительно, что информационное содержание обучения тому, что обе кости были брошены как одно и то же конкретное число, больше, чем информационное содержание изучения того, что одна игральная кость была одним числом, а другая - другим числом. Возьмем для примера события $A\; k\; =\; \{(X,\; Y)\; =\; (k,\; k)\}\; \{\backslash \; displaystyle\; A\_\; \{k\}\; =\; \backslash \; \{(X,\; Y)\; =\; (k,\; k)\; \backslash \}\}$и $B\; j,\; k\; =\; \{cj\; =\; 1\}\; \cap \; \{ck\; =\; 1\}\; \{\backslash \; displaystyle\; B\_\; \{j,\; k\}\; =\; \backslash \; \{c\_\; \{j\}\; =\; 1\; \backslash \}\; \backslash \; cap\; \backslash \; \{c\_\; \{\; k\}\; =\; 1\; \backslash \}\}$для $j\; \ne \; k,\; 1\; \le \; j,\; k\; \le \; 6\; \{\backslash \; displaystyle\; j\; \backslash \; neq\; k,\; 1\; \backslash \; leq\; j,\; k\; \backslash \; leq\; 6\}$. Например, $A\; 2\; =\; \{X\; =\; 2\; и\; Y\; =\; 2\}\; \{\backslash \; displaystyle\; A\_\; \{2\}\; =\; \backslash \; \{X\; =\; 2\; \{\backslash \; text\; \{and\}\}\; Y\; =\; 2\; \backslash \}\}$и $B\; 3,\; 4\; =\; \{(3,\; 4),\; (4,\; 3)\}\; \{\backslash \; displaystyle\; B\_\; \{3,4\}\; =\; \backslash \; \{(3,4),\; (4,3)\; \backslash \}\}$.

Информационное содержание:

$I\; \; (A\; 2)\; =\; -\; log\; 2\; 1\; 36\; =\; 5.169925\; шеннон\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{I\}\; (A\_\; \{2\})\; =\; -\; \backslash \; log\; \_\; \{2\}\; \backslash !\; \{\backslash \; Tfrac\; \{1\}\; \{36\}\}\; =\; 5,169925\; \{\backslash \; text\; \{shannons\}\}\}$$I\; \; (B\; 3,\; 4)\; =\; -\; log\; 2\; 1\; 18\; =\; 4,169925\; шеннон\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{I\}\; \backslash \; left\; (B\_\; \{\; 3,4\}\; \backslash \; right)\; =\; -\; \backslash \; log\; \_\; \{2\}\; \backslash !\; \{\backslash \; Tfrac\; \{1\}\; \{18\}\}\; =\; 4.169925\; \{\backslash \; text\; \{shannons\}\}\}$Пусть $S\; ame\; =\; \bigcup \; i\; =\; 1\; 6\; A\; i\; \{\backslash \; textstyle\; Same\; =\; \backslash \; bigcup\; \_\; \{i\; =\; 1\}\; ^\; \{6\}\; \{A\_\; \{i\}\}\}$быть событием, когда обе кости выбросили одинаковое значение и $D,\; если\; и\; только\; если\; =\; S\; ame\; ¯\; \{\backslash \; displaystyle\; Diff\; =\; \{\backslash \; overline\; \{Same\}\}\}$быть событием, когда кости различались. Тогда $Pr\; (S\; ame)\; =\; 1\; 6\; \{\backslash \; textstyle\; \backslash \; Pr\; (Same)\; =\; \{\backslash \; tfrac\; \{1\}\; \{6\}\}\}$и $Pr\; (D\; iff)\; =\; 5\; 6\; \{\backslash \; textstyle\; \backslash \; Pr\; (Diff)\; =\; \{\backslash \; tfrac\; \{5\}\; \{6\}\}\}$. Информационное содержание событий: $I\; \; (S\; ame)\; =\; -\; log\; 2\; 1\; 6\; =\; 2,5849625\; shannons\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{I\}\; (Same)\; =\; -\; \backslash \; log\; \_\; \{2\}\; \backslash !\; \{\backslash \; Tfrac\; \{\; 1\}\; \{6\}\}\; =\; 2,5849625\; \{\backslash \; text\; \{shannons\}\}\}$$I\; \; (D\; iff)\; =\; -\; log\; 2\; 5\; 6\; =\; 0,2630344\; шеннона.\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{I\}\; (Diff)\; =\; -\; \backslash \; log\; \_\; \{2\}\; \backslash !\; \{\backslash \; tfrac\; \{5\}\; \{6\}\}\; =\; 0.2630344\; \{\backslash \; text\; \{shannons\}\}.\}$

Информация из суммы костей

Вероятностная масса или функция плотности (вместе вероятностная мера ) суммы двух независимых случайных величин - это свертка каждой вероятностной меры. В случае независимых справедливых 6-сторонних бросков костей случайная величина $Z\; =\; X\; +\; Y\; \{\backslash \; displaystyle\; Z\; =\; X\; +\; Y\}$имеет функцию массы вероятности $p\; Z\; (z)\; =\; p\; X\; (x)\; \ast \; p\; Y\; (y)\; =\; 6\; -\; |\; z\; -\; 7\; |\; 36\; \{\backslash \; textstyle\; p\_\; \{Z\}\; (z)\; =\; p\_\; \{X\}\; (x)\; *\; p\_\; \{Y\}\; (y)\; =\; \{6-\; |\; z-7\; |\; \backslash \; over\; 36\}\}$, где $\ast \; \{\backslash \; displaystyle\; *\}$представляет собой дискретную свертку. outcome $Z\; =\; 5\; \{\backslash \; displaystyle\; Z\; =\; 5\}$имеет вероятность $p\; Z\; (5)\; =\; 4\; 36\; =\; 1\; 9\; \{\backslash \; textstyle\; p\_\; \{Z\}\; (5)\; =\; \{\backslash \; frac\; \{4\}\; \{36\}\}\; =\; \{1\; \backslash \; более\; 9\}\}$. Следовательно, заявленная информация:

$I\; Z\; \; (5)\; =\; -\; log\; 2\; \; 1\; 9\; =\; log\; 2\; 9\; \approx \; 3,169925\; шеннонов.\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{I\}\; \_\; \{Z\}\; (5)\; =\; -\; \backslash \; log\; \_\; \{2\}\; \{\backslash \; tfrac\; \{1\}\; \{9\}\}\; =\; \backslash \; log\; \_\; \{2\}\; \{9\}\; \backslash \; приблизительно\; 3,169925\; \{\backslash \; text\; \{\; shannons.\}\}\}$

Общее дискретное равномерное распределение

Обобщая приведенный выше пример § Справедливый бросок, рассмотрим общую дискретную равномерную случайную величину (DURV) $X\; \sim \; DU\; [a,\; b];\; a,\; b\; \in \; Z,\; b\; \ge \; a.\; \{\backslash \; displaystyle\; X\; \backslash \; sim\; \backslash \; mathrm\; \{DU\}\; [a,\; b];\; \backslash \; quad\; a,\; b\; \backslash \; in\; \backslash \; mathbb\; \{Z\},\; \backslash \; b\; \backslash \; geq\; a.\}$Для удобства определите $N:\; =\; b\; -\; a\; +\; 1\; \{\backslash \; textstyle\; N:\; =\; b-a\; +\; 1\}$. p.m.f. равно

$p\; X\; (k)\; =\; \{1\; N,\; k\; \in \; [a,\; b]\; \cap \; Z\; 0\; в\; противном\; случае.\; \{\backslash \; displaystyle\; p\_\; \{X\}\; (k)\; =\; \{\backslash \; begin\; \{case\}\; \{\backslash \; frac\; \{1\}\; \{N\}\},\; k\; \backslash \; in\; [a,\; b]\; \backslash \; cap\; \backslash \; mathbb\; \{Z\}\; \backslash \backslash \; 0,\; \{\backslash \; text\; \{иначе\}\}\; \backslash \; end\; \{cases\}\}.\}$В общем, значения DURV не обязательно должны быть целыми или, в целях теории информации, даже равномерно разнесенными; они должны быть только равновероятными. Информационный прирост любого наблюдения $X\; =\; k\; \{\backslash \; displaystyle\; X\; =\; k\}$is$I\; X\; \; (k)\; =\; -\; log\; 2\; \; 1\; N\; =\; log\; 2\; \; N\; shannons.\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{I\}\; \_\; \{X\}\; (k)\; =\; -\; \backslash \; log\; \_\; \{2\}\; \{\backslash \; frac\; \{1\}\; \{N\}\}\; =\; \backslash \; log\; \_\; \{2\}\; \{N\}\; \{\backslash \; text\; \{shannons\}\}.\}$

Особый случай: постоянная случайная величина

Если $b\; =\; a\; \{\backslash \; displaystyle\; b\; =\; a\}$выше, $X\; \{\backslash \; displaystyle\; X\}$вырождается в постоянную случайную величину с распределением вероятностей, детерминированно заданным как $X\; =\; b\; \{\backslash \; displaystyle\; X\; =\; b\}$, и вероятностной мерой меры Дирака $п\; Икс\; (к)\; =\; \delta \; b\; (k)\; \{\backslash \; textstyle\; p\_\; \{X\}\; (k)\; =\; \backslash \; delta\; \_\; \{b\}\; (k)\}$. $X\; \{\backslash \; displaystyle\; X\}$может принимать единственное значение: детерминированно $b\; \{\backslash \; displaystyle\; b\}$, поэтому информационное содержание любого измерение $X\; \{\backslash \; displaystyle\; X\}$is

$IX\; \; (b)\; =\; -\; log\; 2\; \; 1\; =\; 0.\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{I\}\; \_\; \{X\}\; (b)\; =\; -\; \backslash \; log\; \_\; \{2\; \}\; \{1\}\; =\; 0.\}$Как правило, при измерении известного значения информации не получается.

Категориальное распределение

Обобщая все вышеперечисленные случаи, рассмотрим категориальное дискретная случайная величина с поддержкой $S\; =\; \{si\}\; i\; =\; 1\; N\; \{\backslash \; textstyle\; \{\backslash \; mathcal\; \{S\}\}\; =\; \{\backslash \; bigl\; \backslash \; \{\}\; s\_\; \{\; i\}\; \{\backslash \; bigr\; \backslash \}\}\; \_\; \{i\; =\; 1\}\; ^\; \{N\}\}$и pmf, заданные как

$p\; X\; (k)\; =\; \{pi,\; k\; =\; si\; \in \; S\; 0\; в\; противном\; случае.\; \{\backslash \; displaystyle\; p\_\; \{X\}\; (k)\; =\; \{\backslash \; begin\; \{cases\}\; p\_\; \{i\},\; k\; =\; s\_\; \{i\}\; \backslash \; in\; \{\backslash \; mathcal\; \{S\}\}\; \backslash \backslash \; 0,\; \{\backslash \; text\; \{else\}\}\; \backslash \; end\; \{cases\}\}.\}$

В целях теории информации значения $s\; \in \; S\; \{\backslash \; displaystyle\; s\; \backslash \; in\; \{\backslash \; mathcal\; \{S\}\}\}$даже не должны быть числами вообще; они могут быть просто взаимоисключающими событиями в пространстве измерений конечной меры, которое было нормализовано до вероятностная мера $p\; \{\backslash \; displaystyle\; p\}$. Без потери общности, мы можем предположить, что категориальное распределение поддерживается на множестве $[N]\; =\; \{1,\; 2,...,\; N\}\; \{\backslash \; textstyle\; [N]\; =\; \backslash \; left\; \backslash \; \{1,2,...,\; N\; \backslash \; right\; \backslash \}\}$; математическая структура изоморфна с точки зрения теории вероятностей и, следовательно, теории информации.

Дана информация о результате $X\; =\; x\; \{\backslash \; displaystyle\; X\; =\; x\}$

$IX\; \; (x)\; =\; -\; log\; 2\; \; p\; X\; (x).\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{I\}\; \_\; \{X\}\; (x)\; =\; -\; \backslash \; log\; \_\; \{2\}\; \{p\_\; \{X\}\; (x)\}.\}$

Из этих примеров можно вычислить информацию о любом набор независимых DRV с известными распределениями по аддитивностью.

энтропия - ожидаемое значение информационного содержания дискретной случайной величины с ожиданием, взятым для дискретных значений , которые оно принимает. Иногда саму энтропию называют «самоинформацией» случайной величины, возможно потому, что энтропия удовлетворяет условию $H\; (X)\; =\; I\; \; (X;\; X)\; \{\backslash \; displaystyle\; \backslash \; mathrm\; \{H\}\; (X)\; =\; \backslash \; operatorname\; \{I\}\; (X;\; X)\}$, где $I\; \; (X;\; X)\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{I\}\; (X;\; X)\}$- взаимная информация из $X\; \{\backslash \; displaystyle\; X\}$сама с собой.

По определению, информация передается из исходной объект, владеющий информацией для принимающего объекта только в том случае, если получатель не знал информацию априори. Если получающий объект заранее знал содержимое сообщения с уверенностью до получения сообщения, объем информации полученного сообщения равен нулю.

Например, процитировав персонажа (хиппи Диппи метеоролог) комика Джорджа Карлина, «Прогноз погоды на сегодня: темно. Постоянная темнота в течение ночи, с широко рассеянным светом к утру ». Если предположить, что человек не находится вблизи полюсов Земли или полярных кругов, объем информации, передаваемой в этом прогнозе, равен нулю потому что до получения прогноза известно, что тьма всегда приходит с ночью.

Когда содержание сообщения известно априори с уверенностью, с вероятностью, равной 1, в сообщении нет фактической информации. Только когда получатель знает содержание сообщения менее чем на 100%, сообщение действительно передает информацию.

Соответственно, объем собственной информации, содержащейся в сообщении, передающем контент, информирующий о возникновении события, $\omega \; n\; \{\backslash \; displaystyle\; \backslash \; omega\; \_\; \{n\}\}$, зависит только от вероятности того события.

$я\; \; (\omega \; N)\; знак\; равно\; е\; (п\; \; (\omega \; n))\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{I\}\; (\backslash \; omega\; \_\; \{n\})\; =\; f\; (\backslash \; operatorname\; \{P\}\; (\backslash \; omega\; \_\; \{n\}))\}$

для некоторой функции $f\; (\cdot )\; \{\backslash \; displaystyle\; f\; (\backslash \; cdot)\}$, которая будет определена ниже. Если $P\; \; (\omega \; n)\; =\; 1\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{P\}\; (\backslash \; omega\; \_\; \{n\})\; =\; 1\}$, то $I\; \; (\omega \; n)\; =\; 0\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{I\}\; (\backslash \; omega\; \_\; \{n\})\; =\; 0\}$. Если , то $I\; \; (\omega \; n)>0\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{I\}\; (\backslash \; omega\; \_\; \{n\})>0\}$.

Кроме того, по определению, мера самоинформации неотрицательна и аддитивна. Если сообщение, информирующее о событии $C\; \{\backslash \; displaystyle\; C\}$, является пересечением из двух независимых событий $A\; \{\backslash \; displaystyle\; A\}$и $B\; \{\backslash \; displaystyle\; B\}$, затем информация о событии $C\; \{\backslash \; displaystyle\; C\}$происходит из составного сообщения обоих независимых событий $A\; \{\backslash \; displaystyle\; A\}$и $B\; \{\backslash \; displaystyle\; B\; \}$. Ожидается, что количество информации составного сообщения $C\; \{\backslash \; displaystyle\; C\}$будет равно sum объемов информации сообщения отдельных компонентов $A\; \{\backslash \; displa\; ystyle\; A\}$и $B\; \{\backslash \; displaystyle\; B\}$соответственно:

$I\; \; (C)\; =\; I\; \; (A\; \cap \; B)\; =\; I\; \; (A)\; +\; Я\; \; (В)\; \{\backslash \; Displaystyle\; \backslash \; OperatorName\; \{I\}\; (C)\; =\; \backslash \; OperatorName\; \{I\}\; (A\; \backslash \; cap\; B)\; =\; \backslash \; OperatorName\; \{I\}\; (A)\; +\; \backslash \; Operatorname\; \{I\}\; (B)\}$.

Из-за независимости событий $A\; \{\backslash \; displaystyle\; A\}$и $B\; \{\backslash \; displaystyle\; B\}$вероятность события $C\; \{\backslash \; displaystyle\; C\; \}$равно

$P\; \; (C)\; =\; P\; \; (A\; \cap \; B)\; =\; P\; \; (A)\; \cdot \; P\; \; (B)\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{P\}\; (C)\; =\; \backslash \; operatorname\; \{P\}\; (A\; \backslash \; cap\; B)\; =\; \backslash \; operatorname\; \{P\}\; (A)\; \backslash \; cdot\; \backslash \; operatorname\; \{P\}\; (B)\}$.

Однако применение функции $f\; (\cdot )\; \{\backslash \; displaystyle\; f\; (\backslash \; cdot)\}$приводит к

$I\; \; (C)\; =\; I\; \; (A)\; +\; I\; \; (B)\; f\; (P\; \; (C))\; =\; f\; (P\; \; (A))\; +\; f\; (\; П\; \; (B))\; знак\; равно\; е\; (п\; \; (A)\; \cdot \; п\; \; (B))\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{align\}\; \backslash \; operatorname\; \{I\}\; (C)\; =\; \backslash \; operatorname\; \{I\}\; (A)\; +\; \backslash \; OperatorName\; \{I\}\; (B)\; \backslash \backslash \; f\; (\backslash \; operatorname\; \{P\}\; (C))\; =\; f\; (\backslash \; operatorname\; \{P\}\; (A))\; +\; f\; (\backslash \; operatorname\; \{P\}\; (B))\; \backslash \backslash \; =\; f\; \{\backslash \; big\; (\}\; \backslash \; operatorn\; ame\; \{P\}\; (A)\; \backslash \; cdot\; \backslash \; operatorname\; \{P\}\; (B)\; \{\backslash \; big)\}\; \backslash \backslash \backslash \; end\; \{align\}\}\}$

Класс функции $f\; (\cdot )\; \{\backslash \; displaystyle\; f\; (\; \backslash \; cdot)\}$обладающий таким свойством, что

$f\; (x\; \cdot \; y)\; =\; f\; (x)\; +\; f\; (y)\; \{\backslash \; displaystyle\; f\; (x\; \backslash \; cdot\; y)\; =\; f\; (x)\; +\; f\; (y)\}$

- это функция логарифма любого основания. Единственное рабочее различие между логарифмами разных оснований - это разные константы масштабирования.

$f\; (x)\; =\; K\; log\; \; (x)\; \{\backslash \; displaystyle\; f\; (x)\; =\; K\; \backslash \; log\; (x)\}$

Поскольку вероятности событий всегда находятся в диапазоне от 0 до 1, и информация, связанная с этими событиями должен быть неотрицательным, для чего требуется, чтобы .

с учетом этих свойств, самоинформация $I\; \; (\omega \; n)\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{I\}\; (\backslash \; omega\; \_\; \{n\})\}$связанный с результатом $\omega \; n\; \{\backslash \; displaystyle\; \backslash \; omega\; \_\; \{n\}\}$с вероятностью $P\; \; (\omega \; n)\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{P\}\; (\backslash \; omega\; \_\; \{\; n\})\}$определяется как:

$I\; \; (\omega \; n)\; =\; -\; log\; \; (P\; \; (\omega \; n))\; =\; log\; \; (1\; P\; \; (\omega \; n))\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{I\}\; (\backslash \; omega\; \_\; \{n\})\; =\; -\; \backslash \; log\; (\backslash \; operatorname\; \{P\}\; (\backslash \; omega\; \_\; \{n\}))\; =\; \backslash \; log\; \backslash \; left\; (\{\backslash \; frac\; \{1\}\; \{\backslash \; operatorname\; \{P\}\; (\backslash \; omega\; \_\; \{n\})\}\}\; \backslash \; right)\}$

Чем меньше вероятность события $\omega \; n\; \{\backslash \; displaystyle\; \backslash \; omega\; \_\; \{n\}\}$, тем больше количество Собственная информация, связанная с сообщением о том, что событие действительно произошло. Если логарифм равен основанию 2, единицей измерения $I\; (\omega \; n)\; \{\backslash \; displaystyle\; \backslash \; displaystyle\; I\; (\backslash \; omega\; \_\; \{n\})\}$является бит. Это самая распространенная практика. При использовании натурального логарифма по основанию $e\; \{\backslash \; displaystyle\; \backslash \; displaystyle\; e\}$единицей измерения будет nat. Для логарифма с основанием 10 единицей информации является хартли.

. В качестве быстрой иллюстрации информационное содержание, связанное с исходом в 4 решки (или любым конкретным исходом) в 4 последовательных подбрасываниях монеты, будет равно 4 бит (вероятность 1/16), а информационное содержание, связанное с получением результата, отличного от указанного, будет ~ 0,09 бит (вероятность 15/16). См. Подробные примеры выше.

• Энтропия
• Неожиданный анализ

1. ^Джонс, Д.С., Элементарная теория информации, т., Clarendon Press, Oxford, стр. 11-15 1979 г.
2. ^ МакМахон, Дэвид М. (2008). Объяснение квантовых вычислений. Хобокен, Нью-Джерси: Wiley-Interscience. ISBN 9780470181386. OCLC 608622533.
3. ^Борда, Моника (2011). Основы теории информации и кодирования. Springer. ISBN 978-3-642-20346-6.
4. ^Хан, Те Сун и Кобаяши, Кинго (2002). Математика информации и кодирования. Американское математическое общество. ISBN 978-0-8218-4256-0. CS1 maint: использует параметр авторов (ссылка )
5. ^RB Bernstein and RD Levine (1972) «Энтропия и химические изменения. I. Характеристика распределения энергии продукта (и реагента) в реактивных молекулярных столкновениях: информация и энтропийный дефицит », The Journal of Chemical Physics 57, 434-449 link.
6. ^Myron Трибус (1961) Термодинамика и термостатика: Введение в энергию, информацию и состояния материи с инженерными приложениями (Д. Ван Ностранд, 24 West 40 Street, New York 18, New York, USA) Tribus, Myron (1961), стр. 64-66 заимствовать.
7. ^Томас М. Кавер, Джой А. Томас; Элементы теории информации; стр. 20; 1991.

• CE Шеннон, Математическая теория коммуникации, Bell Systems Technical Journal, Vol. 27, pp 379–423, (Part I), 1948.

• Примеры неожиданных мер
• "Surprisal" entry in a glossary of molecular informatio n theory
• Bayesian Theory of Surprise