Скорость энтропии

В математической теории вероятности, скорости энтропии или скорости исходной информации случайного процесса неформально представляет собой временную плотность средней информации в случайном процессе. Для случайных процессов с счетным индексом энтропия скорость $H\; (X)\; \{\backslash \; displaystyle\; H\; (X)\}$является пределом совместная энтропия из $n\; \{\backslash \; displaystyle\; n\}$членов процесса $X\; k\; \{\backslash \; displaystyle\; X\_\; \{k\}\}$, деленная на $n\; \{\backslash \; displaystyle\; n\}$, поскольку $n\; \{\backslash \; displaystyle\; n\}$стремится к бесконечности :

$H\; (X)\; =\; lim\; n\; \to \; \infty \; 1\; n\; ЧАС\; (Икс\; 1,\; Икс\; 2,\dots \; Икс\; n)\; \{\backslash \; displaystyle\; H\; (X)\; =\; \backslash \; lim\; \_\; \{n\; \backslash \; to\; \backslash \; infty\}\; \{\backslash \; frac\; \{1\}\; \{n\}\}\; H\; (X\_\; \{1\},\; X\_\; \{2\; \},\; \backslash \; dots\; X\_\; \{n\})\}$

, если существует ограничение. Альтернативная связанная величина:

$H\; \prime \; (X)\; =\; lim\; n\; \to \; \infty \; H\; (X\; n\; |\; X\; n\; -\; 1,\; X\; n\; -\; 2,\dots \; X\; 1)\; \{\backslash \; displaystyle\; H\; \text{'}(X)\; =\; \backslash \; lim\; \_\; \{n\; \backslash \; to\; \backslash \; infty\}\; H\; (X\_\; \{n\}\; |\; X\_\; \{n-1\},\; X\_\; \{n-2\},\; \backslash \; dots\; X\_\; \{1\})\}$

Для сильно стационарного стохастического процессы, $H\; (X)\; =\; H\; \prime \; (X)\; \{\backslash \; displaystyle\; H\; (X)\; =\; H\; \text{'}(X)\}$. Скорость энтропии можно рассматривать как общее свойство стохастических источников; это свойство асимптотического равнораспределения. Скорость энтропии может использоваться для оценки сложности случайных процессов. Он используется в различных приложениях, начиная от описания сложности языков, слепого разделения источников и заканчивая оптимизацией квантователей и алгоритмов сжатия данных. Например, критерий максимальной скорости энтропии может использоваться для выбора функции в машинном обучении.

Поскольку случайный процесс определяется Цепь Маркова, то есть неприводимая, апериодическая и положительная рекуррентная, имеет стационарное распределение, скорость энтропии не зависит от начального распространение.

Например, для такой цепи Маркова $Y\; k\; \{\backslash \; displaystyle\; Y\_\; \{k\}\}$, определенной на счетном количестве состояний, учитывая матрица перехода $P\; ij\; \{\backslash \; displaystyle\; P\_\; \{ij\}\}$, $H\; (Y)\; \{\backslash \; displaystyle\; H\; (Y)\}$определяется по формуле:

$H\; (\; Y)\; знак\; равно\; -\; \sum \; ij\; \mu \; я\; п\; ij\; журнал\; \; п\; ij\; \{\backslash \; displaystyle\; \backslash \; displaystyle\; H\; (Y)\; =\; -\; \backslash \; sum\; \_\; \{ij\}\; \backslash \; mu\; \_\; \{i\}\; P\_\; \{ij\}\; \backslash \; log\; P\_\; \{ij\}\}$

где $\mu \; i\; \{\backslash \; displaystyle\; \backslash \; mu\; \_\; \{i\}\}$- это асимптотическое распределение цепочки.

Простым следствием этого определения является то, что iid случайный процесс имеет скорость энтропии, которая такая же, как энтропия любого человека. участник процесса.

• Источник информации (математика)
• Марковский источник информации
• Свойство асимптотического равнораспределения
• Максимальная энтропия Случайное блуждание - выбрано для максимального увеличения энтропии

• Кавер, Т. и Томас, Дж. (1991) Элементы теории информации, John Wiley and Sons, Inc., ISBN 0-471-06259-6 [1]