Распределение вероятностей максимальной энтропии

В статистике и теории информации максимальное распределение вероятностей энтропии имеет энтропию, по крайней мере, такую же большую, как у всех других членов указанного класса распределений вероятностей. Согласно принципу максимальной энтропии, если о распределении ничего не известно, кроме того, что оно принадлежит к определенному классу (обычно определяемому в терминах определенных свойств или мер), то распределение с наибольшей энтропией следует выбирать как наименее информативное. дефолт. Мотивация двоякая: во-первых, максимизация энтропии сводит к минимуму количество априорной информации. встроен в раздачу; во-вторых, многие физические системы со временем стремятся к максимальным конфигурациям энтропии.

• 1 Определение энтропии и дифференциальной энтропии
• 2 Распределения с измеренными константами
  • 2.1 Непрерывный случай
  • 2.2 Дискретный корпус
  • 2.3 Доказательство в случае ограничений-равенств
  • 2.4 Уникальность максимума
  • 2.5 Предостережения
• 3 Примеры
  • 3.1 Равномерные и кусочно-однородные распределения
  • 3.2 Положительное и указанное среднее: экспоненциальное распределение
  • 3.3 Заданная дисперсия: нормальное распределение
  • 3.4 Дискретные распределения с заданным средним значением
  • 3.5 Круговые случайные величины
  • 3.6 Максимизатор для указанного среднего, дисперсии и перекоса
  • 3.7 Максимизатор для указанной меры риска среднего и отклонения
  • 3.8 Другие примеры
• 4 См. Также
• 5 Примечания
• 6 цитат
• 7 ссылки

Дополнительная информация: Энтропия (теория информации)

Если - дискретная случайная величина с распределением, заданным формулой ${\ displaystyle X}$

${\ displaystyle \ operatorname {Pr} (X = x_ {k}) = p_ {k} \ quad {\ t_dv {for}} k = 1,2, \ ldots}$

то энтропия определяется как ${\ displaystyle X}$

${\ Displaystyle H (X) = - \ sum _ {k \ geq 1} p_ {k} \ log p_ {k}.}$

Если это непрерывная случайная величина с плотностью вероятности, то дифференциальной энтропии в определяется как ${\ displaystyle X}$ ${\ displaystyle p (x)}$ ${\ displaystyle X}$

${\ Displaystyle H (X) = - \ int _ {- \ infty} ^ {\ infty} p (x) \ log p (x) \, dx.}$

Количество всегда считается равным нулю. ${\ Displaystyle р (х) \ журнал р (х)}$${\ displaystyle p (x) = 0}$

Это частный случай более общих форм, описанных в статьях Энтропия (теория информации), Принцип максимальной энтропии и дифференциальная энтропия. В связи с максимальным распределением энтропии это единственное необходимое, потому что максимизация также максимизирует более общие формы. ${\ Displaystyle H (X)}$

Основание логарифма не имеет значения, если одно и то же используется последовательно: изменение основания просто приводит к изменению масштаба энтропии. Теоретики информации могут предпочесть использовать основание 2 для выражения энтропии в битах ; математики и физики часто предпочитают натуральный логарифм, в результате чего энтропия выражается в единицах нат.

Однако выбор меры имеет решающее значение для определения энтропии и результирующего максимального распределения энтропии, даже несмотря на то, что обычное обращение к мере Лебега часто защищается как «естественное». ${\ displaystyle dx}$

Многие статистические распределения, представляющие применимый интерес, - это те, для которых моменты или другие измеримые величины должны быть постоянными. Следующая теорема Людвига Больцмана дает форму плотности вероятности при этих ограничениях.

Непрерывный случай

Пусть S является замкнутым подмножеством из действительных чисел R, и мы решили задать п измеримых функций F 1,..., х п и п чисел 1,..., н. Мы рассматриваем класс C всех действительных случайных величин, которые поддерживаются на S (т.е. чья функция плотности равна нулю вне S) и которые удовлетворяют условиям n моментов:

${\ displaystyle \ operatorname {E} (f_ {j} (X)) \ geq a_ {j} \ quad {\ t_dv {for}} j = 1, \ ldots, n}$

Если в C есть член, функция плотности которого положительна всюду в S, и если существует максимальное распределение энтропии для C, то его плотность вероятности p ( x) имеет следующий вид:

${\ displaystyle p (x) = \ exp \ left (\ sum _ {j = 0} ^ {n} \ lambda _ {j} f_ {j} (x) \ right) \ quad {\ t_dv {для всех} } x \ in S}$

где мы предполагаем, что. Константа и n множителей Лагранжа решают задачу оптимизации с ограничениями (это условие обеспечивает интеграцию до единицы): ${\ displaystyle f_ {0} (x) = 1}$${\ displaystyle \ lambda _ {0}}$ ${\ displaystyle {\ boldsymbol {\ lambda}} = (\ lambda _ {1}, \ ldots, \ lambda _ {n})}$${\ displaystyle a_ {0} = 1}$${\ displaystyle p}$

${\ displaystyle \ max _ {\ lambda _ {0}; {\ boldsymbol {\ lambda}}} \ left \ {\ sum _ {j = 0} ^ {n} \ lambda _ {j} a_ {j} - \ int \ exp \ left (\ sum _ {j = 0} ^ {n} \ lambda _ {j} f_ {j} (x) \ right) dx \ right \} \ quad \ mathrm {subject \; для: \; \;} {\ boldsymbol {\ lambda}} \ geq \ mathbf {0}}$

Используя условия Каруша – Куна – Таккера, можно показать, что задача оптимизации имеет единственное решение, поскольку целевая функция в оптимизации является вогнутой. ${\ displaystyle {\ boldsymbol {\ lambda}}}$

Обратите внимание, что если моментными условиями являются равенства (а не неравенства), то есть

${\ displaystyle \ operatorname {E} (f_ {j} (X)) = a_ {j} \ quad {\ t_dv {for}} j = 1, \ ldots, n,}$

затем условие ограничения отбрасывается, что делает оптимизацию по множителям Лагранжа неограниченной. ${\ displaystyle {\ boldsymbol {\ lambda}} \ geq \ mathbf {0}}$

Дискретный корпус

Предположим, есть (конечное или бесконечное) дискретное подмножество вещественных чисел, и мы решили указать функции f 1,..., f n и n чисел a 1,..., a n. Мы рассматриваем класс C всех дискретных случайных величин X, которые поддерживаются на S и удовлетворяют условиям n моментов ${\ Displaystyle S = \ {x_ {1}, x_ {2},... \}}$${\ displaystyle n}$

${\ displaystyle \ operatorname {E} (f_ {j} (X)) \ geq a_ {j} \ quad {\ t_dv {for}} j = 1, \ ldots, n}$

Если существует член C, который присваивает положительную вероятность всем членам S, и если существует максимальное распределение энтропии для C, то это распределение имеет следующую форму:

${\ displaystyle \ operatorname {Pr} (X = x_ {k}) = \ exp \ left (\ sum _ {j = 0} ^ {n} \ lambda _ {j} f_ {j} (x_ {k}) \ right) \ quad {\ t_dv {for}} k = 1,2, \ ldots}$

где мы предполагаем, что и константы решают задачу оптимизации с ограничениями с помощью: ${\ displaystyle f_ {0} = 1}$${\ displaystyle \ lambda _ {0}, \; {\ boldsymbol {\ lambda}} = (\ lambda _ {1}, \ ldots, \ lambda _ {n})}$${\ displaystyle a_ {0} = 1}$

${\ displaystyle \ max _ {\ lambda _ {0}; {\ boldsymbol {\ lambda}}} \ left \ {\ sum _ {j = 0} ^ {n} \ lambda _ {j} a_ {j} - \ sum _ {k \ geq 1} \ exp \ left (\ sum _ {j = 0} ^ {n} \ lambda _ {j} f_ {j} (x_ {k}) \ right) \ right \} \ quad \ mathrm {subject \; to: \; \;} {\ boldsymbol {\ lambda}} \ geq \ mathbf {0}}$

Опять же, если моментными условиями являются равенства (а не неравенства), то условие ограничения не присутствует в оптимизации. ${\ displaystyle {\ boldsymbol {\ lambda}} \ geq \ mathbf {0}}$

Доказательство в случае ограничений-равенств

В случае ограничений типа равенства эта теорема доказывается с помощью вариационного исчисления и множителей Лагранжа. Ограничения можно записать как

${\ displaystyle \ int _ {- \ infty} ^ {\ infty} f_ {j} (x) p (x) dx = a_ {j}}$

Мы рассматриваем функционал

${\ Displaystyle J (p) = \ int _ {- \ infty} ^ {\ infty} p (x) \ ln {p (x)} dx- \ eta _ {0} \ left (\ int _ {- \ infty} ^ {\ infty} p (x) dx-1 \ right) - \ sum _ {j = 1} ^ {n} \ lambda _ {j} \ left (\ int _ {- \ infty} ^ {\ infty} f_ {j} (x) p (x) dx-a_ {j} \ right)}$

где и - множители Лагранжа. Нулевое ограничение обеспечивает вторую аксиому вероятности. Другие ограничения заключаются в том, что измерениям функции задаются постоянные по порядку. Энтропия достигает экстремума, когда функциональная производная равна нулю: ${\ displaystyle \ eta _ {0}}$${\ displaystyle \ lambda _ {j}, j \ geq 1}$ ${\ displaystyle n}$

${\ displaystyle {\ frac {\ delta J} {\ delta p}} \ left (p \ right) = \ ln {p (x)} + 1- \ eta _ {0} - \ sum _ {j = 1 } ^ {n} \ lambda _ {j} f_ {j} (x) = 0}$

Читателю станет упражнением, что этот экстремум действительно является максимумом. Следовательно, максимальное распределение вероятностей энтропии в этом случае должно иметь вид () ${\ displaystyle \ lambda _ {0}: = \ eta _ {0} -1}$

${\ displaystyle p (x) = e ^ {- 1+ \ eta _ {0}} \ cdot e ^ {\ sum _ {j = 1} ^ {n} \ lambda _ {j} f_ {j} (x)} = \ exp \ left (\ sum _ {j = 0} ^ {n} \ lambda _ {j} f_ {j} (x) \ right) \ ;.}$

Доказательство дискретной версии по сути такое же.

Уникальность максимум

Предположим, есть распределения, удовлетворяющие ограничениям на ожидание. Допуская и учитывая распределение, становится ясно, что это распределение удовлетворяет ограничениям на ожидание и, кроме того, имеет поддержку. Исходя из основных фактов об энтропии, он утверждает, что это. Принимая пределы и соответственно урожайности. ${\ displaystyle p}$${\ displaystyle p '}$${\ Displaystyle \ альфа \ в (0,1)}$${\ Displaystyle д = \ альфа \ CDOT р + (1- \ альфа) \ CDOT р '}$${\ Displaystyle \ mathrm {Supp} (q) = \ mathrm {Supp} (p) \ cup \ mathrm {Supp} (p ')}$${\ displaystyle {\ mathcal {H}} (q) \ geq \ alpha {\ mathcal {H}} (p) + (1- \ alpha) {\ mathcal {H}} (p ')}$${\ displaystyle \ alpha \ longrightarrow 1}$${\ displaystyle \ alpha \ longrightarrow 0}$${\ displaystyle {\ mathcal {H}} (q) \ geq {\ mathcal {H}} (p), {\ mathcal {H}} (p ')}$

Отсюда следует, что распределение, удовлетворяющее ограничениям на ожидание и максимизирующее энтропию, обязательно должно иметь полную поддержку, т. Е. Распределение почти везде положительно. Отсюда следует, что максимизирующее распределение должно быть внутренней точкой в ​​пространстве распределений, удовлетворяющих ограничениям на ожидание, то есть оно должно быть локальным экстремумом. Таким образом, достаточно показать, что локальный экстремум уникален, чтобы показать и то, и другое, что максимизирующее энтропию распределение уникально (и это также показывает, что локальный экстремум является глобальным максимумом).

Допустим, это локальные крайности. Переформулируя приведенные выше вычисления, они характеризуются параметрами via и аналогично для, где. Теперь отметим ряд тождеств: через удовлетворение ограничений на ожидание и использование градиентов / производных по направлениям, и аналогично для. Позволяя получить: ${\ displaystyle p, p '}$${\ displaystyle {\ vec {\ lambda}}, {\ vec {\ lambda}} '\ in \ mathbb {R} ^ {n}}$${\ displaystyle p (x) = {\ frac {e ^ {\ langle {\ vec {\ lambda}}, {\ vec {f}} (x) \ rangle}} {C ({\ vec {\ lambda}) })}}}$${\ displaystyle p '}$${\ displaystyle C ({\ vec {\ lambda}}) = \ int _ {x \ in \ mathbb {R}} e ^ {\ langle {\ vec {\ lambda}}, {\ vec {f}} ( x) \ rangle} ~ dx}$${\ displaystyle D \ log (C (\ cdot)) \ vert _ {\ vec {\ lambda}} = \ left. {\ frac {DC (\ cdot)} {C (\ cdot)}} \ right | _ {\ vec {\ lambda}} = \ mathbb {E} _ {p} [{\ vec {f}} (X)] = {\ vec {a}}}$${\ displaystyle {\ vec {\ lambda}} '}$${\ displaystyle u = {\ vec {\ lambda}} '- {\ vec {\ lambda}} \ in \ mathbb {R} ^ {n}}$

${\ displaystyle 0 = \ langle u, {\ vec {a}} - {\ vec {a}} \ rangle = D_ {u} \ log (C (\ cdot)) \ vert _ {{\ vec {\ lambda }} '} - D_ {u} \ log (C (\ cdot)) \ vert _ {\ vec {\ lambda}} = D_ {u} ^ {2} \ log (C (\ cdot)) \ vert _ {\ vec {\ gamma}}}$

где для некоторых. Дальнейшие вычисления ${\ displaystyle {\ vec {\ gamma}} = \ theta {\ vec {\ lambda}} + (1- \ theta) {\ vec {\ lambda}} '}$${\ Displaystyle \ тета \ в (0,1)}$

${\ displaystyle {\ begin {array} {rcl} 0 amp; = amp; D_ {u} ^ {2} \ log (C (\ cdot)) \ vert _ {\ vec {\ gamma}} \\ amp; = amp; \ left. D_ {u} \ left ({\ frac {D_ {u} C (\ cdot)} {C (\ cdot)}} \ right) \ right | _ {\ vec {\ gamma}} \\ amp; = amp; \ слева. {\ frac {D_ {u} ^ {2} C (\ cdot)} {C (\ cdot)}} \ right | _ {\ vec {\ gamma}} - \ left. {\ frac {(D_ {u} C (\ cdot)) ^ {2}} {C (\ cdot) ^ {2}}} \ right | _ {\ vec {\ gamma}} \\ amp; = amp; \ mathbb {E} _ { q} [(\ langle u, {\ vec {f}} (X) \ rangle) ^ {2}] - \ left (\ mathbb {E} _ {q} [\ langle u, {\ vec {f} } (X) \ rangle] \ right) ^ {2} = \ mathrm {Var} _ {q} (\ langle u, {\ vec {f}} (X) \ rangle) \\\ end {array}} }$

где аналогично приведенному выше распределению, только параметризовано. Предполагая, что никакая нетривиальная линейная комбинация наблюдаемых почти всюду (п.в.) константа (что, например, имеет место, если наблюдаемые независимы, а не п.в. константами), верно, что имеет ненулевую дисперсию, если только. Таким образом, из приведенного выше уравнения ясно, что так и должно быть. Следовательно, параметры, характеризующие локальные экстремумы, идентичны, а значит, идентичны сами распределения. Таким образом, локальный экстремум уникален, и, согласно приведенному выше обсуждению, максимум уникален - при условии, что локальный экстремум действительно существует. ${\ displaystyle q}$${\ displaystyle {\ vec {\ gamma}}}$${\ displaystyle \ langle u, {\ vec {f}} (X) \ rangle}$${\ displaystyle u = 0}$${\ displaystyle {\ vec {\ lambda}} '- {\ vec {\ lambda}} = u = 0}$${\ displaystyle p, p '}$

Предостережения

Обратите внимание, что не все классы распределений содержат максимальное распределение энтропии. Возможно, что класс содержит распределения произвольно большой энтропии (например, класс всех непрерывных распределений на R со средним 0, но произвольным стандартным отклонением), или что энтропии ограничены сверху, но нет распределения, которое достигает максимальной энтропии. Также возможно, что ожидаемая величина ограничения для класса C заставить распределение вероятностей равна нулю в некоторых подмножеств S. В этом случае наша теорема не применяется, но можно обойти эту проблему, сокращая набор S.

Каждое распределение вероятностей является тривиальным распределением вероятностей максимальной энтропии при условии, что это распределение имеет собственную энтропию. Чтобы увидеть это, перепишите плотность как и сравните с выражением теоремы выше. Выбрав измеримую функцию и ${\ Displaystyle р (х) = \ ехр {(\ пер {р (х)})}}$${\ Displaystyle \ пер {п (х)} \ rightarrow f (х)}$

${\ Displaystyle \ int \ ехр {(е (х))} е (х) dx = -H}$

быть константой, является максимальным распределением вероятности энтропии при ограничении ${\ displaystyle p (x)}$

${\ Displaystyle \ int p (x) f (x) dx = -H}$.

Нетривиальными примерами являются распределения, на которые накладываются несколько ограничений, отличных от назначения энтропии. Их часто можно найти, начав с одной и той же процедуры и обнаружив, что их можно разделить на части. ${\ Displaystyle \ пер {п (х)} \ rightarrow f (х)}$${\ displaystyle f (x)}$

Таблица примеров распределения максимальной энтропии приведена в работах Лисмана (1972) и Парк и Бера (2009).

Равномерные и кусочно-однородные распределения

Равномерное распределение на отрезке [, Ь ] является максимальное распределение энтропии среди всех непрерывных распределений, которые поддерживаются в интервале [, Ь ], и, следовательно, плотность вероятности равна 0 вне интервала. Эта однородная плотность может быть связана с принципом безразличия Лапласа, который иногда называют принципом недостаточной причины. В более общем смысле, если нам дано подразделение a = a 0 lt; a 1 lt;... lt; a k = b интервала [ a, b ] и вероятности p 1,..., p k, которые в сумме дают единицу, то можно рассмотреть класс всех непрерывных распределений таких, что

${\ displaystyle \ operatorname {Pr} (a_ {j-1} \ leq X lt;a_ {j}) = p_ {j} \ quad {\ t_dv {for}} j = 1, \ ldots, k}$

Плотность распределения максимальной энтропии для этого класса постоянна на каждом из интервалов [ a j -1, a j). Равномерное распределение на конечном множестве { x 1,..., x n } (которое присваивает вероятность 1 / n каждому из этих значений) является максимальным распределением энтропии среди всех дискретных распределений, поддерживаемых на этом множестве.

Положительное и указанное среднее: экспоненциальное распределение

Экспоненциальное распределение, при котором функция плотности

${\ displaystyle p (x | \ lambda) = {\ begin {cases} \ lambda e ^ {- \ lambda x} amp; x \ geq 0, \\ 0 amp; x lt;0, \ end {cases}}}$

является максимальным распределением энтропии среди всех непрерывных распределений, поддерживаемых в [0, ∞), которые имеют заданное среднее значение 1 / λ.

Заданная дисперсия: нормальное распределение

Нормальное распределение N (μ, σ ²), для которых функция плотности

${\ displaystyle p (x | \ mu, \ sigma) = {\ frac {1} {\ sigma {\ sqrt {2 \ pi}}}} e ^ {- {\ frac {(x- \ mu) ^ { 2}} {2 \ sigma ^ {2}}}},}$

имеет максимальную энтропию среди всех вещественнозначных распределений с носителем на (−∞, ∞) с заданной дисперсией σ ² (конкретный момент ). Следовательно, предположение о нормальности налагает минимальные априорные структурные ограничения после этого момента. (См. Вывод в статье о дифференциальной энтропии. )

В случае распределений, поддерживаемых на [0, ∞), максимальное распределение энтропии зависит от соотношений между первым и вторым моментами. В определенных случаях это может быть экспоненциальное распределение, может быть другое распределение или может быть неопределимым.

Дискретные распределения с заданным средним значением

Среди всех дискретных распределений, поддерживаемых на множестве { x 1,..., x n } с заданным средним μ, максимальное распределение энтропии имеет следующую форму:

${\ displaystyle \ operatorname {Pr} (X = x_ {k}) = Cr ^ {x_ {k}} \ quad {\ t_dv {for}} k = 1, \ ldots, n}$

где положительные константы C и r могут быть определены с помощью требований, согласно которым сумма всех вероятностей должна быть равна 1, а ожидаемое значение должно быть μ.

Например, если большое число N кости брошены, и вы сказали, что сумма всех показанных чисел S. Основываясь только на этой информации, какое будет разумное предположение для количества игральных костей, показывающих 1, 2,..., 6? Это является примером ситуации, рассмотренной выше, с { х 1,..., х 6 } = {1,..., 6}, и μ = S / N.

Наконец, среди всех дискретных распределений, поддерживаемых бесконечным множеством со средним значением μ, максимальное распределение энтропии имеет форму: ${\ Displaystyle \ {х_ {1}, х_ {2},... \}}$

${\ displaystyle \ operatorname {Pr} (X = x_ {k}) = Cr ^ {x_ {k}} \ quad {\ t_dv {for}} k = 1,2, \ ldots,}$

где снова константы C и r были определены из требований, что сумма всех вероятностей должна быть 1, а ожидаемое значение должно быть μ. Например, в случае, когда x k = k, это дает

${\ displaystyle C = {\ frac {1} {\ mu -1}}, \ quad \ quad r = {\ frac {\ mu -1} {\ mu}},}$

такое, что соответствующее максимальное распределение энтропии является геометрическим распределением.

Круговые случайные величины

Для непрерывной случайной величины, распределенной вокруг единичного круга, распределение фон Мизеса максимизирует энтропию, когда указаны действительная и мнимая части первого кругового момента или, что то же самое, заданы круговое среднее и круговая дисперсия. ${\ displaystyle \ theta _ {я}}$

Если заданы среднее значение и дисперсия углов по модулю, обернутое нормальное распределение максимизирует энтропию. ${\ displaystyle \ theta _ {я}}$${\ displaystyle 2 \ pi}$

Максимизатор для указанного среднего, дисперсии и перекоса

Существует верхняя граница энтропии непрерывных случайных величин с заданными средним значением, дисперсией и перекосом. Однако не существует распределения, которое достигает этой верхней границы, потому что оно неограничено, за исключением случаев (см. Cover amp; Thomas (2006: глава 12)). ${\ Displaystyle \ mathbb {R}}$${\ Displaystyle п (х) = с \ ехр {(\ лямбда _ {1} х + \ лямбда _ {2} х ^ {2} + \ лямбда _ {3} х ^ {3})}}$${\ displaystyle \ lambda _ {3} = 0}$

Однако максимальная энтропия ε- достижима: энтропия распределения может быть сколь угодно близкой к верхней границе. Начните с нормального распределения указанного среднего и дисперсии. Чтобы ввести положительный перекос, немного сместите нормальное распределение вверх со значением, на много σ большим, чем среднее значение. На асимметрию, пропорциональную третьему моменту, повлияет больше, чем на моменты более низкого порядка.

Максимизатор для указанной меры риска среднего и отклонения

Каждое распределение с логарифмически вогнутой плотностью максимальное распределение энтропии с указанным средним ц и отклонение риска меры D.

В частности, максимальное распределение энтропии с указанным средним значением и отклонением составляет: ${\ Displaystyle Е (х) = \ му}$${\ Displaystyle D (х) = d}$

• Нормальное распределение, если это стандартное отклонение ;${\ Displaystyle N (м, d ^ {2})}$${\ displaystyle D (x) = {\ sqrt {E [(x- \ mu) ^ {2}]}}}$
• Распределение Лапласа, если - среднее абсолютное отклонение ;${\ Displaystyle D (х) = Е (| х- \ му |)}$
• Распределение с плотностью вида, если является стандартной нижней полу-отклонение, где и а, б, в константы.${\ Displaystyle е (х) = с \ ехр (ах + Ь {[х- \ му] _ {-}} ^ {2})}$${\ displaystyle D (x) = {\ sqrt {E [{(x- \ mu) _ {-}} ^ {2}]}}}$${\ Displaystyle [х] _ {-}: = \ макс \ {0, -x \}}$

Другие примеры

В таблице ниже каждое перечисленное распределение максимизирует энтропию для определенного набора функциональных ограничений, перечисленных в третьем столбце, и ограничения, в соответствии с которым x должен быть включен в поддержку плотности вероятности, которая указана в четвертом столбце. Перечисленные несколько примеров (Бернулли, геометрический, экспоненциальный, Лаплас, Парето) тривиально верны, потому что связанные с ними ограничения эквивалентны назначению их энтропии. Они все равно включены, потому что их ограничение связано с общей или легко измеряемой величиной. Для справки: - это гамма-функция, - это дигамма-функция, - это бета-функция, а γ E - постоянная Эйлера-Маскерони. ${\ displaystyle \ Gamma (x) = \ int _ {0} ^ {\ infty} e ^ {- t} t ^ {x-1} dt}$ ${\ Displaystyle \ psi (x) = {\ frac {d} {dx}} \ ln \ Gamma (x) = {\ frac {\ Gamma '(x)} {\ Gamma (x)}}}$ ${\ Displaystyle В (p, q) = {\ гидроразрыва {\ Gamma (p) \ Gamma (q)} {\ Gamma (p + q)}}}$

Таблица вероятностных распределений и соответствующих ограничений максимальной энтропии

Название дистрибутива	Плотность вероятности / функция массы	Ограничение максимальной энтропии	Служба поддержки
Равномерное (дискретное)	${\ displaystyle f (k) = {\ frac {1} {b-a + 1}}}$	Никто	${\ Displaystyle \ {а, а + 1,..., б-1, б \} \,}$
Равномерное (непрерывное)	${\ displaystyle f (x) = {\ frac {1} {ba}}}$	Никто	${\ Displaystyle [а, Ь] \,}$
Бернулли	${\ Displaystyle е (к) = п ^ {к} (1-р) ^ {1-к}}$	${\ Displaystyle \ OperatorName {E} (к) = р \,}$	${\ Displaystyle \ {0,1 \} \,}$
Геометрический	${\ Displaystyle е (к) = (1-р) ^ {к-1} \, р}$	${\ displaystyle \ operatorname {E} (k) = {\ frac {1} {p}} \,}$	${\ Displaystyle \ mathbb {N} \ setminus \ left \ {0 \ right \} = \ {1,2,3,... \}}$
Экспоненциальный	${\ Displaystyle е (х) = \ лямбда \ ехр \ влево (- \ лямбда х \ вправо)}$	${\ displaystyle \ operatorname {E} (x) = {\ frac {1} {\ lambda}} \,}$	${\ Displaystyle [0, \ infty) \,}$
Лаплас	${\ displaystyle f (x) = {\ frac {1} {2b}} \ exp \ left (- {\ frac {| x- \ mu |} {b}} \ right)}$	${\ Displaystyle \ OperatorName {E} (| x- \ mu |) = b \,}$	${\ Displaystyle (- \ infty, \ infty) \,}$
Асимметричный лаплас	${\ displaystyle f (x) = {\ frac {\ lambda \, e ^ {- (xm) \ lambda s \ kappa ^ {s}}} {\ kappa + 1 / \ kappa}} \, (s \! = \! \ OperatorName {sgn} (x \! - \! m))}$	${\ displaystyle \ operatorname {E} ((xm) s \ kappa ^ {s}) = 1 / \ lambda \,}$	${\ Displaystyle (- \ infty, \ infty) \,}$
Парето	${\ Displaystyle е (х) = {\ гидроразрыва {\ альфа х_ {м} ^ {\ альфа}} {х ^ {\ альфа +1}}}}$	${\ displaystyle \ operatorname {E} (\ ln (x)) = {\ frac {1} {\ alpha}} + \ ln (x_ {m}) \,}$	${\ Displaystyle [х_ {м}, \ infty) \,}$
Нормальный	${\ displaystyle f (x) = {\ frac {1} {\ sqrt {2 \ pi \ sigma ^ {2}}}} \ exp \ left (- {\ frac {(x- \ mu) ^ {2} } {2 \ sigma ^ {2}}} \ right)}$	${\ displaystyle \ operatorname {E} (x) = \ mu, \, \ operatorname {E} ((x- \ mu) ^ {2}) = \ sigma ^ {2}}$	${\ Displaystyle (- \ infty, \ infty) \,}$
Усеченный нормальный	(см. статью)	${\ displaystyle \ operatorname {E} (x) = \ mu _ {T}, \, \ operatorname {E} ((x- \ mu _ {T}) ^ {2}) = \ sigma _ {T} ^ {2}}$	${\ Displaystyle [а, б]}$
фон Мизес	${\ Displaystyle е (\ тета) = {\ гидроразрыва {1} {2 \ пи I_ {0} (\ каппа)}} \ ехр {(\ каппа \ соз {(\ тета - \ му)})}}$	${\ displaystyle \ operatorname {E} (\ cos \ theta) = {\ frac {I_ {1} (\ kappa)} {I_ {0} (\ kappa)}} \ cos \ mu, \, \ operatorname {E } (\ sin \ theta) = {\ frac {I_ {1} (\ kappa)} {I_ {0} (\ kappa)}} \ sin \ mu}$	${\ Displaystyle [0,2 \ pi) \,}$
Рэлей	${\ displaystyle f (x) = {\ frac {x} {\ sigma ^ {2}}} \ exp \ left (- {\ frac {x ^ {2}} {2 \ sigma ^ {2}}} \ верно)}$	${\ displaystyle \ operatorname {E} (x ^ {2}) = 2 \ sigma ^ {2}, \ operatorname {E} (\ ln (x)) = {\ frac {\ ln (2 \ sigma ^ {2 }) - \ gamma _ {\ mathrm {E}}} {2}} \,}$	${\ Displaystyle [0, \ infty) \,}$
Бета	${\ Displaystyle е (х) = {\ гидроразрыва {х ^ {\ альфа -1} (1-х) ^ {\ бета -1}} {В (\ альфа, \ бета)}}}$ для ${\ Displaystyle 0 \ Leq х \ Leq 1}$	${\ displaystyle \ operatorname {E} (\ ln (x)) = \ psi (\ alpha) - \ psi (\ alpha + \ beta) \,}$ ${\ Displaystyle \ OperatorName {E} (\ пер (1-х)) = \ psi (\ бета) - \ psi (\ альфа + \ бета) \,}$	${\ Displaystyle [0,1] \,}$
Коши	${\ Displaystyle е (х) = {\ гидроразрыва {1} {\ пи (1 + х ^ {2})}}}$	${\ Displaystyle \ OperatorName {E} (\ ln (1 + x ^ {2})) = 2 \ ln 2}$	${\ Displaystyle (- \ infty, \ infty) \,}$
Чи	${\ Displaystyle f (x) = {\ frac {2} {2 ^ {k / 2} \ Gamma (k / 2)}} x ^ {k-1} \ exp \ left (- {\ frac {x ^ {2}} {2}} \ right)}$	${\ displaystyle \ operatorname {E} (x ^ {2}) = k, \, \ operatorname {E} (\ ln (x)) = {\ frac {1} {2}} \ left [\ psi \ left ({\ frac {k} {2}} \ right) \! + \! \ ln (2) \ right]}$	${\ Displaystyle [0, \ infty) \,}$
Хи-квадрат	${\ displaystyle f (x) = {\ frac {1} {2 ^ {k / 2} \ Gamma (k / 2)}} x ^ {{\ frac {k} {2}} \! - \! 1 } \ exp \ left (- {\ frac {x} {2}} \ right)}$	${\ displaystyle \ operatorname {E} (x) = k, \, \ operatorname {E} (\ ln (x)) = \ psi \ left ({\ frac {k} {2}} \ right) + \ ln (2)}$	${\ Displaystyle [0, \ infty) \,}$
Erlang	${\ displaystyle f (x) = {\ frac {\ lambda ^ {k}} {(k-1)!}} x ^ {k-1} \ exp (- \ lambda x)}$	${\ Displaystyle \ OperatorName {E} (x) = k / \ lambda, \, \ Operatorname {E} (\ ln (x)) = \ psi (k) - \ ln (\ lambda)}$	${\ Displaystyle [0, \ infty) \,}$
Гамма	${\ displaystyle f (x) = {\ frac {x ^ {k-1} \ exp (- {\ frac {x} {\ theta}})} {\ theta ^ {k} \ Gamma (k)}} }$	${\ Displaystyle \ OperatorName {E} (х) = к \ тета, \, \ OperatorName {E} (\ ln (x)) = \ psi (k) + \ ln (\ theta)}$	${\ Displaystyle [0, \ infty) \,}$
Логнормальный	${\ displaystyle f (x) = {\ frac {1} {\ sigma x {\ sqrt {2 \ pi}}}} \ exp \ left (- {\ frac {(\ ln x- \ mu) ^ {2 }} {2 \ sigma ^ {2}}} \ right)}$	${\ Displaystyle \ OperatorName {E} (\ ln (x)) = \ mu, \ operatorname {E} ((\ ln (x) - \ mu) ^ {2}) = \ sigma ^ {2} \,}$	${\ Displaystyle (0, \ infty) \,}$
Максвелл – Больцманн	${\ displaystyle f (x) = {\ frac {1} {a ^ {3}}} {\ sqrt {\ frac {2} {\ pi}}} \, x ^ {2} \ exp \ left (- {\ frac {x ^ {2}} {2a ^ {2}}} \ right)}$	${\ displaystyle \ operatorname {E} (x ^ {2}) = 3a ^ {2}, \, \ operatorname {E} (\ ln (x)) \! = \! 1 \! + \! \ ln \ left ({\ frac {a} {\ sqrt {2}}} \ right) \! - \! {\ frac {\ gamma _ {\ mathrm {E}}} {2}}}$	${\ Displaystyle [0, \ infty) \,}$
Weibull	${\ displaystyle f (x) = {\ frac {k} {\ lambda ^ {k}}} x ^ {k-1} \ exp \ left (- {\ frac {x ^ {k}} {\ lambda ^ {k}}} \ right)}$	${\ displaystyle \ operatorname {E} (x ^ {k}) = \ lambda ^ {k}, \ operatorname {E} (\ ln (x)) = \ ln (\ lambda) - {\ frac {\ gamma _ {\ mathrm {E}}} {k}} \,}$	${\ Displaystyle [0, \ infty) \,}$
Многомерный нормальный	${\ displaystyle f_ {X} ({\ vec {x}}) =}$ ${\ displaystyle {\ frac {\ exp \ left (- {\ frac {1} {2}} ({\ vec {x}} - {\ vec {\ mu}}) ^ {\ top} \ Sigma ^ { -1} \ cdot ({\ vec {x}} - {\ vec {\ mu}}) \ right)} {(2 \ pi) ^ {N / 2} \ left | \ Sigma \ right | ^ {1 / 2}}}}$	${\ displaystyle \ operatorname {E} ({\ vec {x}}) = {\ vec {\ mu}}, \, \ operatorname {E} (({\ vec {x}} - {\ vec {\ mu }}) ({\ vec {x}} - {\ vec {\ mu}}) ^ {T}) = \ Sigma \,}$	${\ Displaystyle \ mathbb {R} ^ {п}}$
Биномиальный	${\ displaystyle f (k) = {n \ choose k} p ^ {k} (1-p) ^ {nk}}$	${\ displaystyle \ operatorname {E} (x) = \ mu, f \ in {\ text {n-обобщенное биномиальное распределение}}}$	${\ Displaystyle \ влево \ {0, {\ ldots}, п \ вправо \}}$
Пуассон	${\ Displaystyle е (к) = {\ гидроразрыва {\ лямбда ^ {к} \ ехр (- \ лямбда)} {к!}}}$	${\ displaystyle \ operatorname {E} (x) = \ lambda, f \ in {\ infty} {\ text {-обобщенное биномиальное распределение}}}$	${\ Displaystyle \ mathbb {N} \ чашка \ left \ {0 \ right \}}$

• Экспоненциальная семья
• Мера Гиббса
• Функция распределения (математика)
• Максимальное блуждание с энтропией - максимальное увеличение энтропии для графа

• Обложка, ТМ ; Томас, Дж. А. (2006). «Глава 12, Максимальная энтропия» (PDF). Элементы теории информации (2-е изд.). Вайли. ISBN   978-0471241959.
• Ф. Нильсен, Р. Нок (2017), Верхние границы MaxEnt для дифференциальной энтропии одномерных непрерывных распределений, IEEE Signal Processing Letters, 24 (4), 402-406
• IJ Taneja (2001), Общие информационные меры и их приложения. Глава 1
• Нэдер Ebrahimi, Эхсан С. Soofi, Рефик Сойер (2008), "идентификация максимального Многофакторный энтропии, преобразование, и зависимость", журнал многофакторного анализа 99: 1217-1231, DOI : 10.1016 / j.jmva.2007.08.004