Принцип максимальной энтропии

Принцип максимальной энтропии утверждает, что распределение вероятностей, которое наилучшим образом представляет текущее состояние знаний, является распределением с наибольшей энтропией в контексте точно указанных предшествующих данных (например, утверждение, которое выражает проверяемая информация).

Другой способ сформулировать это: взять точно установленные априорные данные или проверяемую информацию о функции распределения вероятностей. Рассмотрим набор всех распределений вероятностей испытаний, которые будут кодировать предыдущие данные. Согласно этому принципу, наилучшим выбором является распределение с максимальной информационной энтропией.

Поскольку распределение с максимальной энтропией - это такое распределение, которое делает наименьшее количество предположений об истинном распределении данных, принцип максимальной энтропии можно рассматривать как применение бритвы Оккама.

• 1 История
• 2 Обзор
• 3 Проверяемая информация
• 4 Приложения
  • 4.1 Априорные вероятности
  • 4.2 Апостериорные вероятности
  • 4.3 Модели максимальной энтропии
  • 4.4 Оценка плотности вероятности
• 5 Общее решение для максимального распределения энтропии с линейными ограничениями
  • 5.1 Дискретный случай
  • 5.2 Непрерывный случай
  • 5.3 Примеры
• 6 Обоснование принципа максимальной энтропии
  • 6.1 Информационная энтропия как мера «неинформативности» '
  • 6.2 Вывод Уоллиса
  • 6.3 Совместимость с теоремой Байеса
• 7 Соответствие физике
• 8 См. Также
• 9 Примечания
• 10 Ссылки
• 11 Дополнительная литература

Принцип был впервые изложен Э. Т. Джейнс в двух статьях 1957 года, в которых он подчеркивал естественное соответствие между статистической механикой и теорией информации. В частности, Джейнс предложил новое и очень общее объяснение того, почему гиббсовский метод статистической механики работает. Он утверждал, что энтропия статистической механики и информационная энтропия теории информации - это в основном одно и то же. Следовательно, статистическую механику следует рассматривать просто как частное приложение общего инструмента логического вывода и теории информации.

В большинстве практических случаев указанные априорные данные или проверяемая информация задаются набором сохраняемых величин (средние значения некоторых функций момента), связанных с рассматриваемое распределение вероятностей. Именно так принцип максимальной энтропии чаще всего используется в статистической термодинамике. Другая возможность - задать некоторые симметрии распределения вероятностей. Эквивалентность между сохраняющимися величинами и соответствующими группами симметрии подразумевает аналогичную эквивалентность для этих двух способов задания проверяемой информации в методе максимальной энтропии.

Принцип максимальной энтропии также необходим для гарантии уникальности и согласованности вероятностных присвоений, полученных различными методами, в частности статистической механикой и логическим выводом.

Принцип максимальной энтропии явно выражает нашу свободу в использовании различных форм предшествующих данных. В качестве особого случая может быть принята равномерная априорная вероятность плотность (принцип безразличия Лапласа, иногда называемый принципом недостаточной причины). Таким образом, принцип максимальной энтропии - это не просто альтернативный способ рассмотрения обычных методов вывода классической статистики, но представляет собой значительное концептуальное обобщение этих методов.

Однако эти утверждения не подразумевают, что термодинамические системы не должны быть показаны как эргодические, чтобы оправдать их рассмотрение как статистический ансамбль.

На обычном языке принцип максимальной энтропии можно сказать, что оно выражает претензию на эпистемическую скромность или максимальное невежество. Выбранное распределение - это такое распределение, которое в наименьшей степени претендует на информированность помимо заявленных предшествующих данных, то есть допускает наибольшее невежество, помимо указанных ранее данных.

Принцип максимальной энтропии явно полезен только при применении к проверяемой информации. Проверяемая информация - это утверждение о распределении вероятностей, истинность или ложность которого четко определена. Например, в операторах

ожидание переменной $x\; \{\backslash \; displaystyle\; x\}$равно 2,87

и

$p\; 2\; +\; p\; 3>0,6.\; \{\backslash \; displaystyle\; p\_\; \{2\}\; +\; p\_\; \{3\}>0.6\}$

(где $p\; 2\; \{\backslash \; displaystyle\; p\_\; \{2\}\}$и $p\; 3\; \{\backslash \; displaystyle\; p\_\; \{3\; \}\}$- вероятности событий) - утверждения проверяемой информации.

При наличии проверяемой информации процедура максимальной энтропии состоит из поиска распределения вероятностей, которое максимизирует информационная энтропия с учетом ограничений информации. Эта задача оптимизации с ограничениями обычно решается с использованием метода множителей Лагранжа.

Максимизация энтропии без проверяемой информации соблюдает универсальное "ограничение", заключающееся в том, что сумма вероятность равна 1. При этом ограничении диск максимальной энтропии Повторное распределение вероятностей - это равномерное распределение,

$p\; i\; =\; 1\; n\; f\; o\; r\; a\; l\; l\; i\; \in \; \{1,\dots ,\; n\}.\; \{\backslash \; displaystyle\; p\_\; \{i\}\; =\; \{\backslash \; frac\; \{1\}\; \{n\}\}\; \backslash \; \{\backslash \; rm\; \{for\; \backslash \; all\}\}\; \backslash \; i\; \backslash \; in\; \backslash \; \{\backslash ,\; 1,\; \backslash \; dots,\; n\; \backslash ,\; \backslash \}.\}$

Принцип максимальной энтропии обычно применяется двумя способами к задачам вывода:

Априорные вероятности

Принцип максимальной энтропии часто используется для получения априорные распределения вероятностей для байесовского вывода. Джейнс был ярым сторонником этого подхода, утверждая, что максимальное распределение энтропии представляет собой наименее информативное распределение. В настоящее время большое количество литературы посвящено выявлению априорных значений максимальной энтропии и связей с канальным кодированием.

Апостериорными вероятностями

Максимальная энтропия является достаточным обновляющим правилом для радикальной вероятности. Ричард Джеффри кинематика вероятности является частным случаем вывода максимальной энтропии. Однако максимальная энтропия не является обобщением всех таких достаточных правил обновления.

Модели максимальной энтропии

В качестве альтернативы этот принцип часто используется для спецификации модели: в этом случае предполагаются сами наблюдаемые данные быть проверяемой информацией. Такие модели широко используются в обработке естественного языка. Примером такой модели является логистическая регрессия, что соответствует классификатору максимальной энтропии для независимых наблюдений.

Оценка плотности вероятности

Одно из основных применений принципа максимальной энтропии - это дискретная и непрерывная оценка плотности. Аналогично опорных векторов оценщики, принцип максимума энтропии может потребовать от раствора до квадратичного программирования и таким образом обеспечивают разреженную модель смеси в качестве оценки плотности оптимальной. Одним из важных преимуществ метода является возможность включения априорной информации в оценку плотности.

Дискретный случай

У нас есть некоторые проверяемая информация I о величине x, принимающей значения в {x 1, x 2,..., x n }. Мы предполагаем, что эта информация имеет форму m ограничений на ожидания функций f k ; то есть, мы требуем, чтобы наше распределение вероятностей удовлетворяло условиям неравенства / равенства моментов:

$\sum \; i\; =\; 1\; n\; Pr\; (x\; i)\; f\; k\; (x\; i)\; \ge \; F\; k\; k\; =\; 1,\dots ,\; m.\; \{\backslash \; displaystyle\; \backslash \; sum\; \_\; \{я\; =\; 1\}\; ^\; \{n\}\; \backslash \; Pr\; (x\_\; \{i\})\; f\_\; \{k\}\; (x\_\; \{i\})\; \backslash \; geq\; F\_\; \{k\}\; \backslash \; qquad\; k\; =\; 1,\; \backslash \; ldots,\; m.\; \}$

где $F\; k\; \{\backslash \; displaystyle\; F\_\; \{k\}\}$- наблюдаемые. Мы также требуем, чтобы плотность вероятности была суммирована до единицы, что можно рассматривать как примитивное ограничение для функции идентичности и как наблюдаемую, равную 1, дающую ограничение

$\sum \; i\; =\; 1\; n\; Pr\; (xi)\; =\; 1.\; \{\backslash \; displaystyle\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; \backslash \; Pr\; (x\_\; \{i\})\; =\; 1.\}$

Распределение вероятностей с максимальной информационной энтропией с учетом этих ограничений неравенства / равенства имеет вид:

$Pr\; (xi)\; знак\; равно\; 1\; Z\; (\lambda \; 1,\dots ,\; \lambda \; m)\; ехр\; \; [\lambda \; 1\; е\; 1\; (xi)\; +\; \cdots \; +\; \lambda \; mfm\; (xi)],\; \{\backslash \; displaystyle\; \backslash \; Pr\; (x\_\; \{i\})\; =\; \{\backslash \; frac\; \{1\}\; \{Z\; (\backslash \; lambda\; \_\; \{1\},\; \backslash \; ldots,\; \backslash \; lambda\; \_\; \{m\})\}\}\; \backslash \; exp\; \backslash \; left\; [\backslash \; lambda\; \_\; \{1\}\; f\_\; \{1\}\; (x\_\; \{i\})\; +\; \backslash \; cdots\; +\; \backslash \; lambda\; \_\; \{m\}\; f\_\; \{m\}\; (x\_\; \{i\})\; \backslash \; right],\}$

для некоторого $\lambda \; 1,\dots ,\; \lambda \; m\; \{\backslash \; displaystyle\; \backslash \; lambda\; \_\; \{1\},\; \backslash \; ldots,\; \backslash \; лямбда\; \_\; \{m\}\}$. Иногда его называют распределением Гиббса. Константа нормализации определяется следующим образом:

$Z\; (\lambda \; 1,\dots ,\; \lambda \; m)\; =\; \sum \; i\; =\; 1\; n\; exp\; \; [\lambda \; 1\; f\; 1\; (xi)\; +\; \cdots \; +\; \lambda \; mfm\; (xi)],\; \{\backslash \; displaystyle\; Z\; (\backslash \; lambda\; \_\; \{1\},\; \backslash \; ldots,\; \backslash \; lambda\; \_\; \{m\})\; =\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; \backslash \; exp\; \backslash \; left\; [\backslash \; lambda\; \_\; \{1\}\; f\_\; \{1\}\; (x\_\; \{i\; \})\; +\; \backslash \; cdots\; +\; \backslash \; lambda\; \_\; \{m\}\; f\_\; \{m\}\; (x\_\; \{i\})\; \backslash \; right],\}$

и обычно называется функцией разделения . (Теорема Питмана – Купмана утверждает, что необходимое и достаточное условие для выборочного распределения, допускающего достаточную статистику ограниченной размерности, состоит в том, что оно имеет общую форму максимального распределения энтропии.)

Параметры λ k являются множителями Лагранжа. В случае ограничений-равенств их значения определяются из решения нелинейных уравнений

$F\; k\; =\; \partial \; \partial \; \lambda \; k\; log\; \; Z\; (\lambda \; 1,\dots ,\; \lambda \; m).\; \{\backslash \; displaystyle\; F\_\; \{k\}\; =\; \{\backslash \; frac\; \{\backslash \; partial\}\; \{\backslash \; partial\; \backslash \; lambda\; \_\; \{k\}\}\}\; \backslash \; log\; Z\; (\backslash \; lambda\; \_\; \{1\},\; \backslash \; ldots,\; \backslash \; lambda\; \_\; \{m\}).\}$

В случае ограничений неравенства множители Лагранжа определяются из решения программы выпуклой оптимизации с линейными ограничениями. В обоих случаях не существует решения в закрытой форме, и для вычисления множителей Лагранжа обычно требуются численные методы.

Непрерывный случай

Для непрерывных распределений, энтропия Шеннона не может использоваться, поскольку она определена только для дискретных вероятностных пространств. Вместо этого Эдвин Джейнс (1963, 1968, 2003) дал следующую формулу, которая тесно связана с относительной энтропией (см. Также дифференциальная энтропия ).

$ЧАС\; с\; знак\; равно\; -\; \int \; п\; (Икс)\; журнал\; \; п\; (Икс)\; q\; (Икс)\; dx\; \{\backslash \; Displaystyle\; H\_\; \{c\}\; =\; -\; \backslash \; int\; p\; (x)\; \backslash \; log\; \{\backslash \; frac\; \{p\; (x)\}\; \{\; q\; (x)\}\}\; \backslash ,\; dx\}$

где q (x), которую Джейнс назвал «инвариантной мерой», пропорционален предельной плотности дискретных точек. Пока предположим, что q известно; мы обсудим это позже после того, как будут приведены решения уравнений.

Тесно связанная величина, относительная энтропия, обычно определяется как дивергенция Кульбака – Лейблера p от q (хотя иногда она определяется как отрицательная величина). Принцип логического вывода минимизации этого, благодаря Кульбаку, известен как Принцип минимальной информации о различении.

. У нас есть некоторая проверяемая информация I о величине x, которая принимает значения в некотором интервале вещественные числа (все интегралы ниже лежат в этом интервале). Мы предполагаем, что эта информация имеет форму m ограничений на ожидания функций f k, то есть мы требуем, чтобы наша функция плотности вероятности удовлетворяла ограничениям момента в виде неравенства (или просто равенства):

$\int \; p\; (\; x)\; fk\; (x)\; dx\; \ge \; F\; kk\; =\; 1,\dots ,\; m.\; \{\backslash \; displaystyle\; \backslash \; int\; p\; (x)\; f\_\; \{k\}\; (x)\; \backslash ,\; dx\; \backslash \; geq\; F\_\; \{k\}\; \backslash \; qquad\; k\; =\; 1,\; \backslash \; dotsc,\; m.\}$

где $F\; k\; \{\backslash \; displaystyle\; F\_\; \{k\}\}$наблюдаемые. Мы также требуем, чтобы плотность вероятности интегрировалась в единицу, что можно рассматривать как примитивное ограничение на функцию идентичности и как наблюдаемую, равную 1, дающую ограничение

$\int \; p\; (x)\; dx\; =\; 1.\; \{\backslash \; displaystyle\; \backslash \; int\; p\; (x)\; \backslash ,\; dx\; =\; 1.\}$

Функция плотности вероятности с максимумом H c с учетом этих ограничений:

$p\; (x)\; =\; 1\; Z\; (\lambda \; 1,\dots ,\; \lambda \; м)\; д\; (Икс)\; ехр\; \; [\lambda \; 1\; е\; 1\; (Икс)\; +\; \cdots \; +\; \lambda \; МФМ\; (Икс)]\; \{\backslash \; Displaystyle\; р\; (х)\; =\; \{\backslash \; гидроразрыва\; \{1\}\; \{Z\; (\backslash \; lambda\; \_\; \{1\},\; \backslash \; dotsc,\; \backslash \; lambda\; \_\; \{m\})\}\}\; q\; (x)\; \backslash \; exp\; \backslash \; left\; [\backslash \; lambda\; \_\; \{1\}\; f\_\; \{1\}\; (x)\; +\; \backslash \; dotsb\; +\; \backslash \; lambda\; \_\; \{m\}\; f\_\; \{m\}\; (x)\; \backslash \; right]\}$

со статистической суммой , определенной как

$Z\; (\lambda \; 1,\dots ,\; \lambda \; m)\; =\; \int \; q\; (x)\; exp\; \; [\lambda \; 1\; f\; 1\; (x)\; +\; \cdots \; +\; \lambda \; mfm\; (x)]\; dx.\; \{\backslash \; displaystyle\; Z\; (\backslash \; lambda\; \_\; \{1\},\; \backslash \; dotsc,\; \backslash \; lambda\; \_\; \{m\})\; =\; \backslash \; int\; q\; (x)\; \backslash \; exp\; \backslash \; left\; [\backslash \; lambda\; \_\; \{1\}\; f\_\; \{1\}\; (x)\; +\; \backslash \; dotsb\; +\; \backslash \; lambda\; \_\; \{m\}\; f\_\; \{m\}\; (x)\; \backslash \; right]\; \backslash ,\; dx.\}$

Как и в дискретном случае, в случае, когда все ограничения моментов являются равенствами, значения $\lambda \; k\; \{\backslash \; displaystyle\; \backslash \; lambda\; \_\; \{k\}\}$параметры определяются системой нелинейных уравнений:

$F\; k\; =\; \partial \; \partial \; \lambda \; k\; log\; \; Z\; (\lambda \; 1,\dots ,\; \lambda \; m).\; \{\backslash \; displaystyle\; F\_\; \{k\}\; =\; \{\backslash \; frac\; \{\backslash \; partial\}\; \{\backslash \; partial\; \backslash \; lambda\; \_\; \{k\}\}\}\; \backslash \; log\; Z\; (\backslash \; lambda\; \_\; \{1\},\; \backslash \; dotsc,\; \backslash \; lambda\; \_\; \{m\}).\}$

В случае с ограничениями момента неравенства множители Лагранжа определяются из решения программы выпуклой оптимизации.

Инвариантная функция меры q (x) может быть лучше всего понята, если предположить, что Известно, что x принимает значения только в ограниченном интервале (a, b), и никакой другой информации не дается. Тогда функция плотности вероятности максимальной энтропии равна

, где A - нормировочная константа. Функция инвариантной меры на самом деле является априорной функцией плотности, кодирующей «недостаток релевантной информации». Он не может быть определен с помощью принципа максимальной энтропии и должен быть определен каким-либо другим логическим методом, таким как принцип групп преобразования или теория маргинализации.

Примеры

Несколько примеров распределений максимальной энтропии см. В статье Вероятностные распределения максимальной энтропии.

Сторонники принципа максимальной энтропии оправдывают его использование при назначении вероятностей в нескольких способов, включая следующие два аргумента. Эти аргументы принимают использование байесовской вероятности как данность и, таким образом, подчиняются тем же постулатам.

Информационная энтропия как мера «неинформативности»

Рассмотрим дискретное распределение вероятностей среди $m\; \{\backslash \; displaystyle\; m\}$взаимоисключающих предложения. Наиболее информативное распределение произошло бы, когда было известно, что одно из утверждений истинно. В этом случае информационная энтропия была бы равна нулю. Наименее информативное распределение произошло бы, когда нет причин отдавать предпочтение одному из предложений по сравнению с другими. В этом случае единственное разумное распределение вероятностей было бы равномерным, и тогда информационная энтропия была бы равна своему максимально возможному значению, $log\; \; m\; \{\backslash \; displaystyle\; \backslash \; log\; m\}$. Таким образом, информационная энтропия может рассматриваться как числовая мера, которая описывает, насколько неинформативно конкретное распределение вероятностей, в диапазоне от нуля (полностью информативно) до $log\; \; m\; \{\backslash \; displaystyle\; \backslash \; log\; m\}$(полностью малоинформативный).

Принимая решение использовать распределение с максимальной энтропией, разрешенной нашей информацией, мы утверждаем, что мы выбираем наиболее неинформативное возможное распределение. Выбор распределения с более низкой энтропией означал бы предположить, что информация, которой мы не обладаем. Таким образом, максимальное распределение энтропии - единственно разумное распределение. Зависимость решения от доминирующего показателя, представленного $m\; (x)\; \{\backslash \; displaystyle\; m\; (x)\}$, однако, является источником критики подхода, поскольку это доминирующее

Вывод Уоллиса

Следующий аргумент является результатом предположения, сделанного ET Jaynes в 1962 году. По сути, это тот же математический аргумент, который использовался для Статистика Максвелла – Больцмана в статистической механике, хотя концептуальный акцент совершенно иной. Его преимущество состоит в том, что он носит строго комбинаторный характер, не ссылаясь на информационную энтропию как на меру «неопределенности», «неинформативности» или любого другого неточно определенного понятия. Функция информационной энтропии не предполагается априори, а скорее находится в ходе аргументации; и этот аргумент естественным образом приводит к процедуре максимизации информационной энтропии, а не к какому-либо другому подходу к ней.

Предположим, что человек желает присвоить вероятность среди $m\; \{\backslash \; displaystyle\; m\}$взаимоисключающих предложений. У него есть некоторая проверяемая информация, но он не уверен, как включить эту информацию в свою оценку вероятности. Поэтому он задумал следующий случайный эксперимент. Он распределит $N\; \{\backslash \; displaystyle\; N\}$квантов вероятности (каждый из которых стоит $1\; /\; N\; \{\backslash \; displaystyle\; 1\; /\; N\}$) случайным образом среди $m\; \{\backslash \; displaystyle\; m\}$возможностей. (Можно представить, что он бросит $N\; \{\backslash \; displaystyle\; N\}$мячей в $m\; \{\backslash \; displaystyle\; m\}$с завязанными глазами. Чтобы быть справедливым По возможности, каждый бросок должен быть независимым от другого, и все ведра должны быть одинакового размера.) После завершения эксперимента он проверит, соответствует ли полученное таким образом распределение вероятностей его информации. (Чтобы этот шаг был успешным, информация должна быть ограничением, заданным открытым набором в пространстве вероятностных мер). Если это непоследовательно, он отклонит его и попытается снова. Если он согласован, его оценка будет

$pi\; =\; ni\; N\; \{\backslash \; displaystyle\; p\_\; \{i\}\; =\; \{\backslash \; frac\; \{n\_\; \{i\}\}\; \{N\}\}\}$

, где $pi\; \{\backslash \; displaystyle\; p\_\; \{i\}\}$- это вероятность предложения $i\; \{\backslash \; displaystyle\; i\}$, а n i - количество квантов, которые были назначены предложение $i\; \{\backslash \; displaystyle\; i\}$(т. е. количество шаров, которые оказались в корзине $i\; \{\backslash \; displaystyle\; i\}$).

Теперь, чтобы уменьшить «зернистость» распределения вероятности, необходимо будет использовать довольно большое количество квантов вероятности. Вместо того, чтобы фактически проводить и, возможно, повторять довольно длинный случайный эксперимент, главный герой решает просто вычислить и использовать наиболее вероятный результат. Вероятность любого конкретного результата - это полиномиальное распределение,

$P\; r\; (p)\; =\; W\; \cdot \; m\; -\; N\; \{\backslash \; displaystyle\; Pr\; (\backslash \; mathbf\; \{p\})\; =\; W\; \backslash \; cdot\; m\; ^\; \{-\; N\}\}$

, где

$W\; =\; N!\; п\; 1!\; п\; 2!\; \cdots \; н\; м!\; \{\backslash \; displaystyle\; W\; =\; \{\backslash \; frac\; \{N!\}\; \{n\_\; \{1\}!\; \backslash ,\; n\_\; \{2\}!\; \backslash ,\; \backslash \; dotsb\; \backslash ,\; n\_\; \{m\}!\}\}\}$

иногда называют кратностью результат.

Наиболее вероятный результат - это тот, который максимизирует кратность $W\; \{\backslash \; displaystyle\; W\}$. Вместо того, чтобы напрямую максимизировать $W\; \{\backslash \; displaystyle\; W\}$, главный герой мог бы эквивалентно максимизировать любую монотонную функцию увеличения $W\; \{\backslash \; displaystyle\; W\}$. Он решает максимизировать

$1\; N\; log\; \; W\; =\; 1\; N\; log\; \; N!\; п\; 1!\; п\; 2!\; \cdots \; н\; м!\; =\; 1\; N\; журнал\; \; N!\; (N\; p\; 1)!\; (N\; p\; 2)!\; \cdots \; (Нпм)!\; =\; 1\; N\; (журнал\; \; N!\; -\; \sum \; i\; =\; 1\; m\; журнал\; \; ((N\; p\; i)!)).\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{align\}\; \{\backslash \; frac\; \{1\}\; \{N\}\}\; \backslash \; log\; W\; =\; \{\backslash \; frac\; \{1\}\; \{N\}\}\; \backslash \; log\; \{\backslash \; frac\; \{N!\}\; \{n\_\; \{1\}!\; \backslash ,\; n\_\; \{2\}!\; \backslash ,\; \backslash \; dotsb\; \backslash ,\; n\_\; \{m\}!\}\}\; \backslash \backslash \; [6pt]\; =\; \{\backslash \; frac\; \{1\}\; \{N\}\}\; \backslash \; log\; \{\backslash \; frac\; \{N!\}\; \{(Np\_\; \{1\})!\; \backslash ,\; (Np\_\; \{2\})!\; \backslash ,\; \backslash \; Dotsb\; \backslash ,\; (Np\_\; \{m\})!\}\}\; \backslash \backslash \; [6pt]\; =\; \{\backslash \; frac\; \{1\}\; \{N\}\}\; \backslash \; left\; (\backslash \; log\; N!\; -\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{m\}\; \backslash \; log\; ((Np\_\; \{i\})!)\; \backslash \; right).\; \backslash \; end\; \{align\}\}\}$

На этом этапе, чтобы упростить выражение, главный герой принимает предел как $N\; \to \; \infty \; \{\backslash \; displaystyle\; N\; \backslash \; to\; \backslash \; infty\}$, то есть когда уровни вероятности переходят от зернистых дискретных значений к гладким непрерывным значениям. Используя приближение Стирлинга , он находит

$lim\; N\; \to \; \infty \; (1\; N\; log\; \; W)\; =\; 1\; N\; (N\; log\; \; N\; -\; \sum \; i\; =\; 1\; m\; N\; pi\; log\; \; (N\; pi))\; =\; log\; \; N\; -\; \sum \; i\; =\; 1\; mpi\; log\; \; (N\; pi)\; =\; log\; \; N\; -\; log\; \; N\; \sum \; i\; =\; 1\; mpi\; -\; \sum \; i\; =\; 1\; mpi\; log\; \; pi\; =\; (1\; -\; \sum \; i\; =\; 1\; mpi)\; log\; \; N\; -\; \sum \; я\; =\; 1\; МПи\; журнал\; \; пи\; =\; -\; \sum \; я\; =\; 1\; МПи\; журнал\; \; пи\; =\; H\; (р).\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{align\}\; \backslash \; lim\; \_\; \{N\; \backslash \; to\; \backslash \; infty\}\; \backslash \; left\; (\{\backslash \; frac\; \{1\}\; \{N\}\}\; \backslash \; log\; W\; \backslash \; right)\; =\; \{\backslash \; frac\; \{1\}\; \{N\}\}\; \backslash \; left\; (N\; \backslash \; log\; N-\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{m\}\; Np\_\; \{i\}\; \backslash \; log\; (Np\_\; \{i\})\; \backslash \; right)\; \backslash \backslash \; [6pt]\; =\; \backslash \; log\; N-\; \backslash \; sum\; \_\; \{\; i\; =\; 1\}\; ^\; \{m\}\; p\_\; \{i\}\; \backslash \; log\; (Np\_\; \{i\})\; \backslash \backslash \; [6pt]\; =\; \backslash \; log\; N-\; \backslash \; log\; N\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{m\}\; p\_\; \{i\}\; -\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{m\}\; p\_\; \{i\}\; \backslash \; log\; p\_\; \{i\}\; \backslash \backslash \; [6pt]\; =\; \backslash \; left\; (1-\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{m\}\; p\_\; \{i\; \}\; \backslash \; right)\; \backslash \; log\; N-\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{m\}\; p\_\; \{i\}\; \backslash \; log\; p\_\; \{i\}\; \backslash \backslash \; [6pt]\; =\; -\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{m\}\; p\_\; \{i\}\; \backslash \; log\; p\_\; \{i\}\; \backslash \backslash \; [6pt]\; =\; H\; (\backslash \; mathbf\; \{p\}).\; \backslash \; end\; \{align\}\}\}$

Все, что остается сделать главному герою, - это максимизировать энтропию под ограничения его проверяемой информации. Он обнаружил, что максимальное распределение энтропии является наиболее вероятным из всех «справедливых» случайных распределений в пределе, когда уровни вероятности переходят от дискретного к непрерывному.

Совместимость с теоремой Байеса

Гиффин и Катича (2007) утверждают, что теорема Байеса и принцип максимальной энтропии полностью совместимы и могут рассматриваться как частные случаи «метода максимальной относительной энтропии». Они заявляют, что этот метод воспроизводит все аспекты ортодоксальных методов байесовского вывода. Вдобавок этот новый метод открывает дверь к решению проблем, которые нельзя решить ни с помощью принципа максимальной энтропии, ни с помощью ортодоксальных байесовских методов по отдельности. Более того, недавние публикации (Lazar 2003 и Schennach 2005) показывают, что частотные подходы к логическому выводу на основе относительной энтропии (такие как эмпирическое правдоподобие и - см., Например, Owen 2001 и Kitamura 2006) могут быть объединены с предыдущей информацией для выполнить байесовский апостериорный анализ.

Джейнс заявил, что теорема Байеса была способом вычисления вероятности, в то время как максимальная энтропия была способом присвоить априорное распределение вероятностей.

Однако теоретически возможно решить апостериорное распределение непосредственно из заявленного априорного распределения с использованием принципа минимальной перекрестной энтропии (или принципа максимальной энтропии, являющегося частным случаем использования равномерного распределения в качестве заданного априорного), независимо от любые байесовские соображения, формально рассматривая проблему как задачу оптимизации с ограничениями, при этом функционал энтропии является целевой функцией. Для случая заданных средних значений в качестве проверяемой информации (усредненной по искомому распределению вероятностей) искомым распределением формально является распределение Гиббса (или Больцмана), параметры которого должны быть решены для того, чтобы достичь минимальной перекрестной энтропии и удовлетворить заданную проверяемую информацию.

Принцип максимальной энтропии имеет отношение к ключевому допущению кинетической теории газов, известному как молекулярный хаос или Stosszahlansatz. Это утверждает, что функция распределения, характеризующая частицы, вступающие в столкновение, может быть факторизована. Хотя это утверждение можно понимать как строго физическую гипотезу, его также можно интерпретировать как эвристическую гипотезу относительно наиболее вероятной конфигурации частиц перед столкновением.

• Информационный критерий Акаике
• Рассеивание
• Максимизация энтропии
• Информационные метрики
• Классификатор максимальной энтропии
• Распределение вероятностей максимальной энтропии
• Спектральная оценка максимальной энтропии
• Термодинамика максимальной энтропии
• Принцип максимального калибра
• Термодинамическое равновесие
• Молекулярный хаос

• Байкова А.Т. (1992). «Обобщение метода максимальной энтропии для восстановления сложных функций». Астрономические и астрофизические труды. 1 (4): 313–320. Bibcode : 1992A AT.... 1..313B. doi : 10.1080 / 10556799208230532.
• Форнальски, K.W.; Парзыч, Г.; Пилак, М.; Satuła, D.; Добжиньский, Л. (2010). «Применение байесовских рассуждений и метода максимальной энтропии к некоторым задачам реконструкции» (PDF). Acta Physica Polonica A. 117 (6): 892–899. doi : 10.12693 / APhysPolA.117.892.
• Giffin, A. and Caticha, A., 2007, Обновление вероятностей с помощью данных и моментов
• Guiasu, S.; Шеницер, А. (1985). «Принцип максимума энтропии». Математический интеллигент. 7 (1): 42–48. doi : 10.1007 / bf03023004.
• Harremoës, P.; Топсе (2001). «Основы максимальной энтропии». Энтропия. 3 (3): 191–226. Bibcode : 2001Entrp... 3..191H. doi : 10.3390 / e3030191.
• Джейнс, Э. Т. (1963). «Теория информации и статистическая механика». В Форде, К. (ред.). Статистическая физика. Нью-Йорк: Бенджамин. п. 181.
• Джейнс, ET, 1986 (новая версия онлайн 1996), «Monkeys, kangaroos and N », в Maximum-Entropy and Bayesian Methods in Applied Statistics, JH Justice (ed.), Cambridge University Press, Кембридж, стр. 26.
• Kapur, J. N.; и Кесаван, Х.К., 1992, Принципы энтропийной оптимизации с приложениями, Бостон: Academic Press. ISBN 0-12-397670-7
• Китамура, Ю., 2006, Методы эмпирического правдоподобия в эконометрике: теория и практика, Документы для обсуждения фонда Cowles 1569, Фонд Коулза, Йельский университет.
• Лазар, Н. (2003). «Байесовская эмпирическая вероятность». Биометрика. 90 (2): 319–326. doi : 10.1093 / biomet / 90.2.319.
• Оуэн, А. Б., 2001, Эмпирическое правдоподобие, Чепмен и Холл / CRC. ISBN 1-58-488071-6.
• Шеннах, С. М. (2005). «Байесовская экспоненциально наклоненная эмпирическая вероятность». Биометрика. 92 (1): 31–46. doi : 10.1093 / biomet / 92.1.31.
• Уффинк, Джос (1995). «Можно ли объяснить принцип максимальной энтропии как требование согласованности?» (PDF). Исследования по истории и философии современной физики. 26B (3): 223–261. CiteSeerX 10.1.1.27.6392. DOI : 10.1016 / 1355-2198 (95) 00015-1. Архивировано из оригинала (PDF) от 03.06.2006.

• Бойд, Стивен; Ливен Ванденберге (2004). Выпуклая оптимизация (PDF). Издательство Кембриджского университета. п. 362. ISBN 0-521-83378-7. Проверено 24 августа 2008 г.
• Ратнапархи А. (1997) «Простое введение в модели максимальной энтропии для обработки естественного языка» Технический отчет 97-08, Институт исследований в области когнитивных наук, Университет Пенсильвания. Легко читаемое введение в методы максимальной энтропии в контексте обработки естественного языка.
• Tang, A.; Джексон, Д.; Hobbs, J.; Chen, W.; Smith, J. L.; Patel, H.; Прието, А.; Petrusca, D.; Гривич, М. И.; Шер, А.; Hottowy, P.; Dabrowski, W.; Литке, А. М.; Беггс, Дж. М. (2008). «Модель максимальной энтропии, применяемая к пространственным и временным корреляциям из кортикальных сетей in vitro». Журнал неврологии. 28 (2): 505–518. DOI : 10.1523 / JNEUROSCI.3359-07.2008. PMID 18184793.Статья в открытом доступе, содержащая указатели на различные статьи и программные реализации модели максимальной энтропии в сети.