В вероятности и статистике, естественное экспоненциальное семейство (NEF ) - это класс вероятностных распределений, который является частным случаем экспоненциального семейства (EF).
Естественные экспоненциальные семейства (NEF) являются подмножеством экспоненциальных семейств. NEF - это экспоненциальное семейство, в котором натуральный параметр η и естественная статистика T (x) идентичны. Распределение в экспоненциальном семействе с параметром θ может быть записано с помощью функции плотности вероятности (PDF)
где и - известные функции. Таким образом, распределение в естественном экспоненциальном семействе с параметром θ можно записать с помощью PDF
[Обратите внимание, что несколько иное обозначение используется создателем NEF, Карлом Моррисом. Моррис использует ω вместо η и ψ вместо A.]
Предположим, что , тогда естественное экспоненциальное семейство порядка p имеет плотность или функция масс в форме:
где в данном случае параметр
Член естественного экспоненциального семейства имеет момент производящая функция (MGF) вида
кумулянтная производящая функция по определению является логарифмом MGF, поэтому это
Пять наиболее важных одномерных случаев:
Эти пять примеров - пуассоновское, биномиальное, отрицательный бином, нормальный и гамма - это специальное подмножество NEF, называемое NEF с квадратичной функцией отклонения (NEF-QVF), потому что дисперсию можно записать как квадратичную функцию от среднего. NEF-QVF обсуждаются ниже.
Распределения, такие как экспоненциальное, хи-квадрат, Рэлея, Вейбулла, Бернулли и геометрические распределения являются частными случаями указанных выше пяти распределений. Многие распространенные дистрибутивы являются либо NEF, либо могут быть связаны с NEF. Например: распределение хи-квадрат является частным случаем гамма-распределения. Распределение Бернулли - это биномиальное распределение с n = 1 испытанием. Экспоненциальное распределение - это гамма-распределение с параметром формы α = 1 (или k = 1). Каждое распределения Рэлея и Вейбулла может быть записано в терминах экспоненциального распределения.
Некоторые экспоненциальные распределения семейств не являются NEF. логнормальное и бета-распределение относятся к экспоненциальному семейству, но не к естественному экспоненциальному семейству.
Параметризация большинства вышеперечисленных распределений была написана иначе, чем параметризация, обычно используемая в учебниках и на указанных выше страницах. Например, приведенная выше параметризация отличается от параметризации в связанной статье в случае Пуассона. Две параметризации связаны следующим образом: , где λ - средний параметр, и поэтому плотность может быть записывается как
для , поэтому
Эта альтернативная параметризация может значительно упростить вычисления в математической статистике. Например, в байесовском выводе, апостериорное распределение вероятностей вычисляется как произведение двух распределений. Обычно этот расчет требует записи функций распределения вероятностей (PDF) и интегрирования; Однако с помощью приведенной выше параметризации этого расчета можно избежать. Вместо этого отношения между распределениями можно абстрагировать благодаря свойствам NEF, описанным ниже.
Примером многомерного случая является полиномиальное распределение с известным количеством испытаний.
Свойства естественного экспоненциального семейства можно использовать для упрощения вычислений с использованием этих распределений.
1. Кумулянты NEF могут быть рассчитаны как производные от кумулянтной производящей функции NEF. N-я кумулянт - это n-я производная кумулянтной производящей функции по t, вычисленная при t = 0.
кумулянтная производящая функция равна
Первый кумулянт
Среднее значение - это первый момент и всегда равно первому кумулянту, поэтому
дисперсия всегда является вторым кумулянтом, и она всегда связана с первым и вторым моментами следующим образом:
так, чтобы
Аналогично, n-й кумулянт равен
2. Естественные экспоненциальные семейства (NEF) закрываются при свертке.
Дано независимое одинаково распределенное (iid) с распределением из NEF, тогда - это NEF, но не обязательно оригинальный NEF. Это следует из свойств производящей функции кумулянта.
3. Дисперсионная функция для случайных величин с распределением NEF может быть записана в терминах среднего.
4. Первые два момента распределения NEF однозначно определяют распределение внутри этого семейства распределений.
В многомерном случае вектор среднего и ковариационная матрица равны
где - это градиент и является матрицей Гессе.
Частным случаем естественных экспоненциальных семейств являются семейства с квадратичными функциями дисперсии. Шесть NEF имеют квадратичные функции дисперсии (QVF), в которых дисперсия распределения может быть записана как квадратичная функция от среднего. Они называются NEF-QVF. Свойства этих распределений были впервые описаны Карлом Моррисом.
Шесть NEF-QVF записаны здесь с возрастающей сложностью взаимосвязи между дисперсией и средним значением.
1. Нормальное распределение с фиксированной дисперсией - это NEF-QVF, потому что дисперсия постоянно. Дисперсию можно записать в виде , поэтому дисперсия является функцией среднего значения степени 0.
2. Распределение Пуассона является NEF-QVF, потому что все распределения Пуассона имеют дисперсию, равную среднему , поэтому дисперсия является линейной функцией жадный.
3. Гамма-распределение является NEF-QVF, потому что среднее значение гамма-распределения равно , а дисперсия гамма-распределения равна , поэтому дисперсия является квадратичной функцией среднего.
4. Биномиальное распределение является NEF-QVF, потому что среднее значение равно , а дисперсия равна который может быть записан в терминах среднего как
5. Отрицательное биномиальное распределение - это NEF-QVF, потому что среднее значение , а дисперсия составляет
6. Распределение (не очень известное), порожденное обобщенным распределением гиперболического секанса (NEF-GHS), имеет и
Свойства NEF-QVF могут упростить вычисления с использованием этих распределений.
1. Естественные экспоненциальные семейства с квадратичными функциями дисперсии (NEF-QVF) замкнуты относительно сверток линейного преобразования. То есть свертка линейного преобразования NEF-QVF также является NEF-QVF, хотя и не обязательно исходной.
Дано независимое одинаково распределенное (iid) с распределением из a NEF-QVF. Свертка линейного преобразования NEF-QVF также является NEF-QVF.
Пусть - свертка линейного преобразования X. Среднее значение Y равно . Дисперсия Y может быть записана в терминах функции дисперсии исходного NEF-QVF. Если исходный NEF-QVF имел функцию дисперсии
тогда новый NEF-QVF имеет функцию дисперсии
где
2. Пусть и являются независимыми NEF с одним и тем же параметром θ, и пусть . Тогда условное распределение с заданным имеет квадратичную дисперсию по тогда и только тогда, когда и являются NEF-QVF. Примерами таких условных распределений являются нормальное, биномиальное, бета, гипергеометрические и геометрические распределения, которые не все NEF-QVF.
3. NEF-QVF имеют сопряженные априорные распределения по μ в системе распределений Пирсона (также называемой распределением Пирсона, хотя система распределений Пирсона на самом деле является семейством распределений, а не единичным распределением.) Примерами сопряженных априорных распределений распределений NEF-QVF являются нормальный, гамма, обратная гамма, бета, F- и t-. раздачи. Опять же, не все эти конъюгированные приоры являются NEF-QVF.
4. Если имеет распределение NEF-QVF, а μ имеет сопряженное априорное распределение, то маржинальные распределения являются хорошо известными распределениями.
Эти свойства вместе с указанными выше обозначениями могут упростить вычисления в математической статистике, которые обычно выполняются с использованием сложных вычислений и вычислений.