Естественное экспоненциальное семейство

редактировать

В вероятности и статистике, естественное экспоненциальное семейство (NEF ) - это класс вероятностных распределений, который является частным случаем экспоненциального семейства (EF).

Содержание

  • 1 Определение
    • 1.1 Функция распределения вероятностей (PDF) для одномерного случая (скалярная область, скалярный параметр)
    • 1.2 Функция распределения вероятностей (PDF) для общего случая (многомерная область и / или параметр)
    • 1.3 Момент и производящая функция кумулянта
  • 2 Примеры
  • 3 Свойства
    • 3.1 Одномерный случай
    • 3.2 Многомерный случай
  • 4 Натуральные экспоненциальные семейства с квадратичными функциями дисперсии (NEF-QVF)
    • 4.1 Шесть NEF-QVF
    • 4.2 Свойства NEF-QVF
  • 5 Ссылки

Определение

Функция распределения вероятностей (PDF) для одномерного случая (скалярная область, скалярный параметр)

Естественные экспоненциальные семейства (NEF) являются подмножеством экспоненциальных семейств. NEF - это экспоненциальное семейство, в котором натуральный параметр η и естественная статистика T (x) идентичны. Распределение в экспоненциальном семействе с параметром θ может быть записано с помощью функции плотности вероятности (PDF)

f X (x ∣ θ) = h (x) exp ⁡ (η (θ) T (Икс) - A (θ)), {\ Displaystyle F_ {X} (х \ mid \ theta) = h (x) \ \ exp {\ Big (} \ \ eta (\ theta) T ( x) -A (\ theta) \ {\ Big)} \, \ !,}{\ displaystyle f_ {X} (x \ mid \ theta) = h (x) \ \ exp {\ Big (} \ \ eta (\ theta) T (x) -A (\ theta) \ {\ Big)} \, \ !,}

где h (x) {\ displaystyle h (x)}h (x) и A (θ) {\ displaystyle A (\ theta)}A (\ theta) - известные функции. Таким образом, распределение в естественном экспоненциальном семействе с параметром θ можно записать с помощью PDF

f X (x ∣ θ) = h (x) exp ⁡ (θ x - A (θ)). {\ displaystyle f_ {X} (x \ mid \ theta) = h (x) \ \ exp {\ Big (} \ \ theta xA (\ theta) \ {\ Big)} \, \!}{\ displaystyle f_ {X } (Икс \ середина \ тета) = час (х) \ ехр {\ Big (} \ \ theta xA (\ theta) \ {\ Big)} \, \ !.}

[Обратите внимание, что несколько иное обозначение используется создателем NEF, Карлом Моррисом. Моррис использует ω вместо η и ψ вместо A.]

Функция распределения вероятностей (PDF) для общего случая (многомерная область и / или параметр)

Предположим, что x ∈ X ⊆ R p {\ displaystyle \ mathbf {x} \ in {\ mathcal {X}} \ substeq \ mathbb {R} ^ {p}}\ mathbf {x} \ in {\ mathcal {X}} \ substeq \ mathbb {R} ^ {p} , тогда естественное экспоненциальное семейство порядка p имеет плотность или функция масс в форме:

е Икс (х ∣ θ) = h (x) exp ⁡ (θ T x - A (θ)), {\ displaystyle f_ {X} (\ mathbf {x} \ mid {\ boldsymbol {\ theta}}) = h (\ mathbf {x}) \ \ exp {\ Big (} {\ boldsymbol {\ theta}} ^ {\ rm {T}} \ mathbf {x} -A ( {\ boldsymbol {\ theta}}) \ {\ Big)} \, \ !,}{\ displaystyle f_ {X} (\ mathbf {x} \ mid {\ boldsymbol {\ theta}}) = h (\ mathbf {x}) \ \ exp {\ Big ( } {\ boldsymbol {\ theta}} ^ {\ rm {T}} \ mathbf {x} -A ({\ boldsymbol {\ theta}}) \ {\ Big)} \, \ !,}

где в данном случае параметр θ ∈ R p. {\ displaystyle {\ boldsymbol {\ theta}} \ in \ mathbb {R} ^ {p}.}{\ boldsymbol {\ theta}} \ in \ mathbb {R} ^ {p}.

Момент и производящая функция кумулянта

Член естественного экспоненциального семейства имеет момент производящая функция (MGF) вида

MX (t) = exp ⁡ (A (θ + t) - A (θ)). {\ Displaystyle M_ {X} (\ mathbf {t}) = \ exp {\ Big (} \ A ({\ boldsymbol {\ theta}} + \ mathbf {t}) -A ({\ boldsymbol {\ theta} }) \ {\ Big)} \,.}M_ {X} (\ mathbf {t}) = \ exp {\ Big (} \ A ({\ boldsymbol {\ theta}} + \ mathbf {t}) -A ({\ boldsymbol {\ theta}}) \ {\ Big)} \,.

кумулянтная производящая функция по определению является логарифмом MGF, поэтому это

KX (t) = A (θ + t) - А (θ). {\ displaystyle K_ {X} (\ mathbf {t}) = A ({\ boldsymbol {\ theta}} + \ mathbf {t}) -A ({\ boldsymbol {\ theta}}) \,.}K_ {X} (\ mathbf {t}) = A ({\ boldsymbol {\ theta}} + \ mathbf {t}) -A ({\ boldsymbol {\ theta}}) \,.

Примеры

Пять наиболее важных одномерных случаев:

Эти пять примеров - пуассоновское, биномиальное, отрицательный бином, нормальный и гамма - это специальное подмножество NEF, называемое NEF с квадратичной функцией отклонения (NEF-QVF), потому что дисперсию можно записать как квадратичную функцию от среднего. NEF-QVF обсуждаются ниже.

Распределения, такие как экспоненциальное, хи-квадрат, Рэлея, Вейбулла, Бернулли и геометрические распределения являются частными случаями указанных выше пяти распределений. Многие распространенные дистрибутивы являются либо NEF, либо могут быть связаны с NEF. Например: распределение хи-квадрат является частным случаем гамма-распределения. Распределение Бернулли - это биномиальное распределение с n = 1 испытанием. Экспоненциальное распределение - это гамма-распределение с параметром формы α = 1 (или k = 1). Каждое распределения Рэлея и Вейбулла может быть записано в терминах экспоненциального распределения.

Некоторые экспоненциальные распределения семейств не являются NEF. логнормальное и бета-распределение относятся к экспоненциальному семейству, но не к естественному экспоненциальному семейству.

Параметризация большинства вышеперечисленных распределений была написана иначе, чем параметризация, обычно используемая в учебниках и на указанных выше страницах. Например, приведенная выше параметризация отличается от параметризации в связанной статье в случае Пуассона. Две параметризации связаны следующим образом: θ = log ⁡ (λ) {\ displaystyle \ theta = \ log (\ lambda)}\ theta = \ log (\ lambda) , где λ - средний параметр, и поэтому плотность может быть записывается как

f (k; θ) = 1 k! ехр ⁡ (θ К - ехр ⁡ (θ)), {\ Displaystyle е (к; \ theta) = {\ frac {1} {k!}} \ exp {\ Big (} \ \ theta \ k- \ exp (\ theta) \ {\ Big)} \,}f (k; \ theta) = {\ frac {1 } {k!}} \ exp {\ Big (} \ \ theta \ k- \ exp (\ theta) \ {\ Big)} \,

для θ ∈ R {\ displaystyle \ theta \ in \ mathbb {R}}\ theta \ in \ mathbb {R} , поэтому

h (k) = 1 к!, и A (θ) = exp ⁡ (θ). {\ displaystyle h (k) = {\ frac {1} {k!}}, {\ text {and}} A (\ theta) = \ exp (\ theta) \.}{\ displaystyle h (k) = {\ frac {1} {k!}}, {\ Text {и }} A (\ theta) = \ exp (\ theta) \.}

Эта альтернативная параметризация может значительно упростить вычисления в математической статистике. Например, в байесовском выводе, апостериорное распределение вероятностей вычисляется как произведение двух распределений. Обычно этот расчет требует записи функций распределения вероятностей (PDF) и интегрирования; Однако с помощью приведенной выше параметризации этого расчета можно избежать. Вместо этого отношения между распределениями можно абстрагировать благодаря свойствам NEF, описанным ниже.

Примером многомерного случая является полиномиальное распределение с известным количеством испытаний.

Свойства

Свойства естественного экспоненциального семейства можно использовать для упрощения вычислений с использованием этих распределений.

Одномерный случай

1. Кумулянты NEF могут быть рассчитаны как производные от кумулянтной производящей функции NEF. N-я кумулянт - это n-я производная кумулянтной производящей функции по t, вычисленная при t = 0.

кумулянтная производящая функция равна

KX (t) = A (θ + t) - A (θ). {\ Displaystyle K_ {X} (t) = A (\ theta + t) -A (\ theta) \,.}K_ {X} (t) = A (\ theta + t) -A (\ theta) \,.

Первый кумулянт

κ 1 = K X ′ (t) | t = 0 = d d t A (θ + t) | т = 0. {\ displaystyle \ kappa _ {1} = K_ {X} '(t) {\ Big |} _ {t = 0} = \ left. {\ frac {d} {dt}} A (\ theta + t) \ right | _ {t = 0} \,.}{\displaystyle \kappa _{1}=K_{X}'(t){\Big |}_{t=0}=\left.{\frac {d}{dt}}A(\theta +t)\right|_{t=0}\,.}

Среднее значение - это первый момент и всегда равно первому кумулянту, поэтому

μ 1 = κ 1 = E ⁡ [X] = KX ′ (0) = A ′ (θ). {\ displaystyle \ mu _ {1} = \ kappa _ {1} = \ operatorname {E} [X] = K '_ {X} (0) = A' (\ theta) \,.}{\displaystyle \mu _{1}=\kappa _{1}=\operatorname {E} [X]=K'_{X}(0)=A'(\theta)\,.}

дисперсия всегда является вторым кумулянтом, и она всегда связана с первым и вторым моментами следующим образом:

Var ⁡ [X] = κ 2 = μ 2 - μ 1 2, {\ displaystyle \ operatorname {Var} [X] = \ kappa _ {2} = \ mu _ {2} - \ mu _ {1} ^ {2} \,,}{\ displaystyle \ operatorname {Var} [X] = \ kappa _ {2} = \ mu _ {2} - \ mu _ {1} ^ {2} \,,}

так, чтобы

Var ⁡ [X] = KX ″ (0) = A ″ (θ). {\ displaystyle \ operatorname {Var} [X] = K '' _ {X} (0) = A '' (\ theta) \,.}{\displaystyle \operatorname {Var} [X]=K''_{X}(0)=A''(\theta)\,.}

Аналогично, n-й кумулянт равен

κ n = A (п) (θ). {\ displaystyle \ kappa _ {n} = A ^ {(n)} (\ theta) \,.}{\ displaystyle \ kappa _ {n} = A ^ {(n)} (\ theta) \,.}

2. Естественные экспоненциальные семейства (NEF) закрываются при свертке.

Дано независимое одинаково распределенное (iid) X 1,…, X n {\ displaystyle X_ {1}, \ ldots, X_ {n}}X_ {1}, \ ldots, X_ {n} с распределением из NEF, тогда ∑ i = 1 n X i {\ displaystyle \ sum _ {i = 1} ^ {n} X_ {i} \, }\ sum _ {я = 1} ^ {n} X_ {i} \, - это NEF, но не обязательно оригинальный NEF. Это следует из свойств производящей функции кумулянта.

3. Дисперсионная функция для случайных величин с распределением NEF может быть записана в терминах среднего.

Var ⁡ (X) = V (μ). {\ displaystyle \ operatorname {Var} (X) = V (\ mu).}{\ displaystyle \ operatorname {Var} (X) = V (\ mu).}

4. Первые два момента распределения NEF однозначно определяют распределение внутри этого семейства распределений.

X ∼ NEF ⁡ [μ, V (μ)]. {\ displaystyle X \ sim \ operatorname {NEF} [\ mu, V (\ mu)].}{\ displaystyle X \ sim \ operatorname {NEF} [\ mu, V (\ mu)].}

Многомерный случай

В многомерном случае вектор среднего и ковариационная матрица равны

E ⁡ [X] = ∇ A (θ) и Cov ⁡ [X] = ∇ ∇ TA (θ), {\ displaystyle \ operatorname {E} [X] = \ nabla A ({\ boldsymbol {\ theta}}) { \ text {and}} \ operatorname {Cov} [X] = \ nabla \ nabla ^ {\ rm {T}} A ({\ boldsymbol {\ theta}}) \,,}{\ displaystyle \ operatorname {E} [X] = \ nabla A ({\ boldsymbol {\ theta}}) {\ text {and}} \ operatorname {Cov} [X] = \ nabla \ nabla ^ {\ rm {T}} A ({\ boldsymbol {\ theta}}) \,,}

где ∇ {\ displaystyle \ nabla}\ nabla - это градиент и ∇ ∇ T {\ displaystyle \ nabla \ nabla ^ {\ rm {T}}}\ nabla \ nabla ^ {\ rm {T} } является матрицей Гессе.

Естественные экспоненциальные семейства с квадратичными функциями дисперсии (NEF-QVF)

Частным случаем естественных экспоненциальных семейств являются семейства с квадратичными функциями дисперсии. Шесть NEF имеют квадратичные функции дисперсии (QVF), в которых дисперсия распределения может быть записана как квадратичная функция от среднего. Они называются NEF-QVF. Свойства этих распределений были впервые описаны Карлом Моррисом.

Var ⁡ (X) = V (μ) = ν 0 + ν 1 μ + ν 2 μ 2. {\ displaystyle \ operatorname {Var} (X) = V (\ mu) = \ nu _ {0} + \ nu _ {1} \ mu + \ nu _ {2} \ mu ^ {2}.}{\ displaystyle \ operatorname {Var} (X) = V (\ mu) = \ nu _ {0} + \ nu _ {1} \ mu + \ nu _ {2} \ mu ^ {2}.}

Шесть NEF-QVF

Шесть NEF-QVF записаны здесь с возрастающей сложностью взаимосвязи между дисперсией и средним значением.

1. Нормальное распределение с фиксированной дисперсией X ∼ N (μ, σ 2) {\ displaystyle X \ sim N (\ mu, \ sigma ^ {2})}{\ displaystyle X \ sim N (\ mu, \ sigma ^ {2})} - это NEF-QVF, потому что дисперсия постоянно. Дисперсию можно записать в виде Var ⁡ (X) = V (μ) = σ 2 {\ displaystyle \ operatorname {Var} (X) = V (\ mu) = \ sigma ^ {2}}{\ displaystyle \ operatorname {Var} ( Икс) = В (\ му) = \ сигма ^ {2}} , поэтому дисперсия является функцией среднего значения степени 0.

2. Распределение Пуассона X ∼ Пуассона ⁡ (μ) {\ displaystyle X \ sim \ operatorname {Poisson} (\ mu)}{\ displaystyle X \ sim \ operatorname {Poisson} (\ mu)} является NEF-QVF, потому что все распределения Пуассона имеют дисперсию, равную среднему Var ⁡ (X) = V (μ) = μ {\ displaystyle \ operatorname {Var} (X) = V (\ mu) = \ mu}{\ displaystyle \ OperatorName {Var} (X) = V (\ mu) = \ mu} , поэтому дисперсия является линейной функцией жадный.

3. Гамма-распределение X ∼ Gamma ⁡ (r, λ) {\ displaystyle X \ sim \ operatorname {Gamma} (r, \ lambda)}{\ Displaystyle X \ sim \ operatorname {Gamma} (r, \ lambda)} является NEF-QVF, потому что среднее значение гамма-распределения равно μ = r λ {\ displaystyle \ mu = r \ lambda}\ mu = r \ lambda , а дисперсия гамма-распределения равна Var ⁡ (X) = V (μ) = μ 2 / r {\ displaystyle \ operatorname {Var} (X) = V (\ mu) = \ mu ^ {2} / r}{ \ displaystyle \ operatorname {Var} (X) = V (\ mu) = \ mu ^ {2} / r} , поэтому дисперсия является квадратичной функцией среднего.

4. Биномиальное распределение X ∼ биномиальное ⁡ (n, p) {\ displaystyle X \ sim \ operatorname {Binomial} (n, p)}{\ displaystyle X \ sim \ operatorname {Binomial} (n, p)} является NEF-QVF, потому что среднее значение равно μ = np {\ displaystyle \ mu = np}\ mu = np , а дисперсия равна Var ⁡ (X) = np (1 - p) {\ displaystyle \ operatorname {Var} (X) = np (1 -p)}{\ displaystyle \ operatorname {Var } (X) = np (1-p)} который может быть записан в терминах среднего как V (X) = - np 2 + np = - μ 2 / n + μ. {\ Displaystyle V (X) = - np ^ {2} + np = - \ mu ^ {2} / n + \ mu.}V (X) = - np ^ {2} + np = - \ mu ^ {2} / n + \ mu.

5. Отрицательное биномиальное распределение X ∼ NegBin ⁡ (n, p) {\ displaystyle X \ sim \ operatorname {NegBin} (n, p)}{\ displaystyle X \ sim \ operatorname {NegBin} (n, p)} - это NEF-QVF, потому что среднее значение μ = np / (1 - p) {\ displaystyle \ mu = np / (1-p)}\ mu = np / (1-p) , а дисперсия составляет V (μ) = μ 2 / n + μ. {\ Displaystyle V (\ mu) = \ mu ^ {2} / n + \ mu.}В (\ му) = \ му ^ {2} / n + \ му.

6. Распределение (не очень известное), порожденное обобщенным распределением гиперболического секанса (NEF-GHS), имеет V (μ) = μ 2 / n + n {\ displaystyle V (\ mu) = \ mu ^ {2} / n + n}V (\ mu) = \ mu ^ {2} / п + n и μ>0. {\ displaystyle \ mu>0.}\mu>0.

Свойства NEF-QVF

Свойства NEF-QVF могут упростить вычисления с использованием этих распределений.

1. Естественные экспоненциальные семейства с квадратичными функциями дисперсии (NEF-QVF) замкнуты относительно сверток линейного преобразования. То есть свертка линейного преобразования NEF-QVF также является NEF-QVF, хотя и не обязательно исходной.

Дано независимое одинаково распределенное (iid) X 1,…, X n {\ displaystyle X_ {1}, \ ldots, X_ {n}}X_ {1}, \ ldots, X_ {n} с распределением из a NEF-QVF. Свертка линейного преобразования NEF-QVF также является NEF-QVF.

Пусть Y = ∑ i = 1 n (X i - b) / c {\ displaystyle Y = \ sum _ {i = 1} ^ {n} (X_ {i} -b) / c \,}Y = \ sum _ {i = 1} ^ {n} (X_ {i} -b) / c \, - свертка линейного преобразования X. Среднее значение Y равно μ ∗ = n (μ - b) / с {\ displaystyle \ mu ^ {*} = n (\ mu -b) / c \,}\ mu ^ {*} = п (\ mu -b) / c \, . Дисперсия Y может быть записана в терминах функции дисперсии исходного NEF-QVF. Если исходный NEF-QVF имел функцию дисперсии

Var ⁡ (X) = V (μ) = ν 0 + ν 1 μ + ν 2 μ 2, {\ displaystyle \ operatorname {Var} (X) = V (\ mu) = \ nu _ {0} + \ nu _ {1} \ mu + \ nu _ {2} \ mu ^ {2},}{\ d isplaystyle \ operatorname {Var} (X) = V (\ mu) = \ nu _ {0} + \ nu _ {1} \ mu + \ nu _ {2} \ mu ^ {2},}

тогда новый NEF-QVF имеет функцию дисперсии

Var ⁡ (Y) = V ∗ (μ ∗) = ν 0 ∗ + ν 1 ∗ μ + ν 2 ∗ μ 2, {\ displaystyle \ operatorname {Var} (Y) = V ^ {*} (\ mu ^ {*}) = \ nu _ {0} ^ {*} + \ nu _ {1} ^ {*} \ mu + \ nu _ {2} ^ {*} \ mu ^ {2},}{\ displaystyle \ имя оператора {Var} (Y) = V ^ {*} (\ mu ^ {*}) = \ nu _ {0} ^ {*} + \ nu _ {1} ^ {*} \ mu + \ nu _ { 2} ^ {*} \ mu ^ {2},}

где

ν 0 ∗ знак равно N V (b) / c 2, {\ displaystyle \ nu _ {0} ^ {*} = nV (b) / c ^ {2} \,,}\ nu _ {0} ^ {*} = nV (b) / c ^ {2} \,,
ν 1 ∗ = V '(Б) / с, {\ Displaystyle \ ню _ {1} ^ {*} = V' (б) / с \,,}\nu _{1}^{*}=V'(b)/c\,,
ν 2 * / п = ν 2 / п. {\ displaystyle \ nu _ {2} ^ {*} / n = \ nu _ {2} / n \,.}\ nu _ {2} ^ {*} / n = \ nu _ {2} / n \,.

2. Пусть X 1 {\ displaystyle X_ {1}}X_ {1} и X 2 {\ displaystyle X_ {2}}X_ {2} являются независимыми NEF с одним и тем же параметром θ, и пусть Y = X 1 + X 2 {\ Displaystyle Y = X_ {1} + X_ {2}}Y = X_ {1} + X_ {2} . Тогда условное распределение X 1 {\ displaystyle X_ {1}}X_ {1} с заданным Y {\ displaystyle Y}Y имеет квадратичную дисперсию по Y {\ displaystyle Y}Y тогда и только тогда, когда X 1 {\ displaystyle X_ {1}}X_ {1} и X 2 {\ displaystyle X_ {2}}X_ {2} являются NEF-QVF. Примерами таких условных распределений являются нормальное, биномиальное, бета, гипергеометрические и геометрические распределения, которые не все NEF-QVF.

3. NEF-QVF имеют сопряженные априорные распределения по μ в системе распределений Пирсона (также называемой распределением Пирсона, хотя система распределений Пирсона на самом деле является семейством распределений, а не единичным распределением.) Примерами сопряженных априорных распределений распределений NEF-QVF являются нормальный, гамма, обратная гамма, бета, F- и t-. раздачи. Опять же, не все эти конъюгированные приоры являются NEF-QVF.

4. Если X ∣ μ {\ displaystyle X \ mid \ mu}{\ displaystyle X \ mid \ mu} имеет распределение NEF-QVF, а μ имеет сопряженное априорное распределение, то маржинальные распределения являются хорошо известными распределениями.

Эти свойства вместе с указанными выше обозначениями могут упростить вычисления в математической статистике, которые обычно выполняются с использованием сложных вычислений и вычислений.

Ссылки

  • Моррис К. (1982) Естественные экспоненциальные семейства с квадратичными функциями дисперсии: статистическая теория. Департамент математики, Институт статистики Техасского университета, Остин.
Последняя правка сделана 2021-05-31 12:35:08
Содержание доступно по лицензии CC BY-SA 3.0 (если не указано иное).
Обратная связь: support@alphapedia.ru
Соглашение
О проекте