Локальная асимптотическая нормальность

редактировать

В статистике, локальная асимптотическая нормальность является свойством последовательность статистических моделей, которая позволяет асимптотически аппроксимировать эту последовательность моделью нормального местоположения после изменения масштаба параметра. Важным примером, когда выполняется локальная асимптотическая нормальность, является случай iid выборки из регулярной параметрической модели.

Понятие локальной асимптотической нормальности было введено Ле Камом (1960)..

Содержание

1 Определение
- 1.1 Пример
2 См. Также
- 2.1 Примечания
3 Ссылки

Определение

Последовательность параметрических статистических моделей {P n, θ : θ ∈ Θ} называется локально асимптотически нормальным (LAN) в θ, если существуют матрицы rnи I θ и случайный вектор Δ n, θ ~ N (0, I θ) такой, что для каждой сходящейся последовательности h n → h,

ln ⁡ d P n, θ + rn - 1 hnd P n, θ = h ′ Δ n, θ - 1 2 h ′ I θ h + o P n, θ (1), {\ displaystyle \ ln {\ frac {dP _ {\! n, \ theta + r_ {n} ^ {- 1} h_ {n}}} {dP_ {n, \ theta}}} = h '\ Delta _ {n, \ theta} - {\ frac {1} {2}} h'I _ {\ theta} \, h + o_ {P_ {n, \ theta}} (1),}

\ln \frac{dP_{\!n,\theta+r_n^{-1}h_n}}{dP_{n,\theta}} = h'\Delta_{n,\theta} - \frac12 h'I_\theta\,h + o_{P_{n,\theta}}(1),

где производная здесь является производной Радона – Никодима, которая является формализованной версией отношения правдоподобия, и где o - тип большого O в вероятностной нотации. Другими словами, местное отношение правдоподобия должно сходиться в распределении к нормальной случайной величине, среднее значение которой равно минус половине дисперсии:

ln ⁡ d P n, θ + rn - 1 hnd P n, θ → d N (- 1 2 h ′ I θ h, h ′ I θ h). {\ displaystyle \ ln {\ frac {dP _ {\! n, \ theta + r_ {n} ^ {- 1} h_ {n}}} {dP_ {n, \ theta}}} \ \ {\ xrightarrow {d }} \ \ {\ mathcal {N}} {\ Big (} {- {\ tfrac {1} {2}}} h'I _ {\ theta} \, h, \ h'I _ {\ theta} \, h {\ Big)}.}

\ln \frac{dP_{\!n,\theta+r_n^{-1}h_n}}{dP_{n,\theta}}\ \ \xrightarrow{d}\ \ \mathcal{N}\Big( {-\tfrac12} h'I_\theta\,h,\ h'I_\theta\,h\Big).

Последовательности распределений $P n, θ + rn - 1 hn {\ displaystyle P _ {\! n, \ theta + r_ {n} ^ {- 1} h_ { n}}}$ $P _ {\ ! n, \ theta + r_n ^ {- 1} h_n}$ и $P n, θ {\ displaystyle P_ {n, \ theta}}$ $P_{n,\theta}$ являются смежными.

Пример

Самый простой пример модели LAN - это модель iid, вероятность которой дважды непрерывно дифференцируема. Предположим, что {X 1, X 2,…, X n } - это образец идентификатора, где каждый X i имеет функцию плотности f (х, θ). Функция правдоподобия модели равна

p n, θ (x 1,…, x n; θ) = ∏ i = 1 n f (x i, θ). {\ displaystyle p_ {n, \ theta} (x_ {1}, \ ldots, x_ {n}; \, \ theta) = \ prod _ {i = 1} ^ {n} f (x_ {i}, \ theta).}

p_ {n, \ theta} (x_1, \ ldots, x_n; \, \ theta) = \ prod_ {i = 1} ^ nf (x_i, \ theta).

Если f дважды непрерывно дифференцируема по θ, то

ln ⁡ pn, θ + δ θ ≈ ln ⁡ pn, θ + δ θ ′ ∂ ln ⁡ pn, θ ∂ θ + 1 2 δ θ ′ ∂ 2 ln ⁡ pn, θ ∂ θ ∂ θ ′ δ θ = ln ⁡ pn, θ + δ θ ′ ∑ i = 1 n ∂ ln ⁡ f (xi, θ) ∂ θ + 1 2 δ θ ′ [∑ i = 1 n ∂ 2 ln ⁡ f (xi, θ) ∂ θ ∂ θ ′] δ θ. {\ Displaystyle {\ begin {выровнен} \ ln p_ {n, \ theta + \ delta \ theta} \ приблизительно \ ln p_ {n, \ theta} + \ delta \ theta '{\ frac {\ partial \ ln p_ {n, \ theta}} {\ partial \ theta}} + {\ frac {1} {2}} \ delta \ theta '{\ frac {\ partial ^ {2} \ ln p_ {n, \ theta}} {\ partial \ theta \, \ partial \ theta '}} \ delta \ theta \\ = \ ln p_ {n, \ theta} + \ delta \ theta' \ sum _ {i = 1} ^ {n} { \ frac {\ partial \ ln f (x_ {i}, \ theta)} {\ partial \ theta}} + {\ frac {1} {2}} \ delta \ theta '{\ bigg [} \ sum _ { i = 1} ^ {n} {\ frac {\ partial ^ {2} \ ln f (x_ {i}, \ theta)} {\ partial \ theta \, \ partial \ theta '}} {\ bigg]} \ delta \ theta. \ end {align}}}

\begin{align} \ln p_{n,\theta+\delta\theta} \approx \ln p_{n,\theta} + \delta\theta'\frac{\partial \ln p_{n,\theta}}{\partial\theta} + \frac12 \delta\theta' \frac{\partial^2 \ln p_{n,\theta}}{\partial\theta\,\partial\theta'} \delta\theta \\ = \ln p_{n,\theta} + \delta\theta' \sum_{i=1}^n\frac{\partial \ln f(x_i,\theta)}{\partial\theta} + \frac12 \delta\theta' \bigg[\sum_{i=1}^n\frac{\partial^2 \ln f(x_i,\theta)}{\partial\theta\,\partial\theta'} \bigg]\delta\theta. \end{align}

Подключение $δ θ = h / n {\ displaystyle \ delta \ theta = h / {\ sqrt {n}}}$ ${\ displaystyle \ delta \ theta = h / {\ sqrt {n}}}$ , дает

ln ⁡ pn, θ + h / npn, θ = h ′ (1 n ∑ i = 1 n ∂ ln ⁡ f (xi, θ) ∂ θ) - 1 2 h ′ (1 n ∑ i = 1 n - ∂ 2 ln ⁡ f (xi, θ) ∂ θ ∂ θ ′) h + op (1). {\ displaystyle \ ln {\ frac {p_ {n, \ theta + h / {\ sqrt {n}}}} {p_ {n, \ theta}}} = h '{\ Bigg (} {\ frac {1 } {\ sqrt {n}}} \ sum _ {i = 1} ^ {n} {\ frac {\ partial \ ln f (x_ {i}, \ theta)} {\ partial \ theta}} {\ Bigg)} \; - \; {\ frac {1} {2}} h '{\ Bigg (} {\ frac {1} {n}} \ sum _ {i = 1} ^ {n} - {\ frac {\ partial ^ {2} \ ln f (x_ {i}, \ theta)} {\ partial \ theta \, \ partial \ theta '}} {\ Bigg)} h \; + \; o_ {p} ( 1).}

\ln \frac{p_{n,\theta+h/\sqrt{n}}}{p_{n,\theta}} = h' \Bigg(\frac{1}{\sqrt{n}} \sum_{i=1}^n\frac{\partial \ln f(x_i,\theta)}{\partial\theta}\Bigg) \;-\; \frac12 h' \Bigg( \frac1n \sum_{i=1}^n - \frac{\partial^2 \ln f(x_i,\theta)}{\partial\theta\,\partial\theta'} \Bigg) h \;+\; o_p(1).

Согласно центральной предельной теореме, первый член (в скобках) сходится по распределению к нормальной случайной величине Δ θ ~ N (0, I θ), тогда как по закону больших чисел выражение во вторых скобках сходится по вероятности к I θ, которое является информационной матрицей Фишера :

I θ = E [- ∂ 2 ln ⁡ f (X i, θ) ∂ θ ∂ θ ′] = E [(∂ ln ⁡ f (X i, θ) ∂ θ) (∂ ln ⁡ f (X i, θ) ∂ θ) ′]. {\ Displaystyle I _ {\ theta} = \ mathrm {E} {\ bigg [} {- {\ frac {\ partial ^ {2} \ ln f (X_ {i}, \ theta)} {\ partial \ theta \, \ partial \ theta '}}} {\ bigg]} = \ mathrm {E} {\ bigg [} {\ bigg (} {\ frac {\ partial \ ln f (X_ {i}, \ theta)} { \ partial \ theta}} {\ bigg)} {\ bigg (} {\ frac {\ partial \ ln f (X_ {i}, \ theta)} {\ partial \ theta}} {\ bigg)} '\, {\ bigg]}.}

I_\theta = \mathrm{E}\bigg[{- \frac{\partial^2 \ln f(X_i,\theta)}{\partial\theta\,\partial\theta'}}\bigg] = \mathrm{E}\bigg[\bigg(\frac{\partial \ln f(X_i,\theta)}{\partial\theta}\bigg)\bigg(\frac{\partial \ln f(X_i,\theta)}{\partial\theta}\bigg)'\,\bigg].

Таким образом, определение локальной асимптотической нормальности выполнено, и мы подтвердили, что параметрическая модель с iid наблюдениями и дважды непрерывно дифференцируемым правдоподобием обладает свойством LAN.

См. Также

Асимптотическое распределение

Примечания

Ссылки