Экстремальная оценка

редактировать

В статистике и эконометрике, экстремальные оценки представляют собой широкий класс из оценок для параметрических моделей., которые вычисляются путем максимизации (или минимизации) определенной целевой функции, которая зависит от данных. Общая теория оценок экстремума была разработана Амемией (1985).

Содержание

1 Определение
2 Согласованность
3 Асимптотическая нормальность
4 Примеры
5 См. Также
6 Примечания
7 Ссылки

Определение

Оценщик $θ ^ {\ displaystyle \ scriptstyle {\ hat {\ theta}}}$ $\ scriptstyle {\ hat {\ theta}}$ называется оценка экстремума, если существует целевая функция $Q ^ n {\ displaystyle \ scriptstyle {\ hat {Q}} _ {n}}$ $\scriptstyle\hat{Q}_n$ такая, что

θ ^ = argmax θ ∈ Θ Q ^ N (θ), {\ displaystyle {\ hat {\ theta}} = {\ underset {\ theta \ in \ Theta} {\ operatorname {arg \; max}}} \ {\ widehat {Q }} _ {n} (\ theta),}

{\ displaystyle {\ hat { \ theta}} = {\ underset {\ theta \ in \ Theta} {\ operatorname {arg \; max}}} \ {\ widehat {Q}} _ {n} (\ theta),}

где Θ - пространство параметров. Иногда дается более слабое определение:

Q ^ n (θ ^) ≥ max θ ∈ Θ Q ^ n (θ) - op (1), {\ displaystyle {\ widehat {Q}} _ {n} ( {\ hat {\ theta}}) \ geq \ max _ {\ theta \ in \ Theta} \, {\ widehat {Q}} _ {n} (\ theta) -o_ {p} (1),}

\ widehat Q_n (\ hat \ theta) \ geq \ max _ {\ theta \ in \ Theta} \, \ widehat Q_n (\ theta) - o_p (1),

, где o p (1) - переменная , сходящаяся по вероятности к нулю. С этой модификацией $θ ^ {\ displaystyle \ scriptstyle {\ hat {\ theta}}}$ $\ scriptstyle {\ hat {\ theta}}$ не обязательно должен быть точным максимизатором целевой функции, просто быть достаточно близким к нему.

Теория экстремальных оценок не определяет, какой должна быть целевая функция. Существуют различные типы целевых функций, подходящие для разных моделей, и эта структура позволяет нам анализировать теоретические свойства таких оценок с единой точки зрения. Теория определяет только те свойства, которыми должна обладать целевая функция, и когда кто-то выбирает конкретную целевую функцию, он или она должны только убедиться, что эти свойства выполняются.

Согласованность

Когда пространство параметров Θ не компактно (Θ = ℝ в этом примере), то даже если целевая функция однозначно максимизируется при θ 0, этот максимум могут быть плохо разделены, и в этом случае оценка

θ ^ {\ displaystyle \ scriptscriptstyle {\ hat {\ theta}}}

\ scriptscriptstyle \ hat \ theta

не будет согласованной.

Если пространство параметров Θ компактно и существует ограничивающая функция Q 0 (θ) такая, что: $Q ^ n (θ) {\ displaystyle \ scriptstyle {\ hat {Q}} _ {n} (\ theta)}$ $\ scriptstyle \ hat {Q} _n (\ theta)$ сходится к Q 0 (θ) с вероятностью равномерно по Θ, а функция Q 0 (θ) является непрерывным и имеет уникальный максимум при θ = θ 0. Если эти условия выполняются, то $θ ^ {\ displaystyle \ scriptstyle {\ hat {\ theta}}}$ $\ scriptstyle {\ hat {\ theta}}$ является соответствующим для θ 0.

равномерная сходимость по вероятности $Q ^ n (θ) {\ displaystyle \ scriptstyle {\ hat {Q}} _ {n} (\ theta)}$ $\ scriptstyle \ hat {Q} _n (\ theta)$ означает, что

sup θ ∈ Θ | Q ^ n (θ) - Q 0 (θ) | → п 0. {\ Displaystyle \ sup _ {\ theta \ in \ Theta} {\ big |} {\ hat {Q}} _ {n} (\ theta) -Q_ {0} (\ theta) {\ big |} \ {\ xrightarrow {p}} \ 0.}

\ sup _ {\ theta \ in \ Theta} \ big | \ hat {Q} _n (\ theta) - Q_0 (\ theta) \ большой | \ \ xrightarrow {p} \ 0.

Требование компактности Θ можно заменить более слабым предположением, что максимум Q 0 хорошо разделен, т. е. не должно существовать никаких точек θ, удаленных от θ 0, но таких, чтобы Q 0 (θ) были близки к Q 0(θ0). Формально это означает, что для любой последовательности {θ i } такой, что Q 0(θi) → Q 0(θ0), должно быть верно, что θ i → θ 0.

Асимптотическая нормальность

Предполагая, что согласованность установлена и производные выборки $Q n {\ displaystyle Q_ {n}}$ $Q_{{n}}$ удовлетворяют некоторым другим условиям, оценка экстремума сходится к асимптотически Нормальное распределение

Примеры

При оценке максимального правдоподобия используется целевая функция
$Q ^ n (θ) = log ⁡ [∏ i = 1 nf (xi | θ)] = ∑ i Знак равно 1 N журнал ⁡ е (xi | θ), {\ displaystyle {\ hat {Q}} _ {n} (\ theta) = \ log \ left [\ prod _ {i = 1} ^ {n} f ( x_ {i} | \ theta) \ right] = \ sum _ {i = 1} ^ {n} \ log f (x_ {i} | \ theta),}$ ${\ displaystyle {\ hat {Q}} _ {n} (\ theta) = \ log \ left [\ prod _ {i = 1} ^ {n} f (x_ {i} | \ theta) \ right] = \ sum _ {i = 1} ^ {n} \ журнал е (x_ {i} | \ theta),}$
где f (· | θ) - функция плотности распределения, из которого берутся наблюдения. Эта целевая функция называется функцией логарифма правдоподобия.
Обобщенный метод моментов оценка определяется через целевую функцию
$Q ^ n (θ) = - (1 n ∑ i = 1 ng ( xi, θ)) ′ W ^ N (1 N ∑ I = 1 ng (xi, θ)), {\ displaystyle {\ hat {Q}} _ {n} (\ theta) = - {\ Bigg (} { \ frac {1} {n}} \ sum _ {i = 1} ^ {n} g (x_ {i}, \ theta) {\ Bigg)} '{\ hat {W}} _ {n} {\ Bigg (} {\ frac {1} {n}} \ sum _ {i = 1} ^ {n} g (x_ {i}, \ theta) {\ Bigg)},}$ $\hat{Q}_n(\theta) = - \Bigg(\frac1n\sum_{i=1}^n g(x_i,\theta)\Bigg)' \hat{W}_n \Bigg(\frac1n\sum_{i=1}^n g(x_i,\theta)\Bigg),$
где g (· | θ) - моментное условие модели.
Минимальное расстояние оценка

См. также

M-оценки

Примечания

Ссылки

Amemiya, Takeshi (1985). «Асимптотические свойства экстремальных оценок». Продвинутая эконометрика. Издательство Гарвардского университета. С. 105–158. ISBN 0-674-00560-0. CS1 maint: ref = harv (link )
Hayashi, Fumio (2000). «Экстремум Оценки ». Эконометрика. Princeton: Princeton University Press. Pp. 445–506. ISBN 0-691-01018-8.
Newey, Whitney K.; McFadden, Daniel (1994). «Оценка большой выборки и проверка гипотез». Handbook of Econometrics. IV . Elsevier Science. Pp. 2111–2245. doi : 10.1016 / S1573-4412 (05) 80005-4. ISBN 0-444-88766-0.