Эффективная оценка

редактировать

Понятия «наилучшего» статистического оценщика

В статистике эффективным оценщиком является Оценщик, который оценивает интересующее количество некоторым «наилучшим возможным» способом. Понятие «наилучшего из возможных» основывается на выборе конкретной функции потерь - функции, которая количественно определяет относительную степень нежелательности ошибок оценки разной величины. Чаще всего выбирается функция потерь квадратичная, что дает среднеквадратичную ошибку критерий оптимальности.

Содержание

1 Эффективность по конечной выборке
- 1.1 Пример
2 Относительная эффективность
3 Асимптотическая эффективность
4 См. Также
5 Ссылки
6 Дополнительная литература

Эффективность конечной выборки

Предположим {P θ | θ ∈ Θ} - это параметрическая модель, а X = (X 1,…, X n) - данные, выбранные из этой модели. Пусть T = T (X) будет оценкой для параметра θ. Если эта оценка несмещена (то есть E [T] = θ), то неравенство Крамера – Рао утверждает, что дисперсия этой оценки ограничена ниже:

Var ⁡ [T] ≥ I θ - 1, {\ displaystyle \ operatorname {Var} [\, T \,] \ \ geq \ {\ mathcal {I}} _ {\ theta} ^ {- 1},}

\ operatorname {Var} [\, T \,] \ \ geq \ {\ mathcal {I} } _ {\ theta} ^ {{- 1}},

где $I θ {\ displaystyle \ scriptstyle {\ mathcal {I}} _ {\ theta}}$ $\ scriptstyle {\ mathcal {I}} _ {\ theta}$ - информационная матрица Фишера модель в точке θ. Обычно дисперсия измеряет степень разброса случайной величины вокруг ее среднего значения. Таким образом, оценщики с небольшими отклонениями более концентрированы, они более точно оценивают параметры. Мы говорим, что оценка является эффективной оценкой с конечной выборкой (в классе несмещенных оценок), если она достигает нижней границы в неравенстве Крамера – Рао, приведенном выше, для всех θ ∈ Θ. Эффективные оценщики всегда несмещенные оценщики с минимальной дисперсией. Однако обратное неверно: существуют задачи точечной оценки, для которых несмещенная оценка с минимальной дисперсией неэффективна.

Исторически эффективность конечной выборки была ранним критерием оптимальности. Однако этот критерий имеет некоторые ограничения:

Эффективные оценки на основе конечной выборки крайне редки. Фактически, было доказано, что эффективное оценивание возможно только в экспоненциальном семействе и только для естественных параметров этого семейства.
Это понятие эффективности иногда ограничивается классом объективные оценщики. (Часто это не так.) Поскольку нет веских теоретических причин требовать, чтобы оценки были беспристрастными, это ограничение неудобно. Фактически, если мы используем среднеквадратичную ошибку в качестве критерия выбора, многие смещенные оценки будут немного превосходить «лучшие» несмещенные. Например, в многомерной статистике для измерения три или более несмещенная оценка, выборочное среднее, является недопустимым : независимо от результата, его эффективность хуже, чем, например, оценка Джеймса – Стейна.
Эффективность конечной выборки основана на дисперсии как критерии, по которому оцениваются оценки. Более общий подход заключается в использовании функций потерь, отличных от квадратичных, и в этом случае эффективность конечной выборки больше не может быть сформулирована.

Пример

Среди моделей, встречающихся на практике эффективные оценки существуют для: среднего μ нормального распределения (но не дисперсии σ), параметра λ распределения Пуассона, вероятности p в биномиальном или мультиномиальное распределение.

Рассмотрим модель нормального распределения с неизвестным средним, но известной дисперсией: {P θ = N (θ, σ) | θ ∈ R }. Данные состоят из n независимых и одинаково распределенных наблюдений из этой модели: X = (x 1,…, x n). Мы оцениваем параметр θ, используя выборочное среднее всех наблюдений:

T (X) = 1 n i = 1 n x i. {\ displaystyle T (X) = {\ frac {1} {n}} \ sum _ {i = 1} ^ {n} x_ {i} \.}

T (X) = {\ frac 1n} \ sum _ {{i = 1}} ^ {n} x_ {i} \.

Эта оценка имеет среднее значение θ и дисперсию σ / n, которое равно обратной величине информации Фишера из выборки. Таким образом, выборочное среднее - это эффективная оценка конечной выборки для среднего нормального распределения.

Относительная эффективность

Если $T 1 {\ displaystyle T_ {1}}$ $T_ {1}$ и $T 2 {\ displaystyle T_ {2}}$ $T_ {2}$ являются оценками для параметра $θ {\ displaystyle \ theta}$ $\ theta$ , тогда $T 1 {\ displaystyle T_ {1}}$ $T_ {1}$ считается доминировать $T 2 {\ displaystyle T_ {2}}$ $T_ {2}$ , если:

его среднеквадратичная ошибка (MSE) меньше хотя бы для некоторого значения из $θ {\ displaystyle \ theta}$ $\ theta$
MSE не превышает MSE $T 2 {\ displaystyle T_ {2}}$ $T_ {2}$ для любого значения θ.

Формально, $T 1 {\ displaystyle T_ {1}}$ $T_ {1}$ доминирует $T 2 {\ displaystyle T_ {2}}$ $T_ {2}$ , если

E [(T 1 - θ) 2] ≤ E [(T 2 - θ) 2] {\ displaystyle \ mathrm {E} \ left [(T_ {1} - \ theta) ^ {2} \ right] \ leq \ mathrm {E} \ left [(T_ {2} - \ theta) ^ {2} \ right]}

\ mathrm {E} \ left [(T_1 - \ theta) ^ 2 \ right] \ leq \ mathrm {E} \ left [(T_2- \ theta) ^ 2 \ right]

выполняется для всех $θ {\ displaystyle \ theta}$ $\ theta$ , где где-то выполняется строгое неравенство.

Относительная эффективность определяется как

e (T 1, T 2) = E [(T 2 - θ) 2] E [(T 1 - θ) 2] {\ displaystyle e (T_ {1}, T_ {2}) = {\ frac {\ mathrm {E} \ left [(T_ {2} - \ theta) ^ {2} \ right]} {\ mathrm {E} \ left [(T_ {1} - \ theta) ^ {2} \ right]}}}

e (T_1, T_2) = \ frac {\ mathrm {E} \ left [(T_2- \ theta) ^ 2 \ right]} {\ mathrm {E} \ left [(T_1- \ theta) ^ 2 \ right]}

Хотя $e {\ displaystyle e}$ $e$ , как правило, является функцией $θ {\ displaystyle \ theta}$ $\ theta$ , во многих случаях зависимость выпадает; если это так, то $e {\ displaystyle e}$ $e$ больше единицы означает, что $T 1 {\ displaystyle T_ {1}}$ $T_ {1}$ предпочтительнее, независимо от того, истинное значение $θ {\ displaystyle \ theta}$ $\ theta$ .

Асимптотическая эффективность

Для некоторых оценок они могут достигать эффективности асимптотически и поэтому называются асимптотически эффективные оценки. Это может иметь место для некоторых оценок максимального правдоподобия или любых оценок, которые асимптотически достигают равенства границы Крамера – Рао.

См. Также

Ссылки

Дополнительная литература

Lehmann, EL ; Казелла, Г. (1998). Теория точечного оценивания (2-е изд.). Springer. ISBN 0-387-98502-6.
; при содействии Р. Хамбёкера (1994). Параметрическая статистическая теория. Берлин: Вальтер де Грюйтер. ISBN 3-11-013863-8. MR 1291393.