Эффективность (статистика)

редактировать

Показатель качества статистического метода

При сравнении различных статистических процедур, эффективность - это мера качества оценщика, экспериментального плана или процедуры проверки гипотез. По сути, более эффективный оценщик, эксперимент или тест требует меньшего количества наблюдений, чем менее эффективный для достижения заданной производительности. Эта статья в первую очередь посвящена эффективности оценщиков.

Относительная эффективность двух процедур - это соотношение их эффективностей, хотя часто это понятие используется, когда проводится сравнение между данной процедурой и условной «наилучшей возможной» процедурой. Эффективность и относительная эффективность двух процедур теоретически зависят от размера выборки, доступной для данной процедуры, но часто можно использовать асимптотическую относительную эффективность (определяемую как предел относительной эффективности в качестве выборки размер растет) в качестве основной меры сравнения.

Эффективный оценщик характеризуется небольшой дисперсией или среднеквадратичной ошибкой, что указывает на небольшое отклонение между оценочным значением и «истинным» значением.

Содержание

1 Оценщики
- 1.1 Эффективные оценщики
- 1.2 Асимптотическая эффективность
  - 1.2.1 Пример: Медиана
- 1.3 Доминантные оценщики
- 1.4 Относительная эффективность
  - 1.4.1 Оценщики среднее значение uid переменные
- 1,5 Устойчивость
- 1,6 Использование неэффективных оценщиков
- 1,7 Эффективность в статистике
2 Проверка гипотез
3 План эксперимента
4 Примечания
5 Ссылки

Оценщики

Эффективность беспристрастной оценки, T, параметра θ определяется как

e (T) = 1 / I (θ) var (T) {\ displaystyle e (T) = {\ frac {1 / {\ mathcal {I}} (\ theta)} {\ mathrm {var} (T)}}}

e (T) = \ frac {1 / \ mathcal {I} (\ theta)} {\ mathrm {var} (T)}

где $I (θ) {\ displaystyle {\ mathcal {I}} (\ theta)}$ $\ mathcal {I} (\ theta)$ - это информация Фишера выборки. Таким образом, e (T) - это минимально возможная дисперсия для несмещенной оценки, деленная на ее фактическую дисперсию. Граница Крамера – Рао может использоваться, чтобы доказать, что e (T) ≤ 1.

Эффективные оценки

В общем, разброс оценки вокруг параметра θ является мерой эффективности и производительности оценщика. Эту производительность можно рассчитать, найдя среднеквадратичную ошибку:

Пусть T будет оценкой для параметра θ. Среднеквадратичная ошибка T - это значение $MSE (T) = E [(T - θ) 2] {\ displaystyle MSE (T) = E [(T- \ theta) ^ {2}]}$ ${\ displaystyle MSE (T) = E [(T- \ theta) ^ { 2}]}$ .

Здесь

MSE (T) = E [(T - θ) 2] = E [(T - E [T] + E [T] - θ) 2] = E [(T - E [T]) 2] + 2 E [T - E [T]] (E [T] - θ) + (E [T] - θ)) 2 = V ar (T) + (E [T] - θ) 2 { \ Displaystyle MSE (T) = E [(T- \ theta) ^ {2}] = E [(TE [T] + E [T] - \ theta) ^ {2}] = E [(TE [T]) ^ {2}] + 2E [TE [T]] (E [T] - \ theta) + (E [T] - \ theta)) ^ {2} = Var (T) + (E [T] - \ theta) ^ {2}}

{\ displaystyle MSE (T) = E [(T- \ theta) ^ {2}] = E [(TE [T] + E [T ] - \ theta) ^ {2}] = E [(TE [T]) ^ {2}] + 2E [TE [T]] (E [T] - \ theta) + (E [T] - \ theta)) ^ {2} = Var (T) + (E [T] - \ theta) ^ {2}}

Следовательно, средство оценки T 1 работает лучше, чем средство оценки T 2, если $MSE (T 1) < M S E ( T 2) {\displaystyle MSE(T_{1})$ ${\ displaystyle MSE (T_ {1}) <MSE (T_ {2})}$ .

Для в более конкретном случае, если T 1 и T 2 являются двумя несмещенными оценками для одного и того же параметра θ, тогда дисперсия может сравниваться для определения производительности.

T2более эффективен, чем T 1, если дисперсия T 2 меньше дисперсии T 1, то есть $V ar (T 1)>V ar (T 2) {\ displaystyle Var (T_ {1})>Var (T_ {2})}$ $Var(T_{1})>Var (T_ {2})$ для всех значений θ.

Это соотношение может быть определено путем упрощения приведенного выше более общего случая для среднеквадратичной ошибки. Поскольку ожидаемое значение несмещенной оценки равно значению параметра, $E [T] = θ {\ displaystyle E [T] = \ theta}$ ${\ displaystyle E [T] = \ theta}$ .

Следовательно, $MSE (T) = V ar (T) {\ displaystyle MSE (T) = Var (T)}$ ${\ displayst yle MSE (T) = Var (T)}$ как $(E [T] - θ) 2 {\ displaystyle (E [T] - \ theta) ^ {2}}$ ${\ displaystyle (E [T] - \ theta) ^ {2}}$ член перестает быть равным 0.

Если несмещенная оценка из параметр θ достигает $e (T) = 1 {\ displaystyle e (T) = 1}$ $e (T) = 1$ для всех значений параметра, тогда вызывается оценка

Эквивалентно, оценка достигает равенства в неравенстве Крамера – Рао для всех θ. Нижняя граница Крамера – Рао - это нижняя граница дисперсии несмещенной оценки, представляющая «лучшее», чем может быть несмещенная оценка.

Эффективным оценщиком также является несмещенный оценщик с минимальной дисперсией (MVUE). Это связано с тем, что эффективный оценщик поддерживает равенство неравенства Крамера – Рао для всех значений параметров, что означает, что он достигает минимальной дисперсии для всех параметров (определение MVUE). Оценщик MVUE, даже если он существует, не обязательно эффективен, потому что «минимум» не означает, что равенство выполняется на неравенстве Крамера – Рао.

Таким образом, нет необходимости в эффективном оценщике, но если он существует, то это MVUE.

Асимптотическая эффективность

Некоторые оценщики могут достигать эффективности асимптотически и поэтому называются асимптотически эффективными оценщиками. Это может иметь место для некоторых оценок максимального правдоподобия или для любых оценок, которые асимптотически достигают равенства границы Крамера – Рао.

Пример: медиана

Рассмотрим выборку размером $N {\ displaystyle N}$ $N$ , взятую из нормального распределения среднего $μ {\ displaystyle \ mu}$ $\ mu$ и единица дисперсии, то есть $X n ∼ N (μ, 1). {\ displaystyle X_ {n} \ sim {\ mathcal {N}} (\ mu, 1).}$ $X_n \ sim \ mathcal {N} (\ mu, 1).$

выборочное среднее, $X ¯ {\ displaystyle {\ overline {X }}}$ ${\ overline {X}}$ из выборки $X 1, X 2,…, XN {\ displaystyle X_ {1}, X_ {2}, \ ldots, X_ {N}}$ $X_1, X_2, \ ldots, X_N$ , определяемый как

X ¯ = 1 N ∑ n = 1 NX n ∼ N (μ, 1 N). {\ displaystyle {\ overline {X}} = {\ frac {1} {N}} \ sum _ {n = 1} ^ {N} X_ {n} \ sim {\ mathcal {N}} \ left (\ mu, {\ frac {1} {N}} \ right).}

\ overline {X} = \ frac {1} {N} \ sum_ {n = 1} ^ {N} X_n \ sim \ mathcal {N} \ left ( \ mu, \ frac {1} {N} \ right).

Дисперсия среднего, 1 / N (квадрат стандартной ошибки ) равна обратной величине Информация Фишера из выборки и, следовательно, согласно неравенству Крамера – Рао, выборочное среднее является эффективным в том смысле, что его эффективность равна единице (100%).

Теперь рассмотрим выборку медианы, $X ~ {\ displaystyle {\ widetilde {X}}}$ $\widetilde{X}$ . Это несмещенная и согласованная оценка для $μ {\ displaystyle \ mu}$ $\ mu$ . Для большого $N {\ displaystyle N}$ $N$ медиана выборки приблизительно нормально распределенная со средним $μ {\ displaystyle \ mu}$ $\ mu$ и дисперсией $π / 2 N, {\ displaystyle {\ pi} / {2N},}$ ${\ pi} / {2N},$

X ~ ∼ N (μ, π 2 N). {\ displaystyle {\ widetilde {X}} \ sim {\ mathcal {N}} \ left (\ mu, {\ frac {\ pi} {2N}} \ right).}

{\ displaystyle {\ widetilde {X}} \ sim {\ mathcal {N }} \ left (\ mu, {\ frac {\ pi} {2N}} \ right).}

Эффективность медианы для большой $N {\ displaystyle N}$ $N$ , таким образом,

e (X ~) = (1 N) (π 2 N) - 1 = 2 / π ≈ 0,64. {\ displaystyle e \ left ({\ widetilde {X}} \ right) = \ left ({\ frac {1} {N}} \ right) \ left ({\ frac {\ pi} {2N}} \ right) ^ {- 1} = 2 / \ pi \ приблизительно 0,64.}

{\ displaystyle e \ left ({\ widetilde {X}} \ right) = \ left ({\ frac {1} {N}} \ right) \ left ({\ frac {\ pi } {2N}} \ right) ^ {- 1} = 2 / \ pi \ приблизительно 0,64.}

Другими словами, относительная дисперсия медианы будет $π / 2 ≈ 1,57 {\ displaystyle \ pi / 2 \ приблизительно 1,57}$ ${ \ displaystyle \ pi / 2 \ приблизительно 1,57}$ , или на 57% больше, чем дисперсия среднего - стандартная ошибка медианы будет на 25% больше, чем средняя.

Обратите внимание, что это асимптотика эффективность - то есть эффективность в пределе, когда размер выборки $N {\ displaystyle N}$ $N$ стремится к бесконечности. Для конечных значений $N, {\ displaystyle N,}$ $N,$ эффективность выше, чем это (например, размер выборки 3 дает эффективность около 74%).

Таким образом, выборочное среднее более эффективно, чем выборочное среднее в этом примере. Однако могут быть критерии, по которым медиана работает лучше. Например, медиана гораздо более устойчива к выбросам, поэтому, если гауссовская модель сомнительна или приблизительна, может быть преимущество использования медианы (см. Надежная статистика ).

Доминантные оценки

Если $T 1 {\ displaystyle T_ {1}}$ $T_ {1}$ и $T 2 {\ displaystyle T_ {2}}$ $T_ {2}$ являются оценками для параметра $θ {\ displaystyle \ theta}$ $\ theta$ , тогда $T 1 {\ displaystyle T_ {1}}$ $T_ {1}$ называется доминировать $T 2 {\ displaystyle T_ {2}}$ $T_ {2}$ , если:

его среднеквадратичная ошибка (MSE) меньше по крайней мере для некоторого значения из $θ {\ displaystyle \ theta}$ $\ theta$
MSE не превышает MSE $T 2 {\ displaystyle T_ {2}}$ $T_ {2}$ для любого значения θ.

Формально, $T 1 {\ displaystyle T_ {1}}$ $T_ {1}$ доминирует $T 2 {\ displaystyle T_ {2}}$ $T_ {2}$ , если

E ⁡ [(T 1 - θ) 2] ≤ E ⁡ [(T 2 - θ) 2] {\ displaystyle \ operatorname {E} [(T_ {1} - \ theta) ^ {2}] \ leq \ operatorname {E} [(T_ {2} - \ theta) ^ {2}]}

{\ displaystyle \ operatorname {E} [(T_ {1} - \ theta) ^ {2}] \ leq \ operatorname {E} [(T_ {2} - \ theta) ^ {2}]}

выполняется для всех $θ {\ displaystyle \ theta}$ $\ theta$ , где где-то соблюдается строгое неравенство.

Относительная эффективность

Относительная эффективность двух устройств оценки определяется как

e (T 1, T 2) = E ⁡ [(T 2 - θ) 2] E ⁡ [( T 1 - θ) 2] = var ⁡ (T 2) var ⁡ (T 1) {\ displaystyle e (T_ {1}, T_ {2}) = {\ frac {\ operatorname {E} [(T_ {2 } - \ theta) ^ {2}]} {\ operatorname {E} [(T_ {1} - \ theta) ^ {2}]}} = {\ frac {\ operatorname {var} (T_ {2}) } {\ operatorname {var} (T_ {1})}}}

{\ displaystyle e (T_ {1}, T_ {2}) = {\ frac {\ operatorname {E} [(T_ {2} - \ theta) ^ {2}]} {\ operatorname {E} [(T_ {1} - \ theta) ^ {2 }]}} = {\ frac {\ operatorname {var} (T_ {2})} {\ operatorname {var} (T_ {1})}}}

Хотя $e {\ displaystyle e}$ $e$ обычно является функцией $θ {\ displaystyle \ theta }$ $\ theta$ , во многих случаях зависимость выпадает; если это так, то $e {\ displaystyle e}$ $e$ больше единицы означает, что $T 1 {\ displaystyle T_ {1}}$ $T_ {1}$ предпочтительнее, независимо от того, истинное значение $θ {\ displaystyle \ theta}$ $\ theta$ .

Альтернативой относительной эффективности для сравнения оценок является критерий близости Питмана. Это заменяет сравнение среднеквадратических ошибок сравнением того, как часто один оценщик дает оценки, более близкие к истинному значению, чем другой оценщик.

Оценки среднего u.i.d. переменные

При оценке среднего некоррелированных, одинаково распределенных переменных мы можем воспользоваться тем фактом, что дисперсия суммы представляет собой сумму дисперсий. В этом случае эффективность можно определить как квадрат коэффициента вариации, т. Е.

e ≡ (σ μ) 2 {\ displaystyle e \ Equiv \ left ({\ frac {\ sigma} {\ mu}} \ right) ^ {2}}

{\ displaystyle e \ Equiv \ left ({\ frac {\ sigma} {\ mu}} \ right) ^ {2}}

ПРИМЕЧАНИЕ: это перевернуто? Требует объяснения.

Таким образом, относительную эффективность двух таких оценщиков можно интерпретировать как относительный размер выборки одного, необходимый для обеспечения достоверности другого. Доказательство:

e 1 e 2 = s 1 2 s 2 2. {\ displaystyle {\ frac {e_ {1}} {e_ {2}}} = {\ frac {s_ {1} ^ {2}} {s_ {2} ^ {2}}}.}

{\ displaystyle {\ frac {e_ {1}} {e_ {2}}} = {\ frac {s_ {1} ^ {2}} {s_ {2} ^ {2}}}.}

Сейчас потому что $s 1 2 = n 1 σ 2, s 2 2 = n 2 σ 2 {\ displaystyle s_ {1} ^ {2} = n_ {1} \ sigma ^ {2}, \, s_ {2} ^ {2} = n_ {2} \ sigma ^ {2}}$ $s_1 ^ 2 = n_1 \ sigma ^ 2, \, s_2 ^ 2 = n_2 \ sigma ^ 2$ мы имеем $e 1 e 2 = n 1 n 2 {\ displaystyle {\ frac {e_ {1}} {e_ {2}}} = {\ frac {n_ {1}} {n_ {2}}}}$ ${\ displaystyle {\ frac {e_ {1}} {e_ {2}}} = {\ frac {n_ {1}} {n_ {2}}}}$ , поэтому относительная эффективность выражает относительный размер выборки первого оценщика, необходимый для соответствия дисперсии второй.

Устойчивость

Эффективность оценщика может значительно измениться при изменении распределения, часто снижаясь. Это одна из мотиваций надежной статистики - такая оценка, как выборочное среднее, является, например, эффективной оценкой генерального среднего нормального распределения, но может быть неэффективной оценкой смешанное распределение двух нормальных распределений с одинаковым средним и разными дисперсиями. Например, если распределение представляет собой комбинацию 98% N (μ, σ) и 2% N (μ, 10σ), наличие экстремальных значений из последнего распределения (часто «загрязняющих выбросов») значительно снижает эффективность выборочное среднее как оценка μ. Напротив, усеченное среднее менее эффективно для нормального распределения, но более устойчиво (менее подвержено влиянию) изменений в распределении и, таким образом, может быть более эффективным для смешанного распределения. Точно так же форма распределения, такая как асимметрия или тяжелые хвосты, может значительно снизить эффективность оценок, которые предполагают симметричное распределение или тонкие хвосты.

Использование неэффективных оценщиков

Хотя эффективность является желаемым качеством оценщика, ее необходимо сравнивать с другими соображениями, и оценщик, который эффективен для определенных распределений, вполне может быть неэффективным для других распределений.. Наиболее важно то, что оценки, которые эффективны для чистых данных из простого распределения, такого как нормальное распределение (которое является симметричным, одномодальным и имеет тонкие хвосты), могут быть не устойчивыми к загрязнению выбросами и могут быть неэффективными для более сложных распределений. В устойчивой статистике больше внимания уделяется надежности и применимости к большому количеству распределений, а не эффективности для одного распределения. M-оценки - это общий класс решений, мотивированных этими проблемами, обеспечивающих как надежность, так и высокую относительную эффективность, хотя в некоторых случаях, возможно, более низкую эффективность, чем традиционные оценки. Однако они потенциально очень сложны в вычислительном отношении.

Более традиционной альтернативой являются L-оценки, которые представляют собой очень простые статистические данные, которые легко вычислить и интерпретировать, во многих случаях надежные и часто достаточно эффективные для начальных оценок. См. применение L-оценок для дальнейшего обсуждения.

Эффективность в статистике

Эффективность в статистике важна, потому что они позволяют сравнивать эффективность различных оценщиков. Хотя несмещенная оценка обычно предпочтительнее, чем смещенная, более эффективная смещенная оценка иногда может быть более ценной, чем менее эффективная несмещенная оценка. Например, это может произойти, когда значения смещенной оценки собираются вокруг числа, более близкого к истинному значению. Таким образом, эффективность оценщика можно легко предсказать, сравнив их среднеквадратичные ошибки или дисперсии.

Проверка гипотез

Для сравнения критериев значимости может быть определена значимая мера эффективности на основе размера выборки, необходимой для того, чтобы тест мог выполнить поставленную задачу мощность.

и эффективность Бахадура (или) относятся к сравнению эффективности процедур статистической проверки гипотез. Энциклопедия математики дает краткое изложение этих трех критериев.

Дизайн эксперимента

Для экспериментальных планов эффективность связана со способностью дизайна достичь цели исследования с минимальными затратами ресурсов, таких как время и деньги. В простых случаях относительная эффективность планов может быть выражена как отношение размеров выборки, необходимых для достижения поставленной цели.