Оценщик

редактировать

В статистике оценщик - это правило для вычисления оценки заданного количества. на основе наблюдаемых данных : таким образом различаются правило (оценка), интересующая величина (оценка и ) и ее результат (оценка).

Там - это точки и интервальные оценки. Точечные оценщики дают однозначные результаты, хотя это включает возможность однозначных векторных результатов и результатов, которые могут быть выражены как одна функция. Это контрастирует с оценкой интервала , где результатом будет диапазон возможных значений (или векторов, или функций).

Теория оценивания занимается свойствами оценок; то есть с определением свойств, которые можно использовать для сравнения разных оценок (разные правила создания оценок) для одного и того же количества на основе одних и тех же данных. Такие свойства можно использовать для определения наилучших правил использования в данных обстоятельствах. Однако в устойчивой статистике статистическая теория продолжает рассматривать баланс между наличием хороших свойств, если выполняются строго определенные допущения, и менее хорошими свойствами, которые сохраняются в более широких условиях.

Содержание

1 Предпосылки
2 Определение
3 Количественные характеристики
- 3.1 Ошибка
- 3.2 Среднеквадратичная ошибка
- 3.3 Отклонение выборки
- 3.4 Дисперсия
- 3.5 Смещение
- 3.6 Взаимосвязи между величинами
4 Поведенческие свойства
- 4.1 Согласованность
- 4.2 Асимптотическая нормальность
- 4.3 Эффективность
- 4.4 Устойчивость
5 См. Также
6 Примечания
7 Ссылки
8 Внешние ссылки

Справочная информация

«Оценка» или «точечная оценка » - это статистика (то есть функция данных), которая используется для вывода значения неизвестного параметра в статистической модели . Оцениваемый параметр иногда называют оценкой. Он может быть как конечномерным (в параметрических и полупараметрических моделях ), так и бесконечномерным (полупараметрическим и непараметрическим модели ). Если параметр обозначен как $θ {\ displaystyle \ theta}$ $\ theta$ , тогда оценка традиционно записывается добавлением циркумфлекса над символом: $θ ^ {\ displaystyle { \ widehat {\ theta}}}$ ${\ widehat {\ theta}}$ . Будучи функцией данных, оценщик сам по себе является случайной величиной ; конкретная реализация этой случайной величины называется «оценкой». Иногда слова «оценщик» и «оценка» используются как синонимы.

Определение практически не накладывает ограничений на то, какие функции данных можно назвать «оценочными». Об привлекательности различных оценщиков можно судить по их свойствам, таким как несмещенность, среднеквадратичная ошибка, согласованность, асимптотическое распределение и т. д. Построение и сравнение оценщиков являются предметами теории оценивания. В контексте теории принятия решений оценщик представляет собой тип правила принятия решения, и его эффективность может быть оценена с помощью функций потерь.

, когда слово " оценка "используется без классификатора, обычно это оценка баллов. Оценка в этом случае представляет собой единственную точку в пространстве параметров. Также существует другой тип оценки: интервальные оценки, где оценки являются подмножествами пространства параметров.

Проблема оценки плотности возникает в двух приложениях. Во-первых, при оценке функций плотности случайных величин и, во-вторых, при оценке функции спектральной плотности временного ряда . В этих задачах оценки - это функции, которые можно рассматривать как точечные оценки в бесконечномерном пространстве, и существуют соответствующие задачи интервального оценивания.

Определение

Предположим, что необходимо оценить фиксированный параметр $θ {\ displaystyle \ theta}$ $\ theta$ . Тогда «оценщик» - это функция, которая отображает пространство выборки на набор выборочных оценок. Оценка для $θ {\ displaystyle \ theta}$ $\ theta$ обычно обозначается символом $θ ^ {\ displaystyle {\ widehat {\ theta}}}$ ${\ widehat {\ theta}}$ . Часто удобно выражать теорию с помощью алгебры случайных величин : таким образом, если X используется для обозначения случайной величины, соответствующей наблюдаемым данным, оценка (сама рассматривается как случайная величина) символизируется как функция этой случайной величины, $θ ^ (X) {\ displaystyle {\ widehat {\ theta}} (X)}$ ${\ widehat {\ theta}} (X)$ . Оценка для конкретного значения наблюдаемых данных $x {\ displaystyle x}$ $x$ (т.е. для $X = x {\ displaystyle X = x}$ $X = x$ ) тогда $θ ^ (x) {\ displaystyle {\ widehat {\ theta}} (x)}$ ${\ widehat {\ theta}} (x)$ , которое является фиксированным значением. Часто используется сокращенная запись, в которой $θ ^ {\ displaystyle {\ widehat {\ theta}}}$ ${\ widehat {\ theta}}$ интерпретируется непосредственно как случайная величина, но это может вызвать путаницу.

Количественные характеристики

Следующие определения и атрибуты важны.

Ошибка

Для данного образца $x {\ displaystyle x}$ $x$ , «ошибка » оценщика $θ ^ {\ displaystyle {\ widehat {\ theta}}}$ ${\ widehat {\ theta}}$ определяется как

e (x) = θ ^ (x) - θ, {\ displaystyle e (x) = {\ widehat {\ theta}} (x) - \ theta,}

e (x) = {\ widehat {\ theta}} (x) - \ theta,

где $θ {\ displaystyle \ theta}$ $\ theta$ - оцениваемый параметр. Ошибка e зависит не только от средства оценки (формулы или процедуры оценки), но и от выборки.

Среднеквадратичная ошибка

Среднеквадратичная ошибка из $θ ^ {\ displaystyle {\ widehat {\ theta}}}$ ${\ widehat {\ theta}}$ равна определяется как ожидаемое значение (средневзвешенное значение по всем выборкам) квадратов ошибок; то есть

MSE ⁡ (θ ^) = E ⁡ [(θ ^ (X) - θ) 2]. {\ displaystyle \ operatorname {MSE} ({\ widehat {\ theta}}) = \ operatorname {E} [({\ widehat {\ theta}} (X) - \ theta) ^ {2}].}

\ operatorname {MSE} ({\ widehat {\ theta}}) = \ operatorname {E} [({\ widehat {\ theta}} (X) - \ theta) ^ {2}].

Он используется, чтобы указать, насколько в среднем набор оценок далек от единственного оцениваемого параметра. Рассмотрим следующую аналогию. Предположим, что параметр - это мишень, оценщик - это процесс стрельбы стрелами по цели, а отдельные стрелки - это оценки (выборки). Тогда высокая MSE означает, что среднее расстояние между стрелками от точки попадания является высоким, а низкая MSE означает, что среднее расстояние от точки попадания в точку является низким. Стрелки могут или не могут быть сгруппированы. Например, даже если все стрелки попадают в одну и ту же точку, но сильно не попадают в цель, MSE все равно относительно велика. Однако, если MSE относительно низка, то стрелки, вероятно, более сильно сгруппированы (чем сильно рассредоточены) вокруг цели.

Отклонение выборки

Для данной выборки $x {\ displaystyle x}$ $x$ отклонение выборки оценщика $θ ^ {\ displaystyle {\ widehat {\ theta}}}$ ${\ widehat {\ theta}}$ определяется как

d (x) = θ ^ (x) - E ⁡ (θ ^ (X)) = θ ^ (x) - E ⁡ (θ ^), {\ displaystyle d (x) = {\ widehat {\ theta}} (x) - \ operatorname {E} ({\ widehat {\ theta}} (X)) = {\ widehat {\ theta}} (Икс) - \ OperatorName {E} ({\ widehat {\ theta}}),}

d (x) = {\ widehat {\ theta}} (x) - \ operatorname {E} ({\ widehat {\ theta}} (X)) = {\ widehat {\ theta}} (x) - \ operatorname {E} ({\ widehat {\ theta}}),

где $E ⁡ (θ ^ (X)) {\ displaystyle \ operatorname {E} ({\ widehat { \ theta}} (X))}$ $\ operatorname {E} ({\ widehat {\ theta}} (X))$ - ожидаемое значение оценщика. Отклонение выборки d зависит не только от оценщика, но и от выборки.

Дисперсия

Дисперсия для $θ ^ {\ displaystyle {\ widehat {\ theta}}}$ ${\ widehat {\ theta}}$ - это просто ожидаемое значение квадратов выборочных отклонений; то есть $var ⁡ (θ ^) = E ⁡ [(θ ^ - E ⁡ [θ ^]) 2] {\ displaystyle \ operatorname {var} ({\ widehat {\ theta}}) = \ operatorname {E} [({\ widehat {\ theta}} - \ operatorname {E} [{\ widehat {\ theta}}]) ^ {2}]}$ ${\ displaystyle \ operatorname {var} ({\ widehat {\ theta}}) = \ operatorname {E} [({\ widehat {\ theta}} - \ operatorname {E} [{\ widehat {\ theta}}]) ^ {2}]}$ . Он используется, чтобы указать, насколько в среднем набор оценок далек от ожидаемого значения оценок. (Обратите внимание на разницу между MSE и дисперсией.) Если параметр является мишенью для цели, а стрелки являются оценками, то относительно высокая дисперсия означает, что стрелки рассеяны, а относительно низкая дисперсия означает, что стрелки сгруппированы. Даже если дисперсия низкая, группа стрелок все еще может быть далеко от цели, и даже если дисперсия высока, рассеянная совокупность стрелок все еще может быть несмещенной. Наконец, даже если все стрелы сильно не попадают в цель, но все же попадают в одну и ту же точку, дисперсия равна нулю.

Смещение

Смещение для $θ ^ {\ displaystyle {\ widehat {\ theta}}}$ ${\ widehat {\ theta}}$ определяется как $В (θ ^) знак равно Е ⁡ (θ ^) - θ {\ displaystyle B ({\ widehat {\ theta}}) = \ operatorname {E} ({\ widehat {\ theta}}) - \ theta}$ $B ({\ widehat {\ theta}}) = \ operatorname { E} ({\ widehat {\ theta}}) - \ theta$ . Это расстояние между средним значением набора оценок и единственным оцениваемым параметром. Смещение $θ ^ {\ displaystyle {\ widehat {\ theta}}}$ ${\ widehat {\ theta}}$ является функцией истинного значения $θ {\ displaystyle \ theta}$ $\ theta$ так что смещение $θ ^ {\ displaystyle {\ widehat {\ theta}}}$ ${\ widehat {\ theta}}$ равно $b {\ displaystyle b}$ $b$ означает, что для каждого $θ {\ displaystyle \ theta}$ $\ theta$ смещение $θ ^ {\ displaystyle {\ widehat {\ theta}}}$ ${\ widehat {\ theta}}$ равно $b {\ displaystyle b }$ $b$ .

Смещение также является ожидаемым значением ошибки, поскольку $E ⁡ (θ ^) - θ = E ⁡ (θ ^ - θ) {\ displaystyle \ operatorname {E} ({\ widehat {\ theta}}) - \ theta = \ operatorname {E} ({\ widehat {\ theta}} - \ theta)}$ $\ operatorname {E} ({\ widehat {\ theta}}) - \ theta = \ operatorname { E} ({\ widehat {\ theta}} - \ theta)$ . Если параметр соответствует цели, а стрелки являются оценочными, то относительно высокое абсолютное значение смещения означает, что среднее положение стрелок не соответствует цели, а относительно низкое абсолютное смещение означает среднее положение стрелки попадают в цель. Они могут быть рассредоточены или сгруппированы. Связь между смещением и дисперсией аналогична соотношению между точностью и точностью.

Оценка $θ ^ {\ displaystyle {\ widehat {\ theta}}}$ ${\ widehat {\ theta}}$ - это объективная оценка из $θ {\ displaystyle \ theta}$ $\ theta$ тогда и только тогда, когда $B (θ ^) = 0 {\ displaystyle B ({\ widehat {\ theta}}) = 0}$ $B (\ widehat {\ theta}) = 0$ . Смещение - это свойство оценщика, а не оценки. Часто люди ссылаются на «смещенную оценку» или «несмещенную оценку», но на самом деле они говорят об «оценке, полученной от смещенной оценки», или «оценке, полученной от несмещенной оценки». Кроме того, люди часто путают «ошибку» отдельной оценки с «систематической ошибкой» оценки. То, что ошибка для одной оценки велика, не означает, что оценка смещена. Фактически, даже если все оценки имеют астрономические абсолютные значения для своих ошибок, если ожидаемое значение ошибки равно нулю, оценка является несмещенной. Кроме того, смещение оценки не препятствует тому, чтобы ошибка оценки была равна нулю в конкретном случае. Идеальная ситуация - иметь беспристрастную оценку с низкой дисперсией, а также пытаться ограничить количество выборок, в которых ошибка является экстремальной (т. Е. Имеет мало выбросов). Однако непредвзятость не обязательна. Часто, если допускается лишь небольшое смещение, можно найти оценщик с более низким значением MSE и / или меньшим количеством оценок выборки с выбросами.

Альтернативой приведенной выше версии «несмещенная» является «несмещенная медиана», где медиана распределения оценок совпадает с истинным значением; таким образом, в долгосрочной перспективе половина оценок будет заниженной, а половина - завышенной. Хотя это применимо непосредственно только к скалярным оценкам, его можно распространить на любую меру центральной тенденции распределения: см. средне-несмещенные оценки.

Отношения между величинами

MSE, дисперсия и смещение связаны: $MSE ⁡ (θ ^) = var ⁡ (θ ^) + (B (θ ^)) 2, {\ displaystyle \ operatorname {MSE} ({\ widehat {\ theta}}) = \ operatorname {var} ({\ widehat {\ theta}}) + (B ({\ widehat {\ theta}})) ^ {2},}$ $\ operatorname {MSE} (\ widehat {\ theta}) = \ operatorname {var} (\ widehat \ theta) + (B (\ widehat {\ theta})) ^ 2,$ т.е. среднеквадратичная ошибка = дисперсия + квадрат смещения. В частности, для несмещенной оценки дисперсия равна MSE.
стандартное отклонение оценки $θ ^ {\ displaystyle {\ widehat {\ theta}}}$ ${\ widehat {\ theta}}$ из $θ {\ displaystyle \ theta}$ $\ theta$ (квадратный корень из дисперсии) или оценка стандартного отклонения оценщика $θ ^ {\ displaystyle {\ widehat {\ theta}}}$ ${\ widehat {\ theta}}$ из $θ {\ displaystyle \ theta}$ $\ theta$ , называется стандартной ошибкой $θ ^ {\ displaystyle {\ widehat {\ theta}}}$ ${\ widehat {\ theta}}$ .

Поведенческие свойства

Согласованность

Согласованная последовательность оценок - это последовательность оценок, которые сходятся с вероятностью к количеству, оцениваемому по мере того, как индекс (обычно размер выборки ) неограниченно растет. Другими словами, увеличение размера выборки увеличивает вероятность того, что оценка приближается к параметру генеральной совокупности.

Математически последовательность оценок {t n ; n ≥ 0} является согласованной оценкой для параметра θ тогда и только тогда, когда для всех ϵ>0, независимо от того, насколько мало, мы имеем

lim n → ∞ Pr {| t n - θ | < ϵ } = 1. {\displaystyle \lim _{n\to \infty }\Pr \left\{\left|t_{n}-\theta \right|<\epsilon \right\}=1.}

\ lim_ {n \ to \ infty} \ Pr \ left \ {\ left | t_n- \ theta \ right | <\ epsilon \ right \} = 1.

Определенную выше согласованность можно назвать слабой согласованностью. Последовательность является строго согласованной, если она почти наверняка сходится к истинному значению.

Оценщик, который сходится к кратному значению параметра, может быть преобразован в согласованный оценщик путем умножения оценщика на масштабный коэффициент, а именно истинное значение, деленное на асимптотическое значение оценщика.. Это часто случается при оценке параметров шкалы с помощью мер статистической дисперсии.

Асимптотической нормальности

Асимптотически нормальный оценщик является согласованной оценкой, распределение которой вокруг истинный параметр θ приближается к нормальному распределению со стандартным отклонением, уменьшающимся пропорционально $1 / n {\ displaystyle 1 / {\ sqrt {n}}}$ $1 / {\ sqrt {n}}$ в качестве размера выборки п растет. Используя $→ D {\ displaystyle {\ xrightarrow {D}}}$ $\ xrightarrow {D} $ для обозначения сходимости в распределении, t n является асимптотически нормальным если

n (tn - θ) → DN (0, V), {\ displaystyle {\ sqrt {n}} (t_ {n} - \ theta) {\ xrightarrow {D}} N (0, V),}

\ sqrt {n} (t_n - \ theta) \ xrightarrow {D} ​​N (0, V),

для некоторого V.

В этой формулировке V / n можно назвать асимптотической дисперсией оценки. Однако некоторые авторы также называют V асимптотической дисперсией. Обратите внимание, что сходимость не обязательно произойдет для любого конечного «n», поэтому это значение является только приближением к истинной дисперсии оценки, в то время как в пределе асимптотическая дисперсия (V / n) просто равна нулю. Чтобы быть более конкретным, распределение оценки t n слабо сходится к дельта-функции Дирака с центром в $θ {\ displaystyle \ theta}$ $\ theta$ .

The центральная предельная теорема подразумевает асимптотическую нормальность выборочного среднего $X ¯ {\ displaystyle {\ bar {X}}}$ ${\ bar {X}}$ как оценки истинного среднего. В более общем смысле, оценки максимального правдоподобия являются асимптотически нормальными при достаточно слабых условиях регулярности - см. Раздел асимптотики статьи о максимальном правдоподобии. Однако не все оценки асимптотически нормальны; простейшие примеры встречаются, когда истинное значение параметра лежит на границе допустимой области параметров.

Эффективность

Два естественно желательных свойства оценщиков заключаются в том, чтобы они были беспристрастными и имели минимальную среднеквадратичную ошибку (MSE). Как правило, они не могут быть удовлетворены одновременно: смещенная оценка может иметь более низкую среднеквадратичную ошибку (MSE), чем любая несмещенная оценка; см. смещение оценки.

Среди несмещенных оценок часто существует одна с наименьшей дисперсией, называемая несмещенной оценкой с минимальной дисперсией (MVUE ). В некоторых случаях существует несмещенная эффективная оценка, которая, помимо самой низкой дисперсии среди несмещенных оценок, удовлетворяет границе Крамера – Рао, которая является абсолютной нижней границей дисперсии для статистика переменной.

Относительно таких «наилучших несмещенных оценок» см. Также граница Крамера – Рао, теорема Гаусса – Маркова, теорема Лемана – Шеффе, Теорема Рао – Блэквелла.

Устойчивость

См. Также

Примечания

Ссылки

Большев, Логин Николаевич (2001) [1994], Математическая энциклопедия, EMS Press.
Джейнс, ET (2007), Теория вероятностей: логика наука (5 изд.), Cambridge University Press, ISBN 978-0-521-59271-0.
Косорок, Майкл (2008). Введение в эмпирические процессы и полупараметрический вывод. Серия Спрингера в статистике. Спрингер. DOI : 10.1007 / 978-0-387-74978-5. ISBN 978-0-387-74978-5.
Lehmann, E.L. ; Казелла, Г. (1998). Теория точечного оценивания (2-е изд.). Спрингер. ISBN 0-387-98502-6.
Шао, Цзюнь (1998), математическая статистика, Springer, ISBN 0- 387-98674-X

Внешние ссылки

Основы теории оценок