Относительное правдоподобие

редактировать

Предположим, что в статистике нам предоставлены некоторые данные, и мы строят статистическую модель этих данных. Относительное правдоподобие сравнивает относительную правдоподобность различных моделей-кандидатов или различных значений параметра одной модели.

Содержание

1 Относительная вероятность значений параметров
- 1.1 Область правдоподобия
2 Относительная вероятность моделей
3 См. Также
4 Примечания

Относительная вероятность значений параметров

Предположим, что нам даны некоторые данные x, для которых у нас есть статистическая модель с параметром θ. Предположим, что оценка максимального правдоподобия для θ равна $θ ^ {\ displaystyle {\ hat {\ theta}}}$ $\ hat {\ theta}$ . Относительные вероятности других значений θ могут быть найдены путем сравнения вероятностей этих других значений с вероятностью $θ ^ {\ displaystyle {\ hat {\ theta}}}$ $\ hat {\ theta}$ . Относительная вероятность θ определяется как

L (θ ∣ x) L (θ ^ ∣ x) {\ displaystyle {\ frac {~ {\ mathcal {L}} (\ theta \ mid x) ~} { ~ {\ mathcal {L}} ({\ hat {\ theta}} \ mid x) ~}}}

{\ displaystyle {\ frac {~ {\ mathcal {L}} (\ theta \ mid x) ~} { ~ {\ mathcal {L}} ({\ hat {\ theta}} \ mid x) ~}}}

где $L (θ ∣ x) {\ displaystyle {\ mathcal {L}} (\ theta \ mid x)}$ ${\ displaystyle {\ mathcal {L}} (\ theta \ mid x)}$ обозначает функцию правдоподобия. Таким образом, относительное правдоподобие - это отношение правдоподобия с фиксированным знаменателем $L (θ ^ ∣ x) {\ displaystyle {\ mathcal {L}} ({\ hat {\ theta}} \ mid x)}$ ${\ displaystyle {\ mathcal {L}} ({\ hat {\ theta}} \ mid x)}$ .

Функция

θ ↦ L (θ ∣ x) L (θ ^ ∣ x) {\ displaystyle \ theta \ mapsto {\ frac {~ {\ mathcal {L}} (\ theta \ mid x) ~} {~ {\ mathcal {L}} ({\ hat {\ theta}} \ mid x) ~}}}

{\ displaystyle \ theta \ mapsto {\ frac {~ {\ mathcal {L}} (\ theta \ mid x) ~} {~ {\ mathcal {L }} ({\ hat {\ theta}} \ mid x) ~}}}

- функция относительного правдоподобия.

Область правдоподобия

Область правдоподобия - это набор всех значений θ, относительная вероятность которых больше или равна заданному порогу. В терминах процентов область вероятности p% для θ определяется как.

{θ: L (θ ∣ x) L (θ ^ ∣ x) ≥ p 100}. {\ displaystyle \ left \ {\ theta: {\ frac {{\ mathcal {L}} (\ theta \ mid x)} {{\ mathcal {L}} ({\ hat {\ theta \,}} \ mid x)}} \ geq {\ frac {p} {100}} \ right \}.}

{ \ Displaystyle \ left \ {\ theta: {\ frac {{\ mathcal {L}} (\ theta \ mid x)} {{\ mathcal {L}} ({\ hat {\ theta \,}} \ mid x)}} \ geq {\ frac {p} {100}} \ right \}.}

Если θ - единственный действительный параметр, область вероятности ap% обычно будет включать интервал реальных ценности. Если область действительно содержит интервал, то он называется интервалом правдоподобия.

Интервалы правдоподобия и, в более общем смысле, области правдоподобия используются для интервальной оценки в статистике, основанной на правдоподобии («правдоподобный» ”Статистика): они похожи на доверительные интервалы в частотной статистике и достоверные интервалы в байесовской статистике. Интервалы правдоподобия интерпретируются непосредственно с точки зрения относительной вероятности, а не с точки зрения вероятности охвата (частотный подход) или апостериорной вероятности (байесовство).

Для данной модели интервалы правдоподобия можно сравнить с доверительными интервалами. Если θ - единственный действительный параметр, то при определенных условиях интервал правдоподобия 14,65% (вероятность примерно 1: 7) для θ будет таким же, как доверительный интервал 95% (вероятность охвата 19/20). В несколько иной формулировке, подходящей для использования логарифма правдоподобия (см. теорема Уилкса ), тестовая статистика вдвое превышает разницу в логарифмической вероятности, а распределение вероятностей тестовой статистики составляет примерно распределение хи-квадрат со степенями свободы (df), равными разнице в df-s между двумя моделями (следовательно, интервал правдоподобия e такой же, как доверительный интервал 0,954; предполагая разницу в df- s равным 1).

Относительное правдоподобие моделей

Определение относительного правдоподобия можно обобщить для сравнения различных статистических моделей. Это обобщение основано на AIC (информационный критерий Акаике) или иногда на AICc (информационный критерий Акаике с исправлением).

Предположим, что для некоторых данных у нас есть две статистические модели, M 1 и M 2. Также предположим, что AIC (M 1) ≤ AIC (M 2). Тогда относительная вероятность M 2 относительно M 1 определяется следующим образом.

exp ⁡ (AIC ⁡ (M 1) - AIC ⁡ (M 2) 2) {\ displaystyle \ exp \ left ({\ frac {\ operatorname {AIC} (M_ {1}) - \ operatorname {AIC} (M_ {2})} {2}} \ right)}

{\ displaystyle \ exp \ left ({\ frac {\ operatorname {AIC} (M_ {1}) - \ operatorname {AIC} (M_ {2}) } {2}} \ right)}

Чтобы увидеть, что это обобщение предыдущего определения, предположим, что у нас есть некоторая модель M с параметром θ (возможно, многомерным). Затем для любого θ установите M 2 = M (θ), а также установите M 1 = M ( $θ ^ {\ displaystyle {\ hat {\ theta}} }$ ${\ hat {\ theta}}$ ). Общее определение теперь дает тот же результат, что и предыдущее определение.

См. Также

Примечания