Тест отношения правдоподобия

редактировать

Статистический тест, используемый для сравнения согласия двух статистических моделей

В статистики, критерий отношения правдоподобия оценивает степень соответствия двух конкурирующих статистических моделей, основанная на соотношении их правдоподобия, в частности, найденной с помощью максимизации для всего пространство параметров и еще одно найдено после наложения некоторого ограничения . Если ограничение (т.е. нулевая гипотеза ) поддерживается наблюдаемыми данными, эти две вероятности не должны отличаться более чем на ошибку выборки. Таким образом, тест отношения правдоподобия проверяет, существенно ли это отношение от единицы, или, что эквивалентно, его натуральный логарифм значительно отличается от нуля.

Тест отношения правдоподобия является старейшим из трех классических подходов к проверке гипотез, вместе с тестом множителя Лагранжа и тестом Вальда. Фактически, последние два могут быть концептуализированы как приближения к тесту отношения правдоподобия и асимптотически эквивалентны. В случае сравнения двух моделей, каждая из которых не имеет неизвестных параметров, использование критерия отношения правдоподобия может быть оправдано леммой Неймана – Пирсона. Лемма демонстрирует, что тест имеет самую высокую степень среди всех конкурентов.

Содержание

1 Определение
- 1.1 Общие положения
- 1.2 Случай простых гипотез
2 Интерпретация
- 2.1 Пример
3 Асимптотическое распределение: теорема Уилкса
4 См. Также
5 Ссылки
6 Дополнительная литература
7 Внешние ссылки

Определение

Общие

Предположим, у нас есть статистическая модель с пространством параметров $Θ {\ displaystyle \ Theta}$ $\ Theta$ . нулевая гипотеза часто формулируется, говоря, что параметр $θ {\ displaystyle \ theta}$ $\ theta$ находится в указанном подмножестве $Θ 0 {\ displaystyle \ Theta _ { 0}}$ $\ Theta_0$ из $Θ {\ displaystyle \ Theta}$ $\ Theta$ . альтернативная гипотеза, таким образом, заключается в том, что $θ {\ displaystyle \ theta}$ $\ theta$ находится в дополнении к $Θ 0 {\ displaystyle \ Theta _ {0}}$ $\ Theta_0$ , то есть в $Θ ∖ Θ 0 {\ displaystyle \ Theta ~ \ backslash ~ \ Theta _ {0}}$ ${\ displaystyle \ Theta ~ \ backslash ~ \ Theta _ {0}}$ , который обозначается $Θ 0 с {\ displaystyle \ Theta _ {0} ^ {\ text {c}}}$ ${\ displaystyle \ Theta _ {0} ^ {\ text {c}}}$ . Дана статистика теста отношения правдоподобия для нулевой гипотезы $H 0: θ ∈ Θ 0 {\ displaystyle H_ {0} \,: \, \ theta \ in \ Theta _ {0}}$ ${\ displaystyle H_ {0} \,: \, \ theta \ in \ Theta _ {0}}$ по:

λ LR = - 2 ln ⁡ [sup θ ∈ Θ 0 L (θ) sup θ ∈ Θ L (θ)] {\ displaystyle \ lambda _ {\ text {LR}} = - 2 \ ln \ left [{\ frac {~ \ sup _ {\ theta \ in \ Theta _ {0}} {\ mathcal {L}} (\ theta) ~} {~ \ sup _ {\ theta \ in \ Theta} {\ mathcal {L}} (\ theta) ~}} \ right]}

{\ displaystyle \ lambda _ {\ text {LR}} = - 2 \ ln \ left [{\ frac {~ \ sup _ {\ theta \ in \ Theta _ {0}} { \ mathcal {L}} (\ theta) ~} {~ \ sup _ {\ theta \ in \ Theta} {\ mathcal {L}} (\ theta) ~}} \ right]}

где величина в скобках называется отношением правдоподобия. Здесь нотация $sup {\ displaystyle \ sup}$ $\ sup$ относится к функции supremum. Поскольку все правдоподобия положительны, и поскольку ограниченный максимум не может превышать неограниченный, отношение правдоподобия ограничено между нулем и единицей.

Часто статистика теста отношения правдоподобия выражается как разность между логарифмическими правдоподобиями

λ LR = - 2 [ℓ (θ 0) - ℓ (θ ^)] {\ displaystyle \ lambda _ {\ text {LR}} = - 2 \ left [~ \ ell (\ theta _ {0}) - \ ell ({\ hat {\ theta}}) ~ \ right]}

{\ displaystyle \ lambda _ {\ text {LR}} = - 2 \ left [~ \ ell (\ theta _ {0}) - \ ell ({\ hat { \ theta}}) ~ \ right]}

где

ℓ (θ ^) ≡ пер [sup θ ∈ Θ L (θ)] {\ displaystyle \ ell ({\ hat {\ theta}}) \ Equiv \ ln \ left [~ \ sup _ {\ theta \ in \ Theta} {\ mathcal {L}} (\ theta) ~ \ right] ~}

{\ displaystyle \ ell ({\ hat {\ theta}}) \ Equiv \ ln \ left [ ~ \ sup _ {\ theta \ in \ Theta} {\ mathcal {L}} (\ theta) ~ \ right] ~}

- логарифм функции максимального правдоподобия $L {\ displaystyle {\ mathcal {L}}}$ ${\ mathcal {L}}$ , а $ℓ (θ 0) {\ displaystyle \ ell (\ theta _ {0})}$ ${\ displaysty ле \ ell (\ theta _ {0})}$ - максимальное значение в особом случае, когда нулевая гипотеза верна (но не обязательно значение, которое максимизирует $L {\ displaystyle {\ mathcal {L}}}$ ${\ mathcal {L}}$ для выборочных данных) и

θ 0 ∈ Θ 0 и θ ^ ∈ Θ {\ displaystyle \ theta _ {0} \ in \ Theta _ {0} \ qquad {\ text {and}} \ qquad {\ hat {\ theta}} \ in \ Theta ~}

{ \ displaystyle \ theta _ {0} \ in \ Theta _ {0} \ qquad {\ text {and}} \ qquad {\ hat {\ theta}} \ in \ Theta ~}

обозначают соответствующие аргументы максимумов и допустимые диапазоны они указаны умножение на −2 математически гарантирует, что (по теореме Уилкса ) $λ LR {\ displaystyle \ lambda _ {\ text {LR}}}$ ${\ displaystyle \ lambda _ {\ text {LR}}}$ асимптотически сходится к быть χ²-распределенным, если нулевая гипотеза верна. Распределения конечной выборки тестов отношения правдоподобия, как правило, неизвестны.

Тест отношения правдоподобия требует, чтобы модели были вложены, т. Е. Более сложная модель может быть преобразована в более простую модель, наложив ограничения на параметры первой. Многие общие статистические данные тестов являются тестами для вложенных моделей и могут быть сформулированы как логарифмические отношения правдоподобия или их приближения: например, Z-тест, F-тест, G-тест и критерий хи-квадрат Пирсона ; иллюстрацию с однократным t-критерием см. ниже.

Если модели не вложены друг в друга, то вместо теста отношения правдоподобия используется обобщение теста, которое обычно можно использовать: подробнее см. относительное правдоподобие.

Случай простого гипотезы

Проверка простой или простой гипотезы включает полностью определенные модели как для нулевой, так и для альтернативной гипотезы, которые для удобства записываются в терминах фиксированных значений условного параметра $θ {\ displaystyle \ theta}$ $\ theta$ :

H 0: θ = θ 0, H 1: θ = θ 1. {\ displaystyle {\ begin {align} H_ {0} : \ theta = \ theta _ {0}, \\ H_ {1} : \ theta = \ theta _ {1}. \ end {выравнивается} }}

\ begin {align} H_0 : \ theta = \ t heta_0, \\ H_1 : \ theta = \ theta_1. \ end {align}

В этом случае, согласно любой гипотезе, распределение данных полностью определено: нет неизвестных параметров для оценки. Для этого случая доступен вариант теста отношения правдоподобия:

Λ (x) = L (θ 0 ∣ x) L (θ 1 ∣ x) {\ displaystyle \ Lambda (x) = {\ frac { ~ {\ mathcal {L}} (\ theta _ {0} \ mid x) ~} {~ {\ mathcal {L}} (\ theta _ {1} \ mid x) ~}}}

{\ displaystyle \ Lambda (x) = {\ frac {~ {\ mathcal {L}} (\ theta _ {0} \ mid x) ~} {~ {\ mathcal {L}} (\ theta _ {1} \ mid x) ~}}}

Некоторые старые ссылки могут использовать в качестве определения функцию, обратную функции выше. Таким образом, отношение правдоподобия невелико, если альтернативная модель лучше, чем нулевая модель.

Тест отношения правдоподобия обеспечивает следующее правило принятия решения:

Если

Λ>c {\ displaystyle ~ \ Lambda>c ~}

~\Lambda>c ~

, не отклонять

H 0 {\ displaystyle H_ {0}}

H_ {0}

;

Если

Λ < c {\displaystyle ~\Lambda

{\ displaystyle ~ \ Lambda <c ~}

, отклонить

H 0 {\ displaystyle H_ {0}}

H_ {0}

;

Отклонить с вероятностью

q {\ displaystyle ~ q ~}

{\ displaystyle ~ q ~}

если

Λ = c. {\ displaystyle ~ \ Lambda = c ~.}

{\ displaystyle ~ \ Lambda = c ~.}

Значения $c {\ displaystyle c}$ $c$ и $q {\ displaystyle q}$ $q$ обычно выбираются для получения заданного уровня значимости $α {\ displaystyle \ alpha}$ $\ alpha$ через соотношение

q ⋅ P ⁡ (Λ = c ∣ H 0) + P ⁡ (Λ < c ∣ H 0) = α. {\displaystyle ~q\cdot \operatorname {P} (\Lambda =c\mid H_{0})~+~\operatorname {P} (\Lambda

{\ displaystyle ~ q \ cdot \ operatorname {P} (\ Lambda = c \ mid H_ {0}) ~ + ~ \ operatorname {P} (\ Lambda <c \ mid H_ {0}) ~ = ~ \ alpha ~.}

лемма Неймана – Пирсона утверждает, что этот критерий отношения правдоподобия является самым мощным среди всех уровней $α {\ displaystyle \ alpha}$ $\ alpha$ проверяет этот случай.

Интерпретация

Отношение правдоподобия является функцией данных а $х {\ displaystyle x}$ $x$ ; следовательно, это статистика , хотя необычная в том смысле, что значение статистики зависит от параметра, $θ {\ displaystyle \ theta}$ $\ theta$ . Тест отношения правдоподобия отклоняет нулевую гипотезу, если значение этой статистики слишком мало. Насколько мала слишком мала, зависит от уровня значимости теста, то есть от того, какая вероятность ошибки типа I считается допустимой (ошибки типа I состоят из отклонения истинной нулевой гипотезы).

Числитель соответствует вероятности наблюдаемого результата при нулевой гипотезе. Знаменатель соответствует максимальной вероятности наблюдаемого результата при изменении параметров по всему пространству параметров. Числитель этого отношения меньше знаменателя; Таким образом, отношение правдоподобия находится между 0 и 1. Низкие значения отношения правдоподобия означают, что наблюдаемый результат с гораздо меньшей вероятностью возник при нулевой гипотезе по сравнению с альтернативой. Высокие значения статистики означают, что наблюдаемый результат был почти так же вероятен при нулевой гипотезе, как и альтернативный, и поэтому нулевая гипотеза не может быть отклонена.

Пример

Следующий пример адаптирован и сокращен из Stuart, Ord Arnold (1999, §22.2).

Предположим, что у нас есть случайная выборка размера n из нормально распределенной генеральной совокупности. Как среднее значение μ, так и стандартное отклонение σ для популяции неизвестны. Мы хотим проверить, равно ли среднее значение заданному значению μ 0.

Таким образом, наша нулевая гипотеза H 0 : μ = μ 0, а наша альтернативная гипотеза H 1 : μ ≠ μ 0. Функция правдоподобия

L (μ, σ ∣ x) = (2 π σ 2) - n / 2 exp ⁡ (- ∑ i = 1 n (x i - μ) 2 2 σ 2). {\ displaystyle {\ mathcal {L}} (\ mu, \ sigma \ mid x) = \ left (2 \ pi \ sigma ^ {2} \ right) ^ {- n / 2} \ exp \ left (- \ sum _ {i = 1} ^ {n} {\ frac {(x_ {i} - \ mu) ^ {2}} {2 \ sigma ^ {2}}} \ right) \,.}

{\ displaystyle {\ mathcal {L}} (\ mu, \ sigma \ mid x) = \ left (2 \ pi \ sigma ^ {2} \ right) ^ {- n / 2} \ exp \ left (- \ sum _ {i = 1 } ^ {n} {\ frac {(x_ {i} - \ mu) ^ {2}} {2 \ sigma ^ {2}}} \ right) \,.}

С некоторые вычисления (опущены здесь), затем можно показать, что

λ = (1 + t 2 n - 1) - n / 2 {\ displaystyle \ lambda = \ left (1 + {\ frac {t ^ {2 }} {n-1}} \ right) ^ {- n / 2}}

{\ displaystyle \ lambda = \ left (1 + {\ frac {t ^ {2}} {n- 1}} \ right) ^ {- n / 2}}

где t - t-статистика с n - 1 степенями свободы. Следовательно, мы можем использовать известное точное распределение t n − 1, чтобы сделать выводы.

Асимптотическое распределение: теорема Уилкса

Если распределение отношения правдоподобия, соответствующее конкретной нулевой и альтернативной гипотезе, может быть явно определено, то его можно непосредственно использовать для формирования областей принятия решений (для поддержания или отвергнуть нулевую гипотезу). Однако в большинстве случаев точное распределение отношения правдоподобия, соответствующего конкретным гипотезам, очень трудно определить.

Если предположить, что H 0 истинно, существует фундаментальный результат по Сэмюэл С. Уилкс : Поскольку размер выборки $n {\ displaystyle n}$ $п$ приближается к $∞ {\ displaystyle \ infty}$ $\ infty$ , статистика теста $- 2 log ⁡ (λ) {\ displaystyle -2 \ log (\ lambda)}$ ${\ displaystyle -2 \ log (\ lambda)}$ асимптотически будет распределенным хи-квадрат ( $χ 2 {\ displaystyle \ chi ^ {2}}$ $\ chi ^ {2}$ ) с степенями свободы, равными разнице размерностей $Θ {\ displaystyle \ Theta}$ $\ Theta$ и $Θ 0 {\ displaystyle \ Theta _ {0}}$ $\ Theta_0$ . Это означает, что для множества гипотез мы можем вычислить отношение правдоподобия $λ {\ displaystyle \ lambda}$ $\ lambda$ для данных, а затем сравнить $- 2 log ⁡ (λ) {\ displaystyle -2 \ log (\ lambda)}$ ${\ displaystyle -2 \ log (\ lambda)}$ до значения $χ 2 {\ displaystyle \ chi ^ {2}}$ $\ chi ^ {2}$ , соответствующего желаемой статистической значимости в качестве приблизительного статистического теста. Существуют и другие расширения.

См. Также

Литература

Дополнительная литература

Гловер, Скотт; Диксон, Питер (2004), «Отношения правдоподобия: простая и гибкая статистика для эмпирических психологов», Psychonomic Bulletin Review, 11(5): 791–806, doi : 10.3758 / BF03196706
Хелд, Леонхард; Sabanés Bové, Daniel (2014), Applied Statistical Inference - Likelihood and Bayes, Springer
Kalbfleisch, JG (1985), Probability and Statistical Inference, 2, Springer-Verlag
Perlman, Michael D.; Ву, Ланг (1999), «Новые испытания императора», Статистическая наука, 14(4): 355–381, doi : 10.1214 / ss / 1009212517
Perneger, Томас В. (2001), «Рассеивание доказательств: отношения правдоподобия - альтернативы значениям P», BMJ, 322 (7295): 1184–5, doi : 10.1136 / bmj.322.7295.1184, PMC 1120301, PMID 11379590
Пиньейру, Хосе C.; Бейтс, Дуглас М. (2000), Модели со смешанными эффектами в S и S-PLUS, Springer-Verlag, стр. 82–93
Соломон, Дэниел Л. (1975), «Примечание об неэквивалентности тестов Неймана-Пирсона и обобщенного отношения правдоподобия для проверки простого нуля и простой альтернативной гипотезы» (PDF), Американский статистик, 29(2): 101 –102, doi : 10.1080 / 00031305.1975.10477383

Внешние ссылки

Описание практического применения теста отношения правдоподобия
Пакет R: тест отношения последовательной вероятности Уолда
Ричард Лоури Прогнозные значения и коэффициенты правдоподобия Онлайн-клинический калькулятор