Теорема Уилкса

В статистике теорема Уилкса предлагает асимптотическое распределение статистики логарифмического отношения правдоподобия, которое можно использовать для получения доверительных интервалов для оценок максимального правдоподобия или в качестве тестовой статистики для выполнения теста отношения правдоподобия.

Статистические тесты (например, проверка гипотез ) обычно требуют знания распределения вероятностей тестовой статистики. Это часто является проблемой для отношений правдоподобия, где распределение вероятностей может быть очень трудно определить.

Удобный результат Сэмюэля С. Уилкса говорит о том, что по мере приближения размера выборки распределение тестовой статистики асимптотически приближается к распределению хи-квадрат ( ) при нулевой гипотезе. Здесь обозначает отношение правдоподобия, и распределение имеет степени свободы, равные разнице размерностей и, где - полное пространство параметров, а - подмножество пространства параметров, связанное с. Этот результат означает, что для больших выборок и большого разнообразия гипотез практик может вычислить отношение правдоподобия для данных и сравнить со значением, соответствующим желаемой статистической значимости, в качестве приблизительного статистического теста. ${\ displaystyle \ infty}$ ${\ Displaystyle -2 \ журнал (\ Lambda)}$ ${\ displaystyle \ chi ^ {2}}$ ${\ displaystyle H_ {0}}$${\ displaystyle \ Lambda}$ ${\ displaystyle \ chi ^ {2}}$${\ Displaystyle \ Theta}$${\ displaystyle \ Theta _ {0}}$${\ Displaystyle \ Theta}$ ${\ displaystyle \ Theta _ {0}}$${\ displaystyle H_ {0}}$${\ displaystyle \ Lambda}$${\ Displaystyle -2 \ журнал (\ Lambda)}$${\ displaystyle \ chi ^ {2}}$

Не теорема больше не применяется, когда любые один из оцениваемых параметров находятся в своей верхней или нижней границе: Уилкс теорема предполагает, что „истинные“, но неизвестные значения оцениваемых параметров лежат в пределах внутренней части поддерживаемого пространства параметров. Максимум правдоподобия может больше не иметь предполагаемую эллипсоидальную форму, если максимальное значение для функции правдоподобия популяции встречается при некотором граничном значении одного из параметров, то есть на краю пространства параметров. В этом случае критерий правдоподобия будет по-прежнему действителен и оптимален, как гарантируется леммой Неймана-Пирсона, но значимость ( p -значение) не может быть надежно оценена с использованием распределения хи-квадрат с заданным числом степеней свободы. пользователя Wilks.

• 1 Использование
• 2 Примеры
  • 2.1 Подбрасывание монет
• 3 Недействительность моделей со случайными или смешанными эффектами
  • 3.1 Плохие примеры
• 4 См. Также
• 5 Примечания
• 6 Ссылки
• 7 Другие источники
• 8 Внешние ссылки

Каждая из двух конкурирующих моделей, нулевая модель и альтернативная модель, отдельно подбирается к данным и регистрируется логарифм правдоподобия. Статистика теста (часто обозначаемая D) в два раза больше логарифма отношения правдоподобия, т. Е. В два раза больше разницы логарифмических правдоподобий:

${\ displaystyle {\ begin {align} D amp; = - 2 \ ln \ left ({\ frac {\ text {вероятность для нулевой модели}} {\ text {вероятность для альтернативной модели}}} \ right) \\ [5pt] amp; = 2 \ ln \ left ({\ frac {\ text {вероятность для альтернативной модели}} {\ text {вероятность для нулевой модели}}} \ right) \\ [5pt] amp; = 2 \ times [\ ln ({ \ text {вероятность для альтернативной модели}}) - \ ln ({\ text {вероятность для нулевой модели}})] \\ [5pt] \ end {выравнивается}}}$

Модель с большим количеством параметров (здесь альтернатива) всегда будет соответствовать, по крайней мере, так же, т. Е. Иметь такую ​​же или большую логарифмическую вероятность, чем модель с меньшим количеством параметров (здесь null). Является ли соответствие значительно лучшим и, следовательно, предпочтительным, определяется путем вывода того, насколько вероятно ( p- значение ) наблюдать такое различие  D только случайно, если бы модель с меньшим количеством параметров была верной. Если нулевая гипотеза представляет собой особый случай альтернативной гипотезы, распределение вероятностей в тестовых статистиках является приблизительно распределение хи-квадрата с степенями свободы, равным соответственно число свободных параметров моделей альтернативным и нулем. ${\ displaystyle \, df _ {\ text {alt}} - df _ {\ text {null}} \,}$

Например: если нулевая модель имеет 1 параметр и логарифмическую вероятность -8024, а альтернативная модель имеет 3 параметра и логарифмическую правдоподобие -8012, то вероятность этой разницы равна значению хи-квадрат с градусами. свободы, и равно. Чтобы статистика следовала распределению хи-квадрат, должны быть выполнены определенные допущения, но эмпирические значения p также могут быть вычислены, если эти условия не выполняются. ${\ Displaystyle 2 \ раз (-8012 - (- 8024)) = 24}$${\ displaystyle 3-1 = 2}$${\ displaystyle 6 \ times 10 ^ {- 6}}$

Подбрасывание монет

Примером теста Пирсона является сравнение двух монет, чтобы определить, имеют ли они одинаковую вероятность выпадения орла. Наблюдения могут быть помещены в таблицу непредвиденных обстоятельств, в которой строки соответствуют монете, а столбцы - орлам или решкам. Элементами таблицы непредвиденных обстоятельств будет количество раз, когда каждая монета выпадала орлом или решкой. Содержание этой таблицы являются наши наблюдения X.

${\ displaystyle {\ begin {array} {c | cc} X amp; {\ text {Heads}} amp; {\ text {Tails}} \\\ hline {\ text {Coin 1}} amp; k _ {\ mathrm {1H}} amp; k _ {\ mathrm {1T}} \\ {\ text {Coin 2}} amp; k _ {\ mathrm {2H}} amp; k _ {\ mathrm {2T}} \ end {array}}}$

Здесь Θ состоит из возможных комбинаций значений параметров,, и, которые являются вероятность того, что монеты 1 и 2 придумать головы или хвосты. В дальнейшем и. Пространство гипотез H ограничено обычными ограничениями на распределение вероятностей, и. Пространство нулевой гипотезы - это подпространство, где. Запись для наилучших оценок при гипотезе H, оценка максимального правдоподобия дается выражением ${\ displaystyle p _ {\ mathrm {1H}}}$${\ displaystyle p _ {\ mathrm {1T}}}$${\ displaystyle p _ {\ mathrm {2H}}}$${\ displaystyle p _ {\ mathrm {2T}}}$${\ displaystyle i = 1,2}$${\ Displaystyle J = \ mathrm {H, T}}$${\ displaystyle 0 \ leq p_ {ij} \ leq 1}$${\ displaystyle p_ {я \ mathrm {H}} + p_ {i \ mathrm {T}} = 1}$${\ displaystyle H_ {0}}$${\ displaystyle p_ {1j} = p_ {2j}}$${\ displaystyle n_ {ij}}$${\ displaystyle p_ {ij}}$

${\ displaystyle n_ {ij} = {\ frac {k_ {ij}} {k_ {i \ mathrm {H}} + k_ {i \ mathrm {T}}}} \,.}$

Точно так же оценки максимального правдоподобия при нулевой гипотезе задаются формулой ${\ displaystyle p_ {ij}}$${\ displaystyle H_ {0}}$

${\ displaystyle m_ {ij} = {\ frac {k_ {1j} + k_ {2j}} {k _ {\ mathrm {1H}} + k _ {\ mathrm {2H}} + k _ {\ mathrm {1T}} + к _ {\ mathrm {2T}}}} \,,}$

который не зависит от монеты i.

Гипотезу и нулевую гипотезу можно немного переписать, чтобы они удовлетворяли ограничениям на логарифм отношения правдоподобия, чтобы иметь желаемое распределение. Так как ограничение вызывает двумерная Н, чтобы свести к одномерным, асимптотическое распределение для испытания будет, то распределение с одной степенью свободы. ${\ displaystyle H_ {0}}$${\ Displaystyle \ чи ^ {2} (1)}$${\ displaystyle \ chi ^ {2}}$

Для общей таблицы непредвиденных обстоятельств мы можем записать статистику отношения логарифмического правдоподобия как

${\ displaystyle -2 \ log \ Lambda = 2 \ sum _ {i, j} k_ {ij} \ log {\ frac {n_ {ij}} {m_ {ij}}} \,.}$

Теорема Уилкса предполагает, что истинные, но неизвестные значения расчетных параметров в интерьере в пространстве параметров. Это обычно нарушается в моделях со случайными или смешанными эффектами, например, когда один из компонентов дисперсии незначителен по сравнению с другими. В некоторых таких случаях один компонент дисперсии может быть фактически нулевым по отношению к другим, или в других случаях модели могут быть неправильно вложены.

Для ясности: эти ограничения теоремы Уилкса не отменяют никаких степенных свойств конкретного теста отношения правдоподобия. Единственная проблема заключается в том, что распределение иногда является плохим выбором для оценки статистической значимости результата. ${\ displaystyle \ chi ^ {2}}$

Плохие примеры

Пинейро и Бейтс (2000) показали, что истинное распределение этой статистики хи-квадрат отношения правдоподобия может существенно отличаться от наивного - часто очень сильно. Наивные предположения могут дать вероятности значимости ( p-значения ), которые в среднем в одних случаях слишком велики, а в других - слишком малы. ${\ displaystyle \ chi ^ {2}}$

В общем, для проверки случайных эффектов они рекомендуют использовать ограничение максимального правдоподобия (REML). Они говорят, что для тестирования с фиксированными эффектами «тест отношения правдоподобия для REML-соответствий невозможен», потому что изменение спецификации фиксированных эффектов меняет смысл смешанных эффектов, и поэтому ограниченная модель не вложена в более крупную модель. В качестве демонстрации они устанавливают одну или две дисперсии случайных эффектов равными нулю в смоделированных тестах. В этих конкретных примерах смоделированные значения p с ограничениями k наиболее точно соответствовали смеси 50–50 и. (С к = 1, равно 0 с вероятностью 1. Это означает, что хорошее приближение было) ${\ Displaystyle \ чи ^ {2} (к)}$${\ Displaystyle \ чи ^ {2} (к-1)}$ ${\ Displaystyle \ чи ^ {2} (0)}$${\ Displaystyle \, 0,5 \, \ чи ^ {2} (1) \,.}$

Пинейро и Бейтс также смоделировали тесты различных фиксированных эффектов. В одном тесте фактора с 4 уровнями ( степени свободы  = 3) они обнаружили, что смесь 50–50 и является хорошим соответствием фактическим p-значениям, полученным путем моделирования, - и ошибка при использовании наивного «не может быть быть слишком тревожным. " ${\ Displaystyle \ чи ^ {2} (3)}$${\ Displaystyle \ чи ^ {2} (4)}$${\ Displaystyle \ чи ^ {2} (3)}$

Однако в другом тесте фактора с 15 уровнями они нашли разумное соответствие - на 4 степени свободы больше, чем 14, которые можно было бы получить в результате наивного (несоответствующего) применения теоремы Уилкса, и смоделированное p- значение было в несколько раз наивнее. Они пришли к выводу, что для тестирования фиксированных эффектов «разумно использовать симуляцию». ${\ Displaystyle \ чи ^ {2} (18)}$${\ Displaystyle \ чи ^ {2} (14)}$

• Байесовский фактор
• Выбор модели
• Sup-LR тест

• Казелла, Джордж; Бергер, Роджер Л. (2001). Статистический вывод (второе изд.). ISBN   0-534-24312-6.
• Настроение, AM; Грейбилл, Ф.А. (1963). Введение в теорию статистики (2-е изд.). Макгроу-Хилл. ISBN   978-0070428638.
• Кокс, Д.Р.; Хинкли, Д.В. (1974). Теоретическая статистика. Чепмен и Холл. ISBN   0-412-12420-3.
• Стюарт, А.; Ord, K.; Арнольд, С. (1999). Продвинутая теория статистики Кендалла. 2А. Лондон: Арнольд. ISBN   978-0-340-66230-4.

• «Отношение правдоподобия: теорема Уилкса».