Тест Вальда

редактировать

В статистике тест Вальда (назван в честь Абрахама Вальда ) оценивает ограничения для статистических параметров на основе взвешенного расстояния между неограниченной оценкой и ее гипотетическим значением в соответствии с нулевой гипотезой, где вес - это точность оценки. Интуитивно понятно, что чем больше это взвешенное расстояние, тем меньше вероятность того, что ограничение истинно. Хотя конечные выборочные распределения критериев Вальда, как правило, неизвестны, оно имеет асимптотическое χ-распределение при нулевой гипотезе, факт, который можно использовать для определения статистической значимости.

Вместе с множителем Лагранжа и критерием отношения правдоподобия тест Вальда является одним из трех классических подходов к проверке гипотез. Преимущество теста Вальда перед двумя другими состоит в том, что он требует только оценки модели без ограничений, что снижает вычислительную нагрузку по сравнению с тестом отношения правдоподобия. Однако основным недостатком является то, что (в конечных выборках) он не инвариантен к изменениям в представлении нулевой гипотезы; другими словами, алгебраически эквивалентные выражения ограничения нелинейных параметров могут приводить к различным значениям тестовой статистики. Это потому, что статистика Вальда выводится из разложения Тейлора, а различные способы записи эквивалентных нелинейных выражений приводят к нетривиальным различиям в соответствующих коэффициентах Тейлора. Другая аберрация, известная как эффект Хаука – Доннера, может возникать в биномиальных моделях, когда оцениваемый (неограниченный) параметр близок к границе пространства параметров - например, подобранная вероятность очень близка к нулю или единице - что приводит к тому, что тест Вальда больше не монотонно увеличивает расстояние между неограниченным параметром и параметром ограничения.

Содержание

1 Математические детали
- 1.1 Тест для одного параметра
- 1.2 Тест (-ы) для нескольких параметров
- 1.3 Нелинейная гипотеза
  - 1.3.1 Неинвариантность к повторным параметризациям
2 Альтернативы тесту Вальда
3 См. Также
4 Ссылки
5 Дополнительная литература
6 Внешние ссылки

Математические подробности

По тесту Вальда оценочное $θ ^ {\ displaystyle {\ hat {\ theta}}}$ $\ hat {\ theta}$ , который был найден как максимизирующий аргумент неограниченной функции правдоподобия, сравнивается с предполагаемым значением $θ 0 {\ displaystyle \ theta _ {0}}$ $\ theta _ {0}$ . В частности, квадрат разницы $θ ^ - θ 0 {\ displaystyle {\ hat {\ theta}} - \ theta _ {0}}$ ${\ displaystyle {\ hat {\ theta}}) - \ theta _ {0}}$ взвешивается по кривизне функции логарифмического правдоподобия.

Тест по одному параметру

Если гипотеза включает только ограничение по одному параметру, то статистика Вальда принимает следующий вид:

W = (θ ^ - θ 0) 2 var ⁡ (θ ^) {\ displaystyle W = {\ frac {({\ widehat {\ theta}} - \ theta _ {0}) ^ {2}} {\ operatorname {var} ({\ hat {\ theta} })}}}

{\ displaystyle W = {\ frac { ({\ widehat {\ theta}} - \ theta _ {0}) ^ {2}} {\ operatorname {var} ({\ hat {\ theta}})}}}

который при нулевой гипотезе следует асимптотическому χ-распределению с одной степенью свободы. Квадратный корень из статистики Вальда с одним ограничением можно понимать как (псевдо) t-ratio, которое, однако, на самом деле не t-распределено, за исключением особого случая линейного регрессия с нормально распределенными ошибками. В общем, оно следует асимптотическому распределению z.

W = θ ^ - θ 0 se ⁡ (θ ^) {\ displaystyle {\ sqrt {W}} = {\ frac {{\ widehat {\ theta} } - \ theta _ {0}} {\ operatorname {se} ({\ hat {\ theta}})}}}

{\ displaystyle {\ sqrt {W}} = {\ frac {{\ widehat {\ theta}} - \ theta _ {0}} {\ operatorname {se} ({\ hat { \ theta}})}}}

где $se ⁡ (θ ^) {\ displaystyle \ operatorname {se} ( {\ widehat {\ theta}})}$ $\ operatorname {se} (\ widehat \ theta)$ - это стандартная ошибка оценки максимального правдоподобия (MLE), квадратный корень из дисперсии. Существует несколько способов согласованной оценки матрицы отклонений , которая в конечных выборках приводит к альтернативным оценкам стандартных ошибок и связанной статистики теста и p-значений.

Тест (s) по нескольким параметрам

Тест Вальда можно использовать для проверки одной гипотезы по нескольким параметрам, а также для совместной проверки нескольких гипотез по одному / нескольким параметрам. Пусть $θ ^ n {\ displaystyle {\ hat {\ theta}} _ {n}}$ ${\ hat {\ theta}} _ {n}$ будет нашей выборочной оценкой параметров P (т. Е. $θ ^ n {\ displaystyle {\ hat {\ theta}} _ {n}}$ ${\ hat {\ theta}} _ {n}$ является вектором P $× {\ displaystyle \ times}$ $\ times$ 1), который должен асимптотически следовать нормальному распределению с ковариационная матрица V, $n (θ ^ n - θ) → DN (0, V) {\ displaystyle {\ sqrt {n}} ({\ hat {\ theta}} _ {n } - \ theta) {\ xrightarrow {\ mathcal {D}}} N (0, V)}$ ${\ sqrt {n}} ({\ hat {\ theta}} _ {n} - \ theta) {\ xrightarrow {{\ mathcal {D}}}} N (0, V)$ . Проверка гипотез Q по параметрам P выражается с помощью матрицы Q $× {\ displaystyle \ times}$ $\ times$ P R:

H 0: R θ = r {\ displaystyle H_ {0 }: R \ theta = r}

H_ {0}: R \ theta = r

H 1: R θ ≠ r {\ displaystyle H_ {1}: R \ theta \ neq r}

H_ {1} : R \ theta \ neq r

Статистика теста:

(R θ ^ n - r) ′ [R (V ^ n / n) R ′] - 1 (R θ ^ n - r) → D χ Q 2 {\ displaystyle (R {\ hat {\ theta}} _ {n} -r) ^ {'} [R ({\ hat {V}} _ {n} / n) R ^ {'}] ^ {- 1} (R {\ hat {\ theta}} _ {n} -r) \ quad {\ xrightarrow {\ mathcal {D}}} \ quad \ chi _ {Q} ^ {2}}

(R{\hat {\theta }}_{n}-r)^{'}[R({\hat {V}}_{n}/n)R^{'}]^{-1}(R{\hat {\theta }}_{n}-r)\quad {\xrightarrow {\mathcal {D}}}\quad \chi _{Q}^{2}

где $V ^ n {\ displaystyle {\ hat {V}} _ {n}}$ ${\ hat {V}} _ {n}$ - оценка ковариационной матрицы.

Доказательство

Предположим, что $n (θ ^ n - θ) → DN (0, V) {\ displaystyle {\ sqrt {n}} ({\ hat {\ theta}} _ {n} - \ theta) {\ xrightarrow {\ mathcal {D}}} N (0, V)}$ ${\ sqrt {n}} ({\ hat {\ theta}} _ {n} - \ theta) {\ xrightarrow {{\ mathcal {D}}}} N (0, V)$ . Тогда по теореме Слуцкого и свойствам нормального распределения умножение на R имеет распределение:

R n (θ ^ n - θ) = n (R θ ^ n - r) → DN (0, RVR ′) {\ displaystyle R {\ sqrt {n}} ({\ hat {\ theta}} _ {n} - \ theta) = {\ sqrt {n}} (R {\ hat {\ theta}} _ {n} -r) {\ xrightarrow {\ mathcal {D}}} N (0, RVR ^ {'})}

R{\sqrt {n}}({\hat {\theta }}_{n}-\theta)={\sqrt {n}}(R{\hat {\theta }}_{n}-r){\xrightarrow {{\mathcal {D}}}}N(0,RVR^{{'}})

Вспоминая, что квадратичная форма нормального распределения имеет Распределение хи-квадрат :

n (R θ ^ n - r) ′ [RVR ′] - 1 n (R θ ^ n - r) → D χ Q 2 {\ displaystyle {\ sqrt {n}} (R {\ hat {\ theta}} _ {n} -r) ^ {'} [RVR ^ {'}] ^ {- 1} {\ sqrt {n}} (R {\ hat {\ theta}} _ {n} -r) {\ xrightarrow {\ mathcal {D}}} \ chi _ {Q} ^ {2}}

{\sqrt {n}}(R{\hat {\theta }}_{n}-r)^{'}[RVR^{'}]^{-1}{\sqrt {n}}(R{\hat {\theta }}_{n}-r){\xrightarrow {\mathcal {D}}}\chi _{Q}^{2}

Окончательная перестановка n дает:

(R θ ^ n - r) ′ [ R (V / N) R '] - 1 (R θ ^ n - r) → D χ Q 2 {\ displaystyle (R {\ hat {\ theta}} _ {n} -r) ^ {'} [R (V / n) R ^ {'}] ^ {- 1} (R {\ hat {\ theta}} _ {n} -r) \ quad {\ xrightarrow {\ mathcal {D}}} \ quad \ chi _ {Q} ^ {2}}

(R{\hat {\theta }}_{n}-r)^{'}[R(V/n)R^{'}]^{-1}(R{\hat {\theta }}_{n}-r)\quad {\xrightarrow {\mathcal {D}}}\quad \chi _{Q}^{2}

Что, если ковариационная матрица неизвестна априори и ее нужно оценивать на основе данных? Если у нас есть согласованная оценка $V ^ n ∼ X n - P 2 {\ displaystyle {\ hat {V}} _ {n} \ sim \ mathrm {X} _ {nP} ^ {2}}$ ${\ displaystyle {\ hat {V}} _ {n} \ sim \ mathrm {X} _ {nP} ^ {2}}$ из $V {\ displaystyle V}$ $V$ , то в силу независимости оценки ковариации и уравнения, приведенного выше, мы имеем:

(R θ ^ n - r) ′ [R (V ^ n / n) R ′] - 1 (R θ ^ n - r) → DF (Q, n - P) {\ displaystyle (R {\ hat {\ theta}} _ { n} -r) ^ {'} [R ({\ hat {V}} _ {n} / n) R ^ {'}] ^ {- 1} (R {\ hat {\ theta}} _ {n } -r) \ quad {\ xrightarrow {\ mathcal {D}}} \ quad F (Q, nP)}

(R{\hat {\theta }}_{n}-r)^{'}[R({\hat {V}}_{n}/n)R^{'}]^{-1}(R{\hat {\theta }}_{n}-r)\quad {\xrightarrow {\mathcal {D}}}\quad F(Q,n-P)

Нелинейная гипотеза

В стандартной форме тест Вальда используется для проверки линейных гипотезы, которые могут быть представлены одной матрицей R. Если кто-то желает проверить нелинейную гипотезу вида:

H 0: c (θ) = 0 {\ displaystyle H_ {0}: c (\ theta) = 0}

H_ {0}: c (\ theta) = 0

H 1: c (θ) ≠ 0 {\ displaystyle H_ {1}: c (\ theta) \ neq 0}

H_ {1}: c (\ theta) \ neq 0

Тестовая статистика принимает следующий вид:

c (θ ^ n) ′ [c ′ (θ ^ n) (V ^ n / n) c ′ (θ ^ n) ′] - 1 c (θ ^ n) → D χ Q 2 {\ displaystyle c \ left ({\ hat {\ theta }} _ {n} \ right) '\ le ft [c '\ left ({\ hat {\ theta}} _ {n} \ right) \ left ({\ hat {V}} _ {n} / n \ right) c' \ left ({\ hat { \ theta}} _ {n} \ right) '\ right] ^ {- 1} c \ left ({\ hat {\ theta}} _ {n} \ right) \ quad {\ xrightarrow {\ mathcal {D} }} \ quad \ chi _ {Q} ^ {2}}

c\left({\hat {\theta }}_{n}\right)'\left[c'\left({\hat {\theta }}_{n}\right)\left({\hat {V}}_{n}/n\right)c'\left({\hat {\theta }}_{n}\right)'\right]^{-1}c\left({\hat {\theta }}_{n}\right)\quad {\xrightarrow {\mathcal {D}}}\quad \chi _{Q}^{2}

где $c '(θ ^ n) {\ displaystyle c' ({\ hat {\ theta}} _ {n})}$ $c'({\hat {\theta }}_{n})$ - производная от c, оцененная в выборочном оценщике. Этот результат получается с использованием дельта-метода , который использует аппроксимацию дисперсии первого порядка.

Неинвариантность к повторной параметризации

Тот факт, что используется аппроксимация дисперсии, имеет недостаток, заключающийся в том, что статистика Вальда не инвариантна к нелинейному преобразованию / повторной параметризации гипотеза: он может давать разные ответы на один и тот же вопрос, в зависимости от того, как вопрос сформулирован. Например, вопрос о том, R = 1, - это то же самое, что вопрос о том, log R = 0; но статистика Вальда для R = 1 не совпадает со статистикой Вальда для log R = 0 (поскольку, как правило, нет четкой связи между стандартными ошибками R и log R, поэтому ее необходимо аппроксимировать).

Альтернативы тесту Вальда

Существует несколько альтернатив тесту Вальда, а именно тест отношения правдоподобия и тест множителя Лагранжа (также известный как результат теста). Роберт Ф. Энгл показал, что эти три теста, тест Вальда, тест отношения правдоподобия и тест множителя Лагранжа, асимптотически эквивалентны. Хотя они асимптотически эквивалентны, в конечных выборках они могут достаточно расходиться, чтобы привести к различным выводам.

Существует несколько причин предпочесть критерий отношения правдоподобия или множитель Лагранжа критерию Вальда:

Неинвариантность: как указывалось выше, критерий Вальда не инвариантен к репараметризации, в то время как отношение правдоподобия тесты дадут точно такой же ответ, работаем ли мы с R, log R или любым другим монотонным преобразованием R.
Другая причина в том, что тест Вальда использует два приближения (которые мы знаем стандартная ошибка, и что распределение равно χ ), тогда как в тесте отношения правдоподобия используется одно приближение (распределение равно χ).
Тест Вальда требует оценки в соответствии с альтернативной гипотезой, соответствующий «полной» модели. В некоторых случаях модель проще при нулевой гипотезе, поэтому можно предпочесть использовать критерий оценки (также называемый тестом множителя Лагранжа), который имеет то преимущество, что его можно сформулировать в ситуациях, когда изменчивость трудно оценить; например тест Кокрана – Мантеля – Хензеля - это оценочный тест.

См. также

Ссылки

Дополнительная литература

Грин, Уильям Х. (2012). Эконометрический анализ (Седьмое международное издание). Бостон: Пирсон. Стр. 155 –161. ISBN 978-0-273-75356-8.
Кмента, янв (1986). Элементы эконометрики (Второе изд.). Нью-Йорк: Макмиллан. Стр. 492–493. ISBN 0-02-365070-2.
Томас, Р. Л. (1993). Вводная эконометрика: теория и применение (второе изд.). Лондон: Лонгман. С. 73–77. ISBN 0-582-07378-2.

Внешние ссылки

Тест Вальда на Самые ранние известные варианты использования некоторых слов математики