Алгоритм подсчета очков

редактировать

Алгоритм оценки, также известный как оценка Фишера, представляет собой форму метода Ньютона, используемого в статистике для решения уравнения максимального правдоподобия численно, названные в честь Рональда Фишера.

Содержание

1 Схема вывода
2 Оценка Фишера
3 См. Также
4 Ссылки
5 Дополнительная литература

Схема получения

Пусть $Y 1,…, Y n {\ displaystyle Y_ {1}, \ ldots, Y_ {n}}$ $Y_ {1}, \ ldots, Y_ {n}$ быть случайными величинами, независимыми и одинаково распределенными с дважды дифференцируемыми pdf $f (y; θ) {\ displaystyle f (y; \ theta)}$ $f (y; \ theta)$ , и мы хотим вычислить оценку максимального правдоподобия (MLE) $θ ∗ {\ displaystyle \ theta ^ {*}}$ $\ theta ^ *$ из $θ {\ displaystyle \ theta}$ $\ theta$ . Во-первых, предположим, что у нас есть отправная точка для нашего алгоритма $θ 0 {\ displaystyle \ theta _ {0}}$ $\ theta _ {0}$ , и рассмотрим расширение Тейлора оценки функция, $V (θ) {\ displaystyle V (\ theta)}$ $V (\ theta)$ , примерно $θ 0 {\ displaystyle \ theta _ {0}}$ $\ theta _ {0}$ :

V (θ) ≈ В (θ 0) - J (θ 0) (θ - θ 0), {\ Displaystyle V (\ theta) \ приблизительно V (\ theta _ {0}) - {\ mathcal {J}} (\ theta _ {0}) (\ theta - \ theta _ {0}), \,}

V (\ theta) \ приблизительно V (\ theta _ {0}) - {\ mathcal {J}} (\ theta _ {0}) (\ theta - \ theta _ {0}), \,

где

J (θ 0) = - ∑ i = 1 n ∇ ∇ ⊤ | θ знак равно θ 0 журнал ⁡ е (Y я; θ) {\ displaystyle {\ mathcal {J}} (\ theta _ {0}) = - \ sum _ {i = 1} ^ {n} \ left. \ nabla \ nabla ^ {\ top} \ right | _ {\ theta = \ theta _ {0}} \ log f (Y_ {i}; \ theta)}

{\ mathcal {J}} (\ theta _ {0}) = - \ sum _ {{i = 1}} ^ {n} \ left. \ Nabla \ nabla ^ {{\ top}} \ right | _ {{\ theta = \ theta _ {0}}} \ log f (Y_ {i}; \ theta)

- наблюдаемая информационная матрица в $θ 0 {\ displaystyle \ theta _ {0}}$ $\ theta _ {0}$ . Теперь, установив $θ = θ ∗ {\ displaystyle \ theta = \ theta ^ {*}}$ $\ theta = \ theta ^ {*}$ , используя это $V (θ ∗) = 0 {\ displaystyle V (\ theta ^ {*}) = 0}$ $V (\ theta ^ {*}) = 0$ и перестановка дает нам:

θ ∗ ≈ θ 0 + J - 1 (θ 0) V (θ 0). {\ displaystyle \ theta ^ {*} \ приблизительно \ theta _ {0} + {\ mathcal {J}} ^ {- 1} (\ theta _ {0}) V (\ theta _ {0}). \, }

\ theta ^ {* } \ приблизительно \ theta _ {{0}} + {\ mathcal {J}} ^ {{- 1}} (\ theta _ {{0}}) V (\ theta _ {{0}}). \,

Поэтому мы используем алгоритм

θ m + 1 = θ m + J - 1 (θ m) V (θ m), {\ displaystyle \ theta _ {m + 1} = \ theta _ {m } + {\ mathcal {J}} ^ {- 1} (\ theta _ {m}) V (\ theta _ {m}), \,}

\ theta _ {{m + 1}} = \ theta _ {{m}} + {\ mathcal {J}} ^ { {-1}} (\ theta _ {{m}}) V (\ theta _ {{m}}), \,

и при определенных условиях регулярности можно показать, что $θ m → θ ∗ {\ displaystyle \ theta _ {m} \ rightarrow \ theta ^ {*}}$ $\ theta _ {m} \ rightarrow \ theta ^ {*}$ .

оценка Фишера

На практике $J (θ) {\ displaystyle { \ mathcal {J}} (\ theta)}$ ${\ mathcal {J}} (\ theta)$ обычно заменяется на $I (θ) = E [J (θ)] {\ displaystyle {\ mathcal {I}} (\ theta) = \ mathrm {E} [{\ mathcal {J}} (\ theta)]}$ ${\ mathcal {I}} (\ theta) = {\ mathrm {E}} [{\ mathcal {J}} (\ theta)]$ , информация Фишера, что дает нам алгоритм оценки Фишера :

θ м + 1 знак равно θ м + я - 1 (θ м) V (θ м) {\ displaystyle \ theta _ {m + 1} = \ theta _ {m} + {\ mathcal {I}} ^ {- 1 } (\ theta _ {m}) V (\ theta _ {m})}

\ theta _ {{m + 1}} = \ theta _ { {m}} + {\ mathcal {I}} ^ {{- 1}} (\ theta _ {{m}}) V (\ theta _ {{m}})

См. также

Ссылки

Дополнительная литература

Jennrich, RI Samps он, П. Ф. (1976). «Алгоритмы Ньютона-Рафсона и родственные им для оценки составляющей дисперсии максимального правдоподобия». Технометрика. 18(1): 11–17. doi :10.1080/00401706.1976.10489395.