Метод моментов (статистика)

О методе, используемом для доказательства сходимости распределения, см. Метод моментов (теория вероятностей).

В статистике, то метод моментов является методом оценки популяционных параметров.

Он начинается с выражения моментов популяции (т. Е. Ожидаемых значений степеней рассматриваемой случайной величины ) как функций от интересующих параметров. Затем эти выражения устанавливаются равными образцам моментов. Количество таких уравнений равно количеству оцениваемых параметров. Затем эти уравнения решаются для интересующих параметров. Решения представляют собой оценки этих параметров.

Метод моментов был введен Пафнутым Чебышевым в 1887 г. при доказательстве центральной предельной теоремы. Идея сопоставления эмпирических моментов распределения с моментами популяции восходит, по крайней мере, к Пирсону.

• 1 Метод
• 2 Достоинства и недостатки
• 3 Примеры
  • 3.1 Равномерное распределение
• 4 См. Также
• 5 ссылки

Предположим, что задача состоит в оценке неизвестных параметров, характеризующих распределение случайной величины. Предположим, что первые моменты истинного распределения («моменты популяции») могут быть выражены как функции от s: ${\ displaystyle k}$${\ displaystyle \ theta _ {1}, \ theta _ {2}, \ dots, \ theta _ {k}}$ ${\ displaystyle f_ {W} (ш; \ theta)}$${\ displaystyle W}$${\ displaystyle k}$${\ displaystyle \ theta}$

${\ displaystyle {\ begin {align} \ mu _ {1} amp; \ Equiv \ operatorname {E} [W] = g_ {1} (\ theta _ {1}, \ theta _ {2}, \ ldots, \ theta _ {k}), \\ [4pt] \ mu _ {2} amp; \ Equiv \ operatorname {E} [W ^ {2}] = g_ {2} (\ theta _ {1}, \ theta _ { 2}, \ ldots, \ theta _ {k}), \\ amp; \, \, \, \ vdots \\\ mu _ {k} amp; \ Equiv \ operatorname {E} [W ^ {k}] = g_ {k} (\ theta _ {1}, \ theta _ {2}, \ ldots, \ theta _ {k}). \ end {выравнивается}}}$

Предположим, что нарисован образец размера, в результате которого получены значения. Ибо пусть ${\ displaystyle n}$${\ displaystyle w_ {1}, \ dots, w_ {n}}$${\ displaystyle j = 1, \ dots, k}$

${\ displaystyle {\ widehat {\ mu}} _ {j} = {\ frac {1} {n}} \ sum _ {i = 1} ^ {n} w_ {i} ^ {j}}$

быть j -м моментом выборки, оценка. Метод оценки моментов для обозначенного как определяется как решение (если оно есть) уравнений: ${\ displaystyle \ mu _ {j}}$${\ displaystyle \ theta _ {1}, \ theta _ {2}, \ ldots, \ theta _ {k}}$${\ displaystyle {\ widehat {\ theta}} _ {1}, {\ widehat {\ theta}} _ {2}, \ dots, {\ widehat {\ theta}} _ {k}}$

${\ displaystyle {\ begin {align} {\ widehat {\ mu}} _ {1} amp; = g_ {1} ({\ widehat {\ theta}} _ {1}, {\ widehat {\ theta}} _ {2}, \ ldots, {\ widehat {\ theta}} _ {k}), \\ [4pt] {\ widehat {\ mu}} _ {2} amp; = g_ {2} ({\ widehat {\ theta}} _ {1}, {\ widehat {\ theta}} _ {2}, \ ldots, {\ widehat {\ theta}} _ {k}), \\ amp; \, \, \, \ vdots \ \ {\ widehat {\ mu}} _ {k} amp; = g_ {k} ({\ widehat {\ theta}} _ {1}, {\ widehat {\ theta}} _ {2}, \ ldots, { \ widehat {\ theta}} _ {k}). \ end {align}}}$

Метод моментов довольно прост и дает последовательные оценки (при очень слабых предположениях), хотя эти оценки часто бывают необъективными.

Это альтернатива методу максимального правдоподобия.

Однако в некоторых случаях уравнения правдоподобия могут быть трудноразрешимыми без компьютеров, тогда как оценки методом моментов могут быть вычислены гораздо быстрее и проще. Из-за легкой вычислимости оценки методом моментов можно использовать в качестве первого приближения к решениям уравнений правдоподобия, а затем можно найти последовательные улучшенные приближения с помощью метода Ньютона – Рафсона. Таким образом, метод моментов может помочь в нахождении оценок максимального правдоподобия.

В некоторых случаях, которые случаются нечасто с большими выборками, но не так редко с небольшими выборками, оценки, полученные методом моментов, находятся за пределами пространства параметров (как показано в примере ниже); на них тогда нет смысла полагаться. Эта проблема никогда не возникает при использовании метода максимального правдоподобия. Кроме того, оценки методом моментов не обязательно являются достаточной статистикой, т. Е. Иногда они не учитывают всю релевантную информацию в выборке.

При оценке других структурных параметров (например, параметров функции полезности вместо параметров известного распределения вероятностей) соответствующие распределения вероятностей могут быть неизвестны, и оценки на основе моментов могут быть предпочтительнее оценки максимального правдоподобия.

Примером применения метода моментов является оценка полиномиальных распределений плотности вероятности. В этом случае на интервале определяется приближенный многочлен порядка. Затем метод моментов приводит к системе уравнений, решение которой включает обращение матрицы Ганкеля. ${\ displaystyle N}$${\ Displaystyle [а, б]}$

Равномерное распределение

Рассмотрим равномерное распределение на интервале,. Если тогда у нас есть ${\ Displaystyle [а, б]}$${\ Displaystyle U (а, Ь)}$${\ Displaystyle W \ sim U (а, Ь)}$

${\ displaystyle \ mu _ {1} = \ operatorname {E} [W] = {\ frac {1} {2}} (a + b)}$

${\ displaystyle \ mu _ {2} = \ operatorname {E} [W ^ {2}] = {\ frac {1} {3}} (a ^ {2} + ab + b ^ {2})}$

Решение этих уравнений дает

${\ displaystyle {\ widehat {a}} = \ mu _ {1} - {\ sqrt {3 \ left (\ mu _ {2} - \ mu _ {1} ^ {2} \ right)}}}$

${\ displaystyle {\ widehat {b}} = \ mu _ {1} + {\ sqrt {3 \ left (\ mu _ {2} - \ mu _ {1} ^ {2} \ right)}}}$

Учитывая набор образцов, мы можем использовать моменты образцов и в этих формулах, чтобы оценить и. ${\ displaystyle \ {w_ {i} \}}$${\ displaystyle {\ widehat {\ mu}} _ {1}}$${\ displaystyle {\ widehat {\ mu}} _ {2}}$${\ displaystyle a}$${\ displaystyle b}$

Однако обратите внимание, что этот метод в некоторых случаях может давать противоречивые результаты. Например, множество образцов результатов в оценке, даже если и так, что невозможно для набора был взят из в этом случае. ${\ Displaystyle \ {0,0,0,0,1 \}}$${\ displaystyle {\ widehat {a}} = {\ frac {1} {5}} - {\ frac {2 {\ sqrt {3}}} {5}}, {\ widehat {b}} = {\ frac {1} {5}} + {\ frac {2 {\ sqrt {3}}} {5}}}$${\ displaystyle {\ widehat {b}} lt;1}$${\ Displaystyle \ {0,0,0,0,1 \}}$${\ displaystyle U ({\ widehat {a}}, {\ widehat {b}})}$

• Обобщенный метод моментов
• Методы декодирования