Момент-генерирующая функция

В теории вероятностей и статистике, то момент, производящая функция от вещественной случайной величины является альтернативой спецификации ее распределения вероятностей. Таким образом, он обеспечивает основу для альтернативного пути получения аналитических результатов по сравнению с работой непосредственно с функциями плотности вероятности или кумулятивными функциями распределения. Имеются особенно простые результаты для функций распределений, порождающих моменты, определяемых взвешенными суммами случайных величин. Однако не все случайные величины имеют функции, генерирующие моменты.

Как следует из названия, функция, производящая момент, может использоваться для вычисления моментов распределения: n- й момент около 0 - это n- я производная функции создания момента, вычисленная как 0.

В дополнение к распределениям с действительными значениями (одномерные распределения), функции, генерирующие моменты, могут быть определены для векторных или матричных случайных величин и даже могут быть расширены на более общие случаи.

Производящая момент функция действительного распределения не всегда существует, в отличие от характеристической функции. Есть отношения между поведением функции распределения момента, порождающей момент, и свойствами распределения, такими как наличие моментов.

• 1 Определение
• 2 Примеры
• 3 Расчет
  • 3.1 Линейные преобразования случайных величин
  • 3.2 Линейная комбинация независимых случайных величин
  • 3.3.Векторные случайные величины
• 4 Важные свойства
  • 4.1 Расчет моментов
• 5 Другая недвижимость
• 6 Связь с другими функциями
• 7 См. Также
• 8 ссылки
  • 8.1 Цитаты
  • 8.2 Источники

Позвольте быть случайной величиной с cdf. Производящая функция момента (mgf) для (или), обозначаемая как, равна ${\ displaystyle X}$ ${\ displaystyle F_ {X}}$${\ displaystyle X}$${\ displaystyle F_ {X}}$${\ Displaystyle M_ {X} (т)}$

${\ displaystyle M_ {X} (t) = \ operatorname {E} \ left [e ^ {tX} \ right]}$

условие, что это ожидание существует в некоторых окрестностях точки 0. То есть, есть такой, что для всех ин, существует. Если математическое ожидание не существует в окрестности 0, мы говорим, что функция, производящая момент, не существует. ${\ displaystyle t}$ ${\ displaystyle hgt; 0}$${\ displaystyle t}$${\ displaystyle -h lt;t lt;h}$${\ displaystyle \ operatorname {E} \ left [e ^ {tX} \ right]}$

Другими словами, функция X, создающая момент, является математическим ожиданием случайной величины. В более общем плане, когда, - мерный случайный вектор, и это фиксированный вектор, используется вместо : ${\ displaystyle e ^ {tX}}$${\ Displaystyle \ mathbf {X} = (X_ {1}, \ ldots, X_ {n}) ^ {\ mathrm {T}}}$${\ displaystyle n}$ ${\ Displaystyle \ mathbf {т}}$${\ Displaystyle \ mathbf {т} \ cdot \ mathbf {X} = \ mathbf {t} ^ {\ mathrm {T}} \ mathbf {X}}$${\ displaystyle tX}$

${\ displaystyle M _ {\ mathbf {X}} (\ mathbf {t}): = \ operatorname {E} \ left (e ^ {\ mathbf {t} ^ {\ mathrm {T}} \ mathbf {X}} \верно).}$

${\ displaystyle M_ {X} (0)}$всегда существует и равно 1. Однако ключевая проблема с функциями, производящими момент, состоит в том, что моменты и функция, производящая момент, могут не существовать, поскольку интегралы не обязательно сходятся абсолютно. Напротив, характеристическая функция или преобразование Фурье всегда существует (потому что это интеграл ограниченной функции на пространстве конечной меры ) и для некоторых целей может использоваться вместо этого.

Функция создания моментов названа так потому, что ее можно использовать для нахождения моментов распределения. Расширение серии составляет ${\ displaystyle e ^ {tX}}$

${\ displaystyle e ^ {t \, X} = 1 + t \, X + {\ frac {t ^ {2} \, X ^ {2}} {2!}} + {\ frac {t ^ {3} \, X ^ {3}} {3!}} + \ Cdots + {\ frac {t ^ {n} \, X ^ {n}} {n!}} + \ Cdots.}$

Следовательно

${\ displaystyle {\ begin {align} M_ {X} (t) = \ operatorname {E} (e ^ {t \, X}) amp; = 1 + t \ operatorname {E} (X) + {\ frac { t ^ {2} \ operatorname {E} (X ^ {2})} {2!}} + {\ frac {t ^ {3} \ operatorname {E} (X ^ {3})} {3!} } + \ cdots + {\ frac {t ^ {n} \ operatorname {E} (X ^ {n})} {n!}} + \ cdots \\ amp; = 1 + tm_ {1} + {\ frac { t ^ {2} m_ {2}} {2!}} + {\ frac {t ^ {3} m_ {3}} {3!}} + \ cdots + {\ frac {t ^ {n} m_ { n}} {n!}} + \ cdots, \ end {align}}}$

где это й момент. Дифференцируя времена по и полагая, получаем момент -й относительно начала координат,; см. Расчет моментов ниже. ${\ displaystyle m_ {n}}$${\ displaystyle n}$ ${\ Displaystyle M_ {X} (т)}$ ${\ displaystyle i}$${\ displaystyle t}$${\ displaystyle t = 0}$${\ displaystyle i}$${\ displaystyle m_ {i}}$

Если - непрерывная случайная величина, то выполняется следующая связь между ее функцией, производящей момент, и двусторонним преобразованием Лапласа ее функции плотности вероятности: ${\ displaystyle X}$${\ Displaystyle M_ {X} (т)}$ ${\ displaystyle f_ {X} (x)}$

${\ Displaystyle M_ {X} (t) = {\ mathcal {L}} \ {f_ {X} \} (- t),}$

так как двустороннее преобразование Лапласа PDF задается как

${\ Displaystyle {\ mathcal {L}} \ {f_ {X} \} (s) = \ int _ {- \ infty} ^ {\ infty} e ^ {- sx} f_ {X} (x) \, dx,}$

а определение функции, производящей момент, расширяется (по закону бессознательного статистика ) до

${\ displaystyle M_ {X} (t) = \ operatorname {E} \ left [e ^ {tX} \ right] = \ int _ {- \ infty} ^ {\ infty} e ^ {tx} f_ {X} (х) \, dx.}$

Это согласуется с характеристической функцией будучи вращения Фитиль из когда функция генерирования момент существует, так как характеристическая функция непрерывной случайной переменной является преобразованием Фурье его функции плотности вероятности, и в общем случае, когда функция имеет экспоненциального порядка, преобразование Фурье представляет собой вращение Вика его двустороннего преобразования Лапласа в области сходимости. См. Соотношение преобразований Фурье и Лапласа для получения дополнительной информации. ${\ displaystyle X}$ ${\ Displaystyle M_ {X} (т)}$${\ displaystyle X}$ ${\ displaystyle f_ {X} (x)}$${\ displaystyle f (x)}$ ${\ displaystyle f}$

Вот несколько примеров функции создания момента и характеристической функции для сравнения. Можно видеть, что характеристическая функция является вращением Вика функции, производящей момент, когда последняя существует. ${\ Displaystyle M_ {X} (т)}$

Распределение	Момент-генерирующая функция ${\ Displaystyle M_ {X} (т)}$	Характеристическая функция ${\ Displaystyle \ varphi (т)}$
Вырожденный ${\ displaystyle \ delta _ {a}}$	${\ displaystyle e ^ {ta}}$	${\ displaystyle e ^ {ita}}$
Бернулли ${\ Displaystyle P (X = 1) = p}$	${\ displaystyle 1-p + pe ^ {t}}$	${\ displaystyle 1-p + pe ^ {it}}$
Геометрический ${\ Displaystyle (1-р) ^ {к-1} \, р}$	${\ displaystyle {\ frac {pe ^ {t}} {1- (1-p) e ^ {t}}}}$ ${\ Displaystyle \ forall т lt;- \ пер (1-р)}$	${\ displaystyle {\ frac {pe ^ {it}} {1- (1-p) \, e ^ {it}}}}$
Биномиальный ${\ Displaystyle В (п, р)}$	${\ displaystyle \ left (1-p + pe ^ {t} \ right) ^ {n}}$	${\ displaystyle \ left (1-p + pe ^ {it} \ right) ^ {n}}$
Отрицательный бином ${\ Displaystyle \ OperatorName {NB} (г, р)}$	${\ displaystyle \ left ({\ frac {pe ^ {t}} {1-e ^ {t} + pe ^ {t}}} \ right) ^ {r}}$	${\ displaystyle \ left ({\ frac {pe ^ {it}} {1-e ^ {it} + pe ^ {it}}} \ right) ^ {r}}$
Пуассон ${\ displaystyle \ operatorname {Pois} (\ lambda)}$	${\ Displaystyle е ^ {\ лямбда (е ^ {т} -1)}}$	${\ Displaystyle е ^ {\ лямбда (е ^ {это} -1)}}$
Равномерное (непрерывное) ${\ Displaystyle \ OperatorName {U} (а, б)}$	${\ Displaystyle {\ гидроразрыва {е ^ {tb} -e ^ {та}} {т (ба)}}}$	${\ displaystyle {\ frac {e ^ {itb} -e ^ {ita}} {it (ba)}}}$
Равномерное (дискретное) ${\ Displaystyle \ OperatorName {DU} (а, б)}$	${\ displaystyle {\ frac {e ^ {at} -e ^ {(b + 1) t}} {(b-a + 1) (1-e ^ {t})}}}$	${\ displaystyle {\ frac {e ^ {ait} -e ^ {(b + 1) it}} {(b-a + 1) (1-e ^ {it})}}}$
Лаплас ${\ Displaystyle L (\ му, Ь)}$	${\ displaystyle {\ frac {e ^ {t \ mu}} {1-b ^ {2} t ^ {2}}}, ~ | t | lt;1 / b}$	${\ displaystyle {\ frac {e ^ {it \ mu}} {1 + b ^ {2} t ^ {2}}}}$
Нормальный ${\ Displaystyle N (\ му, \ sigma ^ {2})}$	${\ Displaystyle е ^ {т \ му + {\ гидроразрыва {1} {2}} \ sigma ^ {2} т ^ {2}}}$	${\ displaystyle e ^ {it \ mu - {\ frac {1} {2}} \ sigma ^ {2} t ^ {2}}}$
Хи-квадрат ${\ displaystyle \ chi _ {k} ^ {2}}$	${\ displaystyle (1-2t) ^ {- {\ frac {k} {2}}}}$	${\ displaystyle (1-2it) ^ {- {\ frac {k} {2}}}}$
Нецентральный хи-квадрат ${\ Displaystyle \ чи _ {к} ^ {2} (\ лямбда)}$	${\ displaystyle e ^ {\ lambda t / (1-2t)} (1-2t) ^ {- {\ frac {k} {2}}}}$	${\ displaystyle e ^ {я \ lambda t / (1-2it)} (1-2it) ^ {- {\ frac {k} {2}}}}$
Гамма ${\ Displaystyle \ Гамма (к, \ тета)}$	${\ displaystyle (1-t \ theta) ^ {- k}, ~ \ forall t lt;{\ tfrac {1} {\ theta}}}$	${\ Displaystyle (1-оно \ тета) ^ {- к}}$
Экспоненциальный ${\ displaystyle \ operatorname {Exp} (\ lambda)}$	${\ displaystyle \ left (1-t \ lambda ^ {- 1} \ right) ^ {- 1}, ~ t lt;\ lambda}$	${\ displaystyle \ left (1-it \ lambda ^ {- 1} \ right) ^ {- 1}}$
Многомерный нормальный ${\ Displaystyle N (\ mathbf {\ mu}, \ mathbf {\ Sigma})}$	${\ displaystyle e ^ {\ mathbf {t} ^ {\ mathrm {T}} \ left ({\ boldsymbol {\ mu}} + {\ frac {1} {2}} \ mathbf {\ Sigma t} \ right)}}$	${\ displaystyle e ^ {\ mathbf {t} ^ {\ mathrm {T}} \ left (i {\ boldsymbol {\ mu}} - {\ frac {1} {2}} {\ boldsymbol {\ Sigma}} \ mathbf {t} \ right)}}$
Коши ${\ displaystyle \ operatorname {Cauchy} (\ mu, \ theta)}$	Не существует	${\ Displaystyle е ^ {это \ му - \ тета | т |}}$
Многомерный Коши ${\ displaystyle \ operatorname {MultiCauchy} (\ mu, \ Sigma)}$	Не существует	${\ displaystyle \! \, e ^ {я \ mathbf {t} ^ {\ mathrm {T}} {\ boldsymbol {\ mu}} - {\ sqrt {\ mathbf {t} ^ {\ mathrm {T}} {\ boldsymbol {\ Sigma}} \ mathbf {t}}}}}$

Функция создания момента - это математическое ожидание функции случайной величины, ее можно записать как:

• Для дискретной функции массовой вероятности,${\ displaystyle M_ {X} (t) = \ sum _ {i = 1} ^ {\ infty} e ^ {tx_ {i}} \, p_ {i}}$
• Для непрерывной функции плотности вероятности,${\ Displaystyle M_ {X} (t) = \ int _ {- \ infty} ^ {\ infty} e ^ {tx} f (x) \, dx}$
• В общем случае: с использованием интеграла Римана – Стилтьеса, где - интегральная функция распределения. ${\ Displaystyle M_ {X} (t) = \ int _ {- \ infty} ^ {\ infty} e ^ {tx} \, dF (x)}$ ${\ displaystyle F}$

Следует отметить, что для случая, когда имеет непрерывную функцию плотности вероятности, является преобразованием двухсторонней Лапласы из. ${\ displaystyle X}$ ${\ displaystyle f (x)}$${\ Displaystyle M_ {X} (- t)}$ ${\ displaystyle f (x)}$

${\ Displaystyle {\ begin {align} M_ {X} (t) amp; = \ int _ {- \ infty} ^ {\ infty} e ^ {tx} f (x) \, dx \\ amp; = \ int _ {- \ infty} ^ {\ infty} \ left (1 + tx + {\ frac {t ^ {2} x ^ {2}} {2!}} + \ cdots + {\ frac {t ^ {n} x) ^ {n}} {n!}} + \ cdots \ right) f (x) \, dx \\ amp; = 1 + tm_ {1} + {\ frac {t ^ {2} m_ {2}} {2 !}} + \ cdots + {\ frac {t ^ {n} m_ {n}} {n!}} + \ cdots, \ end {align}}}$

где это й момент. ${\ displaystyle m_ {n}}$${\ displaystyle n}$

Линейные преобразования случайных величин

Если случайная величина имеет производящую функцию момента, то имеет производящую функцию момента${\ displaystyle X}$${\ Displaystyle M_ {X} (т)}$${\ Displaystyle \ альфа Х + \ бета}$${\ Displaystyle М _ {\ альфа Икс + \ бета} (т) = е ^ {\ бета т} М_ {Х} (\ альфа т)}$

${\ Displaystyle M _ {\ альфа X + \ бета} (t) = E [e ^ {(\ alpha X + \ beta) t}] = e ^ {\ beta t} E [e ^ {\ alpha Xt}] = e ^ {\ beta t} M_ {X} (\ alpha t)}$

Линейная комбинация независимых случайных величин

Если, где X i - независимые случайные величины, а a i - константы, то функция плотности вероятности для S n представляет собой свертку функций плотности вероятности каждого из X i, а функция, генерирующая момент для S n, равна дано ${\ displaystyle S_ {n} = \ sum _ {i = 1} ^ {n} a_ {i} X_ {i}}$

${\ Displaystyle M_ {S_ {n}} (t) = M_ {X_ {1}} (a_ {1} t) M_ {X_ {2}} (a_ {2} t) \ cdots M_ {X_ {n} }(муравей)\,.}$

Векторнозначные случайные величины

Для векторных случайных величин с действительными компонентами порождающая функция момента задается выражением ${\ displaystyle \ mathbf {X}}$

${\ Displaystyle M_ {X} (\ mathbf {t}) = E \ left (e ^ {\ langle \ mathbf {t}, \ mathbf {X} \ rangle} \ right)}$

где - вектор, а - скалярное произведение. ${\ Displaystyle \ mathbf {т}}$${\ Displaystyle \ langle \ cdot, \ cdot \ rangle}$

Производящие функции моментов положительны и лог-выпуклы, причем M (0) = 1.

Важным свойством функции создания момента является то, что она однозначно определяет распределение. Другими словами, если и - две случайные величины и для всех значений  t, ${\ displaystyle X}$${\ displaystyle Y}$

${\ Displaystyle M_ {X} (т) = M_ {Y} (т), \,}$

потом

${\ Displaystyle F_ {X} (х) = F_ {Y} (х) \,}$

для всех значений x (или, что то же самое, X и Y имеют одинаковое распределение). Это утверждение не эквивалентно утверждению «если два распределения имеют одинаковые моменты, то они идентичны во всех точках». Это связано с тем, что в некоторых случаях моменты существуют, а функции, производящей момент, нет, потому что предел

${\ displaystyle \ lim _ {n \ rightarrow \ infty} \ sum _ {i = 0} ^ {n} {\ frac {t ^ {i} m_ {i}} {i!}}}$

может не существовать. Логнормальный является примером того, когда это происходит.

Расчеты моментов

Функция момент генерирующая так называемый, потому что если он существует на открытом интервале вокруг т  = 0, то это экспоненциальная производящая функция из моментов в распределении вероятностей :

${\ Displaystyle m_ {n} = E \ left (X ^ {n} \ right) = M_ {X} ^ {(n)} (0) = \ left. {\ frac {d ^ {n} M_ {X }} {dt ^ {n}}} \ right | _ {t = 0}.}$

То есть, когда n является неотрицательным целым числом, n- й момент около 0 является n- й производной производящей функции момента, вычисляемой при t = 0.

Неравенство Дженсена дает простую нижнюю оценку функции, производящей момент:

${\ Displaystyle M_ {X} (т) \ geq e ^ {\ mu t},}$

где это среднее X. ${\ displaystyle \ mu}$

Верхний ограничивающая функцию момента генерирования может быть использованы в сочетании с неравенством Маркова к связанному верхнему хвосту реального случайной величины X. Это утверждение также называется границей Чернова. Поскольку при монотонно возрастает, имеем ${\ Displaystyle х \ mapsto e ^ {xt}}$${\ displaystyle tgt; 0}$

${\ Displaystyle P (Икс \ geq a) = P (e ^ {tX} \ geq e ^ {ta}) \ leq e ^ {- at} E [e ^ {tX}] = e ^ {- at} M_ {X} (t)}$

для любого и любого а, если существует. Например, когда X - стандартное нормальное распределение и, мы можем выбрать и вспомнить это. Это дает, что в пределах коэффициента 1+ точного значения. ${\ displaystyle tgt; 0}$${\ Displaystyle M_ {X} (т)}$${\ displaystyle agt; 0}$${\ Displaystyle т = а}$${\ Displaystyle M_ {X} (т) = е ^ {т ^ {2} / 2}}$${\ Displaystyle Р (Икс \ GEQ а) \ Leq е ^ {- а ^ {2} / 2}}$

Различные леммы, такие как лемма Хёффдинга или неравенство Беннета, дают оценки функции, производящей момент, в случае ограниченной случайной величины с нулевым средним.

Когда неотрицательно, функция, производящая момент, дает простую и полезную оценку моментов: ${\ displaystyle X}$

${\ displaystyle E [X ^ {m}] \ leq \ left ({\ frac {m} {te}} \ right) ^ {m} M_ {X} (t),}$

Для любого и. ${\ displaystyle X, м \ geq 0}$${\ displaystyle tgt; 0}$

Это следует из простого неравенства, в которое мы можем подставить подразумеваемое вместо любого. Теперь, если и, это можно переставить на. Ожидание с обеих сторон дает предел с точки зрения. ${\ Displaystyle 1 + х \ Leq е ^ {х}}$${\ displaystyle x '= tx / m-1}$${\ displaystyle tx / m \ leq e ^ {tx / m-1}}$${\ displaystyle x, t, m \ in \ mathbb {R}}$${\ displaystyle tgt; 0}$${\ Displaystyle х, м \ geq 0}$${\ Displaystyle х ^ {m} \ leq (m / (te)) ^ {m} e ^ {tx}}$${\ displaystyle E [X ^ {m}]}$${\ Displaystyle E [е ^ {tX}]}$

В качестве примера рассмотрим с степенями свободы. Тогда мы знаем. Собирая и вставляя в границу, мы получаем ${\ displaystyle X \ sim {\ text {Chi-Squared}}}$${\ displaystyle k}$ ${\ Displaystyle M_ {X} (t) = (1-2t) ^ {- k / 2}}$${\ Displaystyle т = м / (2 м + к)}$

${\ displaystyle E [X ^ {m}] \ leq (1 + 2m / k) ^ {k / 2} e ^ {- m} (k + 2m) ^ {m}.}$

Мы знаем, что в этом случае правильная оценка. Чтобы сравнить оценки, мы можем рассмотреть асимптотику для больших. Здесь граница Mgf, а действительная граница. Таким образом, оценка Mgf в этом случае очень сильна. ${\ Displaystyle Е [X ^ {m}] \ Leq 2 ^ {m} \ Gamma (m + k / 2) / \ Gamma (k / 2)}$${\ displaystyle k}$${\ Displaystyle к ^ {м} (1 + м ^ {2} / к + О (1 / к ^ {2}))}$${\ displaystyle k ^ {m} (1+ (m ^ {2} -m) / k + O (1 / k ^ {2}))}$

С функцией создания момента связан ряд других преобразований, которые распространены в теории вероятностей:

Характеристическая функция

Характеристическая функция связана с функцией момента генерирования через характеристическую функцию является момент, генерирующей функция Ix или функция генерации момента X оценивается на мнимой оси. Эту функцию можно также рассматривать как преобразование Фурье от функции плотности вероятности, которые, следовательно, могут быть выведены из него путем обратного преобразования Фурье.${\ Displaystyle \ varphi _ {X} (т)}$${\ displaystyle \ varphi _ {X} (t) = M_ {iX} (t) = M_ {X} (it):}$

Кумулянт-производящая функция

Функция кумулянтых генерирующая определяются как логарифм функции момента, генерирующей; некоторые вместо этого определяют функцию, генерирующую кумулянт, как логарифм характеристической функции, в то время как другие называют ее второй функцией, производящей кумулянт.

Вероятностно-производящая функция

Функция, генерирующая вероятность, определяется как Отсюда сразу следует, что${\ Displaystyle G (z) = E \ влево [z ^ {X} \ вправо]. \,}$${\ Displaystyle G (e ^ {t}) = E \ left [e ^ {tX} \ right] = M_ {X} (t). \,}$

• Энтропийная ценность под угрозой
• Факториальная производящая функция момента
• Функция оценки
• Проблема моментов гамбургера

Цитаты

Источники

• Казелла, Джордж; Бергер, Роджер. Статистический вывод (2-е изд.). С. 59–68. ISBN   978-0-534-24312-8.