Свертка распределений вероятностей

редактировать

Распределение вероятностей суммы случайных величин

Свертка распределений вероятностей возникает в теории вероятностей и статистике как операция в терминах распределений вероятностей, которая соответствует сложению независимых случайных величин и, в более широком смысле, для формирования линейных комбинаций случайных величин. Здесь операция является частным случаем свертки в контексте вероятностных распределений.

Содержание

1 Введение
2 Пример вывода
- 2.1 Свертка распределений Бернулли
  - 2.1.1 Использование вероятностных массовых функций
  - 2.1.2 Использование характеристических функций
3 См. Также
4 Ссылки

Введение

распределение вероятностей суммы двух или более независимых случайных величин - это свертка их индивидуальных раздачи. Термин мотивирован тем фактом, что функция массы вероятности или функция плотности вероятности суммы случайных величин является сверткой их соответствующих функций массы вероятности или функции плотности вероятности соответственно. Многие хорошо известные распределения имеют простые свертки: см. Список сверток вероятностных распределений

Общая формула распределения суммы $Z = X + Y {\ displaystyle Z = X + Y}$ $Z = X + Y$ из двух независимых целочисленных (и, следовательно, дискретных) случайных величин:

P (Z = z) = ∑ k = - ∞ ∞ P (X = k) P (Y = z - k) {\ displaystyle P (Z = z) = \ sum _ {k = - \ infty} ^ {\ infty} P (X = k) P (Y = zk)}

{\ displaystyle P (Z = z) = \ sum _ {k = - \ infty} ^ {\ infty} P (X = k) P (Y = zk)}

Аналог для независимых непрерывно распределенных случайных величин с функциями плотности $е, g {\ displaystyle f, g}$ $f, g$ равно

h (z) = (f ∗ g) (z) = ∫ - ∞ ∞ f (z - t) g (t) dt знак равно ∫ - ∞ ∞ е (t) g (z - t) dt {\ displaystyle h (z) = (f * g) (z) = \ int _ {- \ infty} ^ {\ infty} f (zt) g (t) dt = \ int _ {- \ infty} ^ {\ infty} f (t) g (zt) dt}

{\ displaystyle h (z) = (f * g) (z) = \ int _ {- \ infty} ^ {\ infty } f (zt) g (t) dt = \ int _ {- \ infty} ^ {\ infty} f (t) g (zt) dt}

. Если мы начнем со случайных величин X и Y, связанных соотношением Z = X + Y, и без знания того, что эти случайные величины независимы, тогда:

f Z (z) = ∫ - ∞ ∞ f XY (x, z - x) dx {\ displaystyle f_ {Z} (z) = \ int \ пределы _ {- \ infty} ^ {\ infty} f_ {XY} (x, zx) ~ dx}

{\ displaystyle f_ {Z} (z) = \ int \ limits _ {- \ infty} ^ {\ infty} f_ {XY} (x, zx) ~ dx}

Однако, если X и Y независимы, то:

f XY (x, y) = f X (x) f Y ( y) {\ displaystyle f_ {XY} (x, y) = f_ {X} (x) f_ {Y} (y)}

{\ displaystyle f_ {XY} (x, y) = f_ {X} (x) f_ {Y} (y)}

, и эта формула становится сверткой распределений вероятностей:

f Z (z) Знак равно ∫ - ∞ ∞ е Икс (Икс) е Y (Z - Икс) dx {\ Displaystyle f_ {Z} (z) = \ int \ limits _ {- \ infty} ^ {\ infty} f_ {X} ( x) ~ f_ {Y} (zx) ~ dx}

{\ displaystyle f_ {Z} (z) = \ int \ limits _ {- \ infty} ^ { \ infty} f_ {X} (x) ~ f_ {Y} (zx) ~ dx}

Пример вывода

Существует несколько способов вывода формул для свертки распределений вероятностей. Часто манипуляции с интегралами можно избежать, используя некоторый тип производящей функции. Такие методы также могут быть полезны при выводе свойств результирующего распределения, таких как моменты, даже если явная формула для самого распределения не может быть получена.

Один из простых способов - использовать характеристические функции, которые всегда существуют и уникальны для данного распределения.

Свертка распределений Бернулли

Свертка двух независимых одинаково распределенных случайных величин Бернулли является биномиальной случайной величиной. То есть в сокращенной записи

∑ i = 1 2 B ernoulli (p) ∼ B inomial (2, p) {\ displaystyle \ sum _ {i = 1} ^ {2} \ mathrm {Bernoulli} ( p) \ sim \ mathrm {Binomial} (2, p)}

{\ displaystyle \ sum _ {i = 1 } ^ {2} \ mathrm {Бернулли} (p) \ sim \ mathrm {Биномиальный} (2, p)}

Чтобы показать это, пусть

X i ∼ Бернулли (p), 0 < p < 1, 1 ≤ i ≤ 2 {\displaystyle X_{i}\sim \mathrm {Bernoulli} (p),\quad 0

X_ {i} \ sim {\ mathrm {Bernoulli}} (p), \ quad 0 <p <1, \ quad 1 \ leq i \ leq 2

и определим

Y = ∑ i = 1 2 X i {\ displaystyle Y = \ sum _ {i = 1} ^ {2} X_ {i}}

{\ displaystyle Y = \ sum _ {i = 1} ^ {2} X_ {i}}

Кроме того, пусть Z обозначает общую биномиальную случайную величину:

Z ∼ B inomial (2, p) {\ displaystyle Z \ sim \ mathrm {Binomial} (2, p) \, \!}

{\ displaystyle Z \ sim \ mathrm {Binomial} (2, p) \, \!}

Использование функций вероятностных масс

As $X 1 и X 2 {\ displaystyle X_ {1} {\ text {и}} X_ {2}}$ $X_ {1} {\ text {и}} X_ {2}$ независимы,

P [Y = n] = P [∑ i = 1 2 X i = n] = ∑ m ∈ ZP [X 1 = m] × P [X 2 = n - m] = ∑ m ∈ Z [(1 m) pm (1 - p) 1 - m] [(1 n - m) pn - m (1 - p) 1 - n + m] = pn (1 - p) 2 - n ∑ m ∈ Z (1 m) (1 n - m) = pn (1 - p) 2 - n [(1 0) (1 n) + ( 1 1) (1 n - 1)] = (2 n) pn (1 - p) 2 - n = P [Z = n] {\ displaystyle {\ begin {align} \ mathbb {P} [Y = n] = \ mathbb {P} \ left [ \ sum _ {i = 1} ^ {2} X_ {i} = n \ right] \\ = \ sum _ {m \ in \ mathbb {Z}} \ mathbb {P} [X_ {1} = m ] \ times \ mathbb {P} [X_ {2} = nm] \\ = \ sum _ {m \ in \ mathbb {Z}} \ left [{\ binom {1} {m}} p ^ {m } \ left (1-p \ right) ^ {1-m} \ right] \ left [{\ binom {1} {nm}} p ^ {nm} \ left (1-p \ right) ^ {1- n + m} \ right] \\ = p ^ {n} \ left (1-p \ right) ^ {2-n} \ sum _ {m \ in \ mathbb {Z}} {\ binom {1} {m}} {\ binom {1} {nm}} \\ = p ^ {n} \ left (1-p \ right) ^ {2-n} \ left [{\ binom {1} {0} } {\ binom {1} {n}} + {\ binom {1} {1}} {\ binom {1} {n-1}} \ right] \\ = {\ binom {2} {n} } p ^ {n} \ left (1-p \ right) ^ {2-n} = \ mathbb {P} [Z = n] \ end {align}}}

{\ displaystyle {\ begin { выровнено} \ mathbb {P} [Y = n] = \ mathbb {P} \ left [\ sum _ {i = 1} ^ {2} X_ {i} = n \ right] \\ = \ sum _ {m \ in \ mathbb {Z}} \ mathbb {P} [X_ {1} = m] \ times \ mathbb {P} [X_ {2} = nm] \\ = \ sum _ {m \ in \ mathbb {Z}} \ left [{\ binom {1} {m}} p ^ {m} \ left (1-p \ right) ^ {1-m} \ right] \ left [{\ binom {1} {nm}} p ^ {nm} \ left (1-p \ right) ^ {1-n + m} \ right] \\ = p ^ {n} \ left (1-p \ right) ^ {2 -n} \ sum _ {m \ in \ mathbb {Z}} {\ binom {1} {m}} {\ binom {1} {nm}} \\ = p ^ {n} \ left (1- p \ right) ^ {2-n} \ left [{\ binom {1} {0}} {\ binom {1} {n}} + {\ binom {1} {1}} {\ binom {1} {n-1}} \ right] \\ = {\ binom {2} {n}} p ^ {n} \ left (1-p \ right) ^ {2-n} = \ mathbb {P} [ Z = N] \ end {align}}}

Здесь мы использовали тот факт, что $(nk) = 0 {\ displaystyle {\ tbinom {n} {k}} = 0}$ ${\ tbinom { n} {k}} = 0$ для k>n в предпоследнем равенстве и правила Паскаля во втором последнем равенстве.

Использование характеристических функций

Характеристическая функция каждого $X k {\ displaystyle X_ {k}}$ $X_ {k}$ и $Z {\ displaystyle Z}$ $Z$ равно

φ Икс k (t) = 1 - p + peit φ Z (t) = (1 - p + peit) 2 {\ displaystyle \ varphi _ {X_ {k}} (t) = 1-p + pe ^ {it} \ qquad \ varphi _ {Z} (t) = \ left (1-p + pe ^ {it} \ right) ^ {2}}

\ varphi _ {{X_ {k}}} (t) = 1-p + pe ^ {{it}} \ qquad \ varphi _ {Z} (t) = \ left (1-p + pe ^ {{it}} \ right) ^ {2}

где t находится в пределах некоторая окрестность нуля.

φ Y (t) = E ⁡ (eit ∑ k = 1 2 X k) = E ⁡ (∏ k = 1 2 eit X k) = ∏ k = 1 2 E ⁡ (eit X k) = ∏ k Знак равно 1 2 (1 - p + peit) = (1 - p + peit) 2 = φ Z (t) {\ displaystyle {\ begin {align} \ varphi _ {Y} (t) = \ operatorname {E} \ left (e ^ {it \ sum _ {k = 1} ^ {2} X_ {k}} \ right) = \ operatorname {E} \ left (\ prod _ {k = 1} ^ {2} e ^ {itX_ {k}} \ right) \\ = \ prod _ {k = 1} ^ {2} \ operatorname {E} \ left (e ^ {itX_ {k}} \ right) = \ prod _ {k = 1} ^ {2} \ left (1-p + pe ^ {it} \ right) \\ = \ left (1-p + pe ^ {it} \ right) ^ {2} = \ varphi _ { Z} (t) \ end {align}}}

{\ begin {align} \ varphi _ {Y} (t) = \ operatorname {E} \ left (e ^ {{it \ sum _ {{k = 1}} ^ {2} X_ {k}}} \ right) = \ operatorname {E} \ left (\ prod _ {{k = 1}} ^ {2} e ^ {{itX_ {k}}} \ right) \\ = \ prod _ {{k = 1}} ^ {2} \ operatorname {E} \ left (e ^ {{itX_ {k}}} \ right) = \ prod _ {{k = 1}} ^ { 2} \ left (1-p + pe ^ {{it}} \ right) \\ = \ left (1-p + pe ^ {{it}} \ right) ^ {2} = \ varphi _ {Z } (т) \ конец {выровнено}}

ожидание продукта является продуктом ожиданий, поскольку каждое $X k {\ displaystyle X_ {k}}$ $X_ {k}$ является независимым. Поскольку $Y {\ displaystyle Y}$ $Y$ и $Z {\ displaystyle Z}$ $Z$ имеют одинаковую характеристическую функцию, они должны иметь одинаковое распределение.

См. Также

Список сверток вероятностных распределений

Ссылки

Хогг, Роберт В. ; Маккин, Джозеф В.; Крейг, Аллен Т. (2004). Введение в математическую статистику (6-е изд.). Река Аппер Сэдл, Нью-Джерси: Prentice Hall. п. 692. ISBN 978-0-13-008507-8. MR 0467974.