Распределение Бернулли

редактировать

распределение вероятностей, моделирующее подбрасывание монеты, которое необходимо несправедливо

Бернулли
Параметры	$0 ≤ p ≤ 1 {\ displaystyle 0 \ leq p \ leq 1}$ $0 \ leq p \ leq 1$ . $q = 1 - p {\ displaystyle q = 1-p}$ ${\ displaystyle q = 1-p}$
Поддержка	$k ∈ {0, 1} {\ displaystyle k \ in \ {0,1 \}}$ ${\ displaystyle k \ in \ {0,1 \}}$
PMF	${q = 1 - p, если k = 0, p, если k = 1 {\ displaystyle {\ begin {cases} q = 1-p {\ text {if}} k = 0 \\ p {\ text {if}} k = 1 \ end {cases}}}$ ${\ displaystyl e {\ begin {cases} q = 1-p {\ text {if}} k = 0 \\ p {\ text {if}} k = 1 \ end {cases}}}$ $pk (1 - p) 1 - k {\ displaystyle p ^ {k} (1-p) ^ {1-k}}$ ${\ displaystyle p ^ {k} (1-p) ^ {1-k}}$
CDF	${0, если k < 0 1 − p if 0 ≤ k < 1 1 if k ≥ 1 {\displaystyle {\begin{cases}0{\text{if }}k<0\\1-p{\text{if }}0\leq k<1\\1{\text{if }}k\geq 1\end{cases}}}$ ${\ displaystyle {\ begin {cases} 0 {\ text {if}} k <0 \\ 1-p {\ text {if}} 0 \ leq k <1 \\ 1 {\ text {if}} k \ geq 1 \ end {ases}}$
Среднее	$p {\ displaystyle p}$ $p$
Медиана	${0, если p < 1 / 2 [ 0, 1 ] if p = 1 / 2 1 if p>1/2 {\ displaystyle {\ begin {cases} 0 {\ text {if}} p <1/2\\\left[0,1\right]{\text{if }}p=1/2\\1{\text{if }}p>1/2 \ end {cases}}}$ ${\begin{cases}0{\text{if }}p<1/2\\\left[0,1\right]{\text{if }}p=1/2\\1{\text{if }}p>1 / 2 \ end {cases}}$
Режим	${0 if p < 1 / 2 0, 1 if p = 1 / 2 1 if p>1/2 {\ displaystyle {\ begin {cases} 0 {\ text {if}} p <1/2\\0,1{\text{if }}p=1/2\\1{\text{if }}p>1/2 \ end {cases} }}$ ${\begin{cases}0{\text{if }}p<1/2\\0,1{\text{if }}p=1/2\\1{\text{if }}p>1/2 \ end {cases}}$
Разница	$p (1 - p) = pq {\ displaystyle p (1-p) = pq}$ ${\ displaystyle p (1-p) = pq}$
асимметрия	$q - ppq {\ displaystyle { \ frac {qp} {\ sqrt {pq}}}}$ ${\ displaystyle {\ frac {qp} {\ sqrt {pq}}}}$
Пример. эксцесс	$1 - 6 pqpq {\ displaystyle {\ frac {1-6pq} {pq}}}$ ${\ displaystyle {\ frac {1-6pq} {pq}}}$
Энтропия	$- q ln ⁡ q - p ln ⁡ p {\ displaystyle -q \ ln qp \ ln p}$ ${\ displaystyle -q \ ln qp \ ln p}$
MGF	$q + pet {\ displaystyle q + pe ^ {t}}$ ${\ displaystyle q + pe ^ {t}}$
CF	$q + peit {\ displaystyle q + pe ^ {it}}$ ${\ displaystyle q + pe ^ {it}}$
PGF	$q + pz {\ displaystyle q + pz}$ ${\ displaystyle q + pz}$
Информация Фишера	$1 pq {\ displaystyle {\ frac {1} {pq}}}$ ${\ displaystyle {\ frac {1} {pq}}}$

В теории вероятностей и статистике, распределение Бернулли, названное в честь швейцарского математика Якоба Бернулли, представляет собой дискретное распределение вероятностей случайной величины, которое принимает значение 1 с вероятностью $p {\ displaystyle p}$ $p$ и значение 0 с вероятностью $q = 1 - p {\ displaystyle q = 1-p}$ ${\ displaystyle q = 1-p}$ . Менее формально его можно рассматривать как модель для набора возможных результатов любого одиночного эксперимента, который задает вопрос «да – нет». Такие вопросы приводят к результатам, которые являются логическим -значным: один бит, значение которого - успех / да / истина / единица с вероятностью p и отказ / нет / ложь / ноль с вероятностью q. Его можно использовать для представления (возможно, предвзятого) подбрасывания монеты, где 1 и 0 будут представлять «орел» и «решка» (или наоборот) соответственно, а p - вероятность выпадения монеты. по орлу или решке соответственно. В частности, несправедливые монеты будут иметь $p ≠ 1/2. {\ Displaystyle p \ neq 1/2.}$ ${ \ displaystyle p \ neq 1/2.}$

Распределение Бернулли - это частный случай биномиального распределения, где одно испытание проводится (так что n будет 1 для такого биномиального распределения). Это также частный случай двухточечного распределения, для которого возможные результаты не обязательно должны быть 0 и 1.

Содержание

1 Свойства
2 Среднее
3 Дисперсия
4 Асимметрия
5 Высшие моменты и кумулянты
6 Связанные распределения
7 См. Также
8 Ссылки
9 Дополнительная литература
10 Внешние ссылки

Свойства

Если $X {\ displaystyle X}$ $X$ - случайная величина с этим распределением, то:

Pr (X = 1) = p = 1 - Pr (X = 0) = 1 - q. {\ displaystyle \ Pr (X = 1) = p = 1- \ Pr (X = 0) = 1-q.}

{\ displaystyle \ Pr (X = 1) = p = 1- \ Pr (X = 0) = 1-q.}

функция массы вероятности $f {\ displaystyle f}$ $f$ этого распределения по возможным исходам k равно

f (k; p) = {p, если k = 1, q = 1 - p, если k = 0. {\ displaystyle f (k; p) = {\ begin {cases} p {\ text {if}} k = 1, \\ q = 1-p {\ text {if}} k = 0. \ end {ases}}}

{\ displaystyle f (k; p) = {\ begin {cases} p {\ text {if}} k = 1, \\ q = 1-p {\ text {if}} k = 0. \ end {cases}} }

Это также может быть выражено как

f (k; p) = pk (1 - p) 1 - k для k ∈ {0, 1} {\ displaystyle f (k; p) = p ^ {k} (1- p) ^ {1-k} \ quad {\ text {for}} k \ in \ {0,1 \}}

{\ displaystyle f (k; p) = p ^ {k} (1-p) ^ {1-k} \ quad {\ text {for}} k \ in \ {0,1 \}}

или как

f (k; p) = pk + (1 - p) (1 - k) для k ∈ {0, 1}. {\ displaystyle f (k; p) = pk + (1-p) (1-k) \ quad {\ text {for}} k \ in \ {0,1 \}.}

{\ displaystyle f (k; p) = pk + (1-p) (1-k) \ quad {\ text {for}} k \ in \ {0, 1 \}.}

Распределение Бернулли - это частный случай биномиального распределения с $n = 1. {\ displaystyle n = 1.}$ ${\ displaystyle n = 1.}$

эксцесс стремится к бесконечности для высоких и низких значений $p, {\ displaystyle p,}$ $p,$ , но для $p = 1/2 {\ displaystyle p = 1/2}$ $p = 1/2$ двухточечные распределения, включая распределение Бернулли, имеют более низкий эксцесс, чем любое другое распределение вероятностей, а именно –2.

Распределения Бернулли для $0 ≤ p ≤ 1 {\ displaystyle 0 \ leq p \ leq 1}$ $0 \ leq p \ leq 1$ образуют экспоненциальное семейство.

максимум оценка правдоподобия из $p {\ displaystyle p}$ $p$ на основе случайной выборки - это выборочное среднее.

Среднее

ожидаемое значение случайной величины Бернулли $X {\ displaystyle X}$ $X$ is

E ⁡ (X) = p {\ displaystyle \ operatorname {E} \ left (X \ right) = p }

{\ displaystyle \ operatorname {E} \ left (X \ right) = p}

Это связано с тем, что для распределенной случайной величины Бернулли $X {\ displaystyle X}$ $X$ с $Pr (X = 1) = p {\ displaystyle \ Pr ( X = 1) = p}$ ${\ displaystyle \ Pr ( Икс = 1) = p}$ и $Pr (X = 0) = q {\ displaystyle \ Pr (X = 0) = q}$ ${\ displaystyle \ Pr (X = 0) = q}$ находим

E ⁡ [X] = Pr (X = 1) ⋅ 1 + Pr (X = 0) ⋅ 0 = p ⋅ 1 + q ⋅ 0 = p. {\ displaystyle \ operatorname {E} [X] = \ Pr (X = 1) \ cdot 1+ \ Pr (X = 0) \ cdot 0 = p \ cdot 1 + q \ cdot 0 = p.}

{\ displaystyle \ operatorname {E } [X] = \ Pr (X = 1) \ cdot 1+ \ Pr (X = 0) \ cdot 0 = p \ cdot 1 + q \ cdot 0 = p.}

Дисперсия

Дисперсия распределенного Бернулли $X {\ displaystyle X}$ $X$ составляет

Var ⁡ [X] = pq = p (1 - p) {\ displaystyle \ operatorname {Var} [X] = pq = p (1-p)}

\ operatorname {Var } [X] = pq = p (1-p)

Сначала мы находим

E ⁡ [X 2] = Pr (X = 1) ⋅ 1 2 + Pr (Икс = 0) ⋅ 0 2 знак равно п 1 2 + q ⋅ 0 2 знак равно п {\ Displaystyle \ OperatorName {E} [X ^ {2}] = \ Pr (X = 1) \ CDOT 1 ^ {2} + \ Pr (X = 0) \ cdot 0 ^ {2} = p \ cdot 1 ^ {2} + q \ cdot 0 ^ {2} = p}

{\ displaystyle \ operatorname {E} [X ^ {2}] = \ Pr (X = 1) \ cdot 1 ^ {2} + \ Pr (X = 0) \ cdot 0 ^ {2} = p \ cdot 1 ^ {2} + q \ cdot 0 ^ {2} = p}

Отсюда следует

Var ⁡ [X] Знак равно E ⁡ [X 2] - E ⁡ [X] 2 = p - p 2 = p (1 - p) = pq {\ displaystyle \ operatorname {Var} [X] = \ operatorname {E} [X ^ {2 }] - \ operatorname {E} [X] ^ {2} = pp ^ {2} = p (1-p) = pq}

\ operatorname {Var} [X] = \ operatorname {E} [X ^ {2}] - \ operatorname {E} [X] ^ {2} = pp ^ {2} = p ( 1-p) = pq

Асимметрия

асимметрия равна $q - ppq = 1-2 ppq {\ displaystyle {\ frac {qp} {\ sqrt {pq}}} = {\ frac {1-2p} {\ sqrt {pq}}}}$ ${\ frac {qp} {\ sqrt {pq}}} = {\ frac {1-2p} {\ sqrt {pq}}}$ . Когда мы берем стандартизированную случайную величину с распределением Бернулли $X - E ⁡ [X] Var ⁡ [X] {\ displaystyle {\ frac {X- \ operatorname {E} [X]} {\ sqrt {\ operatorname {Var } [X]}}}}$ ${\ frac {X- \ operatorname {E} [X]} {\ sqrt {\ operatorname {Var} [X ]}}}$ мы находим, что эта случайная величина достигает $qpq {\ displaystyle {\ frac {q} {\ sqrt {pq}}}}$ ${\ frac {q} {\ sqrt {pq}}}$ с вероятность $p {\ displaystyle p}$ $p$ и с вероятностью достигает $- ppq {\ displaystyle - {\ frac {p} {\ sqrt {pq}}}}$ $- {\ frac {p} {\ sqrt {pq}}}$ $д {\ displaystyle q}$ $q$ . Таким образом, получаем

γ 1 = E ⁡ [(X - E ⁡ [X] Var ⁡ [X]) 3] = p ⋅ (qpq) 3 + q ⋅ (- ppq) 3 = 1 pq 3 (pq 3 - qp 3) = pqpq 3 (q - p) = q - ppq {\ displaystyle {\ begin {align} \ gamma _ {1} = \ operatorname {E} \ left [\ left ({\ frac {X- \ operatorname {E} [X]} {\ sqrt {\ operatorname {Var} [X]}}} \ right) ^ {3} \ right] \\ = p \ cdot \ left ({\ frac {q} {\ sqrt {pq}}} \ right) ^ {3} + q \ cdot \ left (- {\ frac {p} {\ sqrt {pq}}} \ right) ^ {3} \\ = {\ frac {1} {{\ sqrt {pq}} ^ {3}}} \ left (pq ^ {3} -qp ^ {3} \ right) \\ = {\ frac {pq} {{\ sqrt { pq}} ^ {3}}} (qp) \\ = {\ frac {qp} {\ sqrt {pq}}} \ end {align}}}

{\ begin {align} \ gamma _ {1} = \ operatorname {E} \ left [\ left ({\ frac {X- \ operatorname {E} [X]} {\ sqrt {\ operatorname {Var} [X]}}} \ right) ^ {3} \ right] \\ = p \ cdot \ left ({\ frac {q} {\ sqrt {pq}}} \ right) ^ {3} + q \ cdot \ left (- {\ frac {p} {\ sqrt {pq}}} \ right) ^ { 3} \\ = {\ frac {1} {{\ sqrt {pq}} ^ {3}}} \ left (pq ^ {3} -qp ^ {3} \ right) \\ = {\ frac {pq} {{\ sqrt {pq}} ^ {3}}} (qp) \\ = {\ frac {qp} {\ sqrt {pq}}} \ end {align}}

Высшие моменты и кумулянты

Центральный момент порядка $k {\ displaystyle k}$ $k$ задается как

μ k = (1 - p) (- p) k + p (1 - p) k. {\ displaystyle \ mu _ {k} = (1-p) (- p) ^ {k} + p (1-p) ^ {k}.}

{\ displaystyle \ mu _ {k} = (1-p) (- p) ^ {k} + p (1-p) ^ {k}.}

Первые шесть центральных моментов:

μ 1 = 0, μ 2 = p (1 - p), μ 3 = p (1 - p) (1-2 p), μ 4 = p (1 - p) (1-3 p (1 - p)), μ 5 = p (1 - p) (1-2 p) (1-2 p (1 - p)), μ 6 = p (1 - p) (1 - 5 p (1 - p) (1 - p) (1 - п))). {\ displaystyle {\ begin {align} \ mu _ {1} = 0, \\\ mu _ {2} = p (1-p), \\\ mu _ {3} = p (1- p) (1-2p), \\\ mu _ {4} = p (1-p) (1-3p (1-p)), \\\ mu _ {5} = p (1-p) (1-2p) (1-2p (1-p)), \\\ mu _ {6} = p (1-p) (1-5p (1-p) (1-p (1-p)))). \ end {align}}}

{\ displaystyle {\ begin {align} \ mu _ {1} = 0, \\\ mu _ {2} = p (1 -p), \\\ mu _ {3} = p (1-p) (1-2p), \\\ mu _ {4} = p (1-p) (1-3p (1-p)), \\\ mu _ {5} = p (1-p) (1-2p) (1-2p (1-p)), \\\ mu _ {6} = p (1-p) (1-5p (1-p) (1-p (1-p))). \ End {align}}}

Высшие центральные моменты могут быть выражены более компактно в терминах $μ 2 {\ displaystyle \ mu _ {2}}$ $\ mu _ {2}$ и $μ 3 {\ displaystyle \ mu _ {3}}$ $\ mu _ {3}$

μ 4 = μ 2 (1-3 μ 2), μ 5 = μ 3 (1-2 μ 2), μ 6 = μ 2 (1 - 5 μ 2 (1 - μ 2)). {\ displaystyle {\ begin {align} \ mu _ {4} = \ mu _ {2} (1-3 \ mu _ {2}), \\\ mu _ {5} = \ mu _ {3 } (1-2 \ mu _ {2}), \\\ mu _ {6} = \ mu _ {2} (1-5 \ mu _ {2} (1- \ mu _ {2})). \ end {align}}}

{\ displaystyle {\ begin {align} \ mu _ {4} = \ mu _ {2} (1-3 \ mu _ {2}), \\\ mu _ {5} = \ mu _ {3} (1-2 \ mu _ {2}), \\\ mu _ {6} = \ mu _ {2} (1-5 \ mu _ {2 } (1- \ mu _ {2})). \ End {align}}}

Первые шесть кумулянтов:

κ 1 = p, κ 2 = μ 2, κ 3 = μ 3, κ 4 = μ 2 (1 - 6 μ 2), κ 5 = μ 3 (1 - 12 μ 2), κ 6 = μ 2 (1 - 30 μ 2 (1 - 4 μ 2)). {\ Displaystyle {\ begin {выравнивается} \ каппа _ {1} = p, \\\ каппа _ {2} = \ mu _ {2}, \\\ каппа _ {3} = \ mu _ { 3}, \\\ каппа _ {4} = \ mu _ {2} (1-6 \ mu _ {2}), \\\ каппа _ {5} = \ mu _ {3} (1- 12 \ mu _ {2}), \\\ каппа _ {6} = \ mu _ {2} (1-30 \ mu _ {2} (1-4 \ mu _ {2})). \ End {align}}}

{\ displaystyle {\ begin {align} \ kappa _ {1} = p, \\\ каппа _ {2} = \ mu _ {2}, \\\ kappa _ {3} = \ mu _ {3}, \\\ каппа _ {4} = \ mu _ {2} (1-6 \ mu _ {2}), \\\ каппа _ {5} = \ mu _ {3} (1-12 \ mu _ {2}), \\\ каппа _ { 6} = \ mu _ {2} (1-30 \ mu _ {2} (1-4 \ mu _ {2})). \ End {align}}}

Связанные распределения

Если $X 1,…, X n {\ displaystyle X_ {1}, \ dots, X_ {n}}$ $X_ {1}, \ точки, X_ {n}$ независимы, тождественно распределенные (iid ) случайные величины, все испытания Бернулли с вероятностью успеха p, тогда их сумма распределяется согласно биномиальному распределению с параметры n и p:
$∑ K = 1 n X K ∼ B ⁡ (n, p) {\ displaystyle \ sum _ {k = 1} ^ {n} X_ {k} \ sim \ operatorname {B} ( n, p)}$ ${\ displaystyle \ sum _ {k = 1} ^ {n} X_ {k} \ sim \ operatorname {B} (n, p)}$ (биномиальное распределение ).

Распределение Бернулли - это просто

B ⁡ (1, p) {\ displaystyle \ operatorname {B} (1, p)}

{\ displaystyle \ operatorname { B} (1, p)}

, также записывается как

Бернулли (р). {\ textstyle \ mathrm {Bernoulli} (p).}

{\ textstyle \ mathrm {Bernoulli} ( p).}

Категориальное распределение - это обобщение распределения Бернулли для переменных с любым постоянным числом дискретных значений.
Бета-распределение - это сопряженный априор распределения Бернулли.
Геометрическое распределение моделирует количество независимых и идентичных испытаний Бернулли, необходимых для получения одного успех.
Если $Y ∼ B ernoulli (1 2) {\ textstyle Y \ sim \ mathrm {Bernoulli} \ left ({\ frac {1} {2}} \ right)}$ ${\ textstyle Y \ sim \ mathrm {Bernoulli} \ left ({\ frac {1} {2}} \ right)}$ , тогда $2 Y - 1 {\ textstyle 2Y-1}$ ${\ textstyle 2Y-1}$ имеет распределение Радемахера.

См. Также

процесс Бернулли, a случайный процесс, состоящий из последовательности независимых испытаний Бернулли
Выборка Бернулли
Двоичная энтропийная функция
Двоичная диаграмма решений

Ссылки

Дополнительная литература

Джонсон, Нидерланды; Kotz, S.; Кемп, А. (1993). Одномерные дискретные распределения (2-е изд.). Вайли. ISBN 0-471-54897-9.
Питман, Джон Г. (1963). Введение в прикладную статистику. Нью-Йорк: Харпер и Роу. стр. 162–171.

Внешние ссылки

Викискладе есть средства массовой информации, связанные с распределением Бернулли.

, Энциклопедия математики, EMS Press, 2001 [1994 ]
Вайсштейн, Эрик У. "Бернулли Дистрибьюшн". MathWorld.
Интерактивная графика: Одномерные отношения распределения