Независимость (теория вероятностей)

Термин в теории вероятностей

Независимость - фундаментальное понятие в теории вероятностей, как в статистика и теория случайных процессов.

Два события являются независимыми, статистически независимыми или стохастически независимый, если наличие одного не влияет на вероятность появления другого (эквивалентно, не влияет на шансы ). Точно так же две случайные величины независимы, если реализация одной не влияет на распределение вероятностей другой.

При работе с коллекциями из более чем двух событий необходимо различать слабое и сильное понятие независимости. События называются попарно независимыми, если любые два события в коллекции независимы друг от друга, при этом говорится, что события взаимно независимы (или вместе независимы ) интуитивно означает, что каждое событие не зависит от любой комбинации других событий в коллекции. Аналогичное понятие существует для наборов случайных величин.

Название «взаимная независимость» (то же самое, что «коллективная независимость») кажется результатом педагогического выбора, просто чтобы отличить более сильное понятие от «попарной независимости», которое является более слабым понятием. В современной литературе по теории вероятностей, статистике и случайным процессам более сильное понятие называется просто независимость без модификатора. Он сильнее, поскольку независимость подразумевает попарную независимость, но не наоборот.

• 1 Определение
  • 1.1 Для событий
    • 1.1.1 Два события
    • 1.1.2 Вероятность журнала и информационное содержание
    • 1.1.3 Шансы
    • 1.1.4 Более двух события
  • 1.2 Для вещественных случайных величин
    • 1.2.1 Две случайные величины
    • 1.2.2 Более двух случайных величин
  • 1.3 Для вещественных случайных векторов
  • 1.4 Для случайных процессов
    • 1.4.1 Для одного случайного процесса
    • 1.4.2 Для двух случайных процессов
  • 1.5 Независимые σ-алгебры
• 2 Свойства
  • 2.1 Самостоятельность
  • 2.2 Ожидание и ковариация
  • 2.3 Характеристическая функция
• 3 Примеры
  • 3.1 Игра в кости
  • 3.2 Вытягивание карт
  • 3.3 Попарная и взаимная независимость
  • 3.4 Взаимная независимость
• 4 Условная независимость
  • 4.1 Для событий
  • 4.2 Для случайных величин
• 5 См. Также
• 6 Ссылки
• 7 Внешние ссылки

Для событий

Два события

Два события $A\; \{\backslash \; displaystyle\; A\}$и $B\; \{\backslash \; displaystyle\; B\}$независимы (часто пишется как $A\; \perp \; B\; \{\backslash \; displaystyle\; A\; \backslash \; perp\; B\}$или $A\; \perp \; \perp \; B\; \{\backslash \; displaystyle\; A\; \backslash \; perp\; \backslash !\; \backslash !\; \backslash !\; \backslash \; Perp\; B\; \}$) тогда и только тогда, когда их совместная вероятность равна произведению их вероятностей:

$P\; (A\; \cap \; B)\; =\; P\; (A)\; P\; (B)\; \{\backslash \; displaystyle\; \backslash \; mathrm\; \{P\}\; (A\; \backslash \; cap\; B)\; =\; \backslash \; mathrm\; \{P\}\; (A)\; \backslash \; mathrm\; \{P\}\; (B)\}$

(Eq.1)

Почему это определяет независимость, становится ясно, если переписать с помощью условные вероятности :

$P\; (A\; \cap \; B)\; =\; P\; (A)\; P\; (B)\; ⟺\; P\; (A)\; =\; P\; (A\; \cap \; B)\; P\; (B)\; =\; P\; (A\; \mid \; B)\; \{\backslash \; displaystyle\; \backslash \; mathrm\; \{P\}\; (A\; \backslash \; cap\; B)\; =\; \backslash \; mathrm\; \{P\}\; (A)\; \backslash \; mathrm\; \{P\}\; (B)\; \backslash \; iff\; \backslash \; mathrm\; \{P\}\; (A)\; =\; \{\backslash \; frac\; \{\backslash \; mathrm\; \{P\}\; (A\; \backslash \; cap\; B)\}\; \{\backslash \; mathrm\; \{P\}\; (B)\}\}\; =\; \backslash \; mathrm\; \{P\}\; (A\; \backslash \; mid\; B)\}$.

и аналогично

$P\; (A\; \cap \; B)\; =\; P\; (A)\; P\; (B)\; ⟺\; п\; (В)\; знак\; равно\; п\; (В\; \mid \; A)\; \{\backslash \; Displaystyle\; \backslash \; mathrm\; \{P\}\; (A\; \backslash \; cap\; B)\; =\; \backslash \; mathrm\; \{P\}\; (A)\; \backslash \; mathrm\; \{P\}\; (B)\; \backslash \; iff\; \backslash \; mathrm\; \{P\}\; (B)\; =\; \backslash \; mathrm\; \{P\}\; (B\; \backslash \; mid\; A)\}$.

Таким образом, появление $B\; \{\backslash \; displaystyle\; B\}$не влияет на вероятность $A\; \{\; \backslash \; Displaystyle\; A\}$, наоборот. Хотя производные выражения могут показаться более интуитивными, они не являются предпочтительным определением, поскольку условные вероятности могут быть неопределенными, если $P\; (A)\; \{\backslash \; displaystyle\; \backslash \; mathrm\; \{P\}\; (A)\}$или $P\; (B)\; \{\backslash \; displaystyle\; \backslash \; mathrm\; \{P\}\; (B)\}$равны 0. Кроме того, из предпочтительного определения симметрии ясно, что когда $A\; \{\backslash \; displaystyle\; A\}$не зависит от $B\; \{\backslash \; displaystyle\; B\}$, $B\; \{\backslash \; displaystyle\; B\}$также не зависит от $A\; \{\backslash \; displaystyle\; A\}$.

логарифмической вероятности и информационное содержание

Заявленное в терминах логарифмической вероятности, два события являются независимыми тогда и только тогда, когда логарифмическая вероятность совместного события является суммой логарифмической вероятности отдельных событий:

$журнал\; \; п\; (A\; \cap \; В)\; знак\; равно\; журнал\; \; п\; (A)\; +\; журнал\; \; п\; (B)\; \{\backslash \; displaystyle\; \backslash \; log\; \backslash \; mathrm\; \{P\}\; (A\; \backslash \; cap\; B)\; =\; \backslash \; log\; \backslash \; mathrm\; \{P\}\; (A)\; +\; \backslash \; log\; \backslash \; mathrm\; \{P\}\; (B)\}$

В теории информации отрицательная логарифмическая вероятность интерпретируется как информационное содержание, и таким образом, два события независимы тогда и только тогда, когда информационное содержание объединенного события равно сумме информационного содержания отдельных событий:

$I\; (A\; \cap \; B)\; =\; I\; (A)\; +\; I\; (B)\; \{\backslash \; displaystyle\; \backslash \; mathrm\; \{I\}\; (A\; \backslash \; cap\; B)\; =\; \backslash \; mathrm\; \{I\}\; (A)\; +\; \backslash \; mathrm\; \{I\}\; (B)\}$

Подробнее см. Информационное содержание § Аддитивность независимых событий.

Коэффициенты

Выраженные в терминах коэффициентов, два события независимы тогда и только тогда, когда отношение шансов из $A\; \{\backslash \; displaystyle\; A\}$и $B\; \{\backslash \; displaystyle\; B\}$равно единице (1). Аналогично вероятности это эквивалентно тому, что условные шансы равны безусловным:

$O\; (A\; \mid \; B)\; =\; O\; (A)\; и\; O\; (B\; \mid \; A)\; =\; O\; (B),\; \{\backslash \; displaystyle\; O\; (\; A\; \backslash \; mid\; B)\; =\; O\; (A)\; \{\backslash \; text\; \{и\}\}\; O\; (B\; \backslash \; mid\; A)\; =\; O\; (B),\}$

или к вероятности одного события, учитывая, что другое событие такое же в качестве шансов события, если другое событие не произойдет:

$O\; (A\; \mid \; B)\; =\; O\; (A\; \mid \; \neg \; B)\; и\; O\; (B\; \mid \; A)\; =\; O\; (B\; \mid \; \neg \; A).\; \{\backslash \; displaystyle\; O\; (A\; \backslash \; mid\; B)\; =\; O\; (A\; \backslash \; mid\; \backslash \; neg\; B)\; \{\backslash \; text\; \{and\}\}\; O\; (B\; \backslash \; mid\; A)\; =\; O\; (B\; \backslash \; mid\; \backslash \; neg\; A).\}$

отношение шансов можно определить как

$O\; (A\; \mid \; B):\; O\; (A\; \mid \; \neg \; B),\; \{\backslash \; displaystyle\; O\; (A\; \backslash \; mid\; B):\; O\; (A\; \backslash \; mid\; \backslash \; neg\; B),\}$

или симметрично для шансов $B\; \{\backslash \; displaystyle\; B\}$при $A\; \{\backslash \; displaystyle\; A\}$, и, таким образом, равен 1 тогда и только тогда, когда события независимы.

Более двух событий

Конечный набор событий $\{A\; i\}\; i\; =\; 1\; n\; \{\backslash \; displaystyle\; \backslash \; \{A\_\; \{i\}\; \backslash \}\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\}$является попарно независимым, если каждая пара событий независима, то есть тогда и только тогда, когда для всех различных пар индексов $m,\; k\; \{\backslash \; displaystyle\; m\; к\}$,

$п\; (A\; м\; \cap \; A\; К)\; знак\; равно\; п\; (A\; м)\; P\; (A\; k)\; \{\backslash \; displaystyle\; \backslash \; mathrm\; \{P\}\; (A\_\; \{m\}\; \backslash \; cap\; A\_\; \{k\})\; =\; \backslash \; mathrm\; \{P\; \}\; (A\_\; \{m\})\; \backslash \; mathrm\; \{P\}\; (A\_\; \{k\})\}$

(Eq.2)

Конечный набор событий взаимно независимый, если каждое событие не зависит от любое пересечение других событий, то есть, если и только если для каждого $k\; \le \; n\; \{\backslash \; displaystyle\; k\; \backslash \; leq\; n\}$и для каждого $k\; \{\backslash \; displaystyle\; k\}$-элементное подмножество событий $\{B\; i\}\; i\; =\; 1\; k\; \{\backslash \; displaystyle\; \backslash \; \{B\_\; \{i\}\; \backslash \}\; \_\; \{i\; =\; 1\}\; ^\; \{k\}\}$из $\{A\; i\}\; i\; =\; 1\; n\; \{\backslash \; displaystyle\; \backslash \; \{A\_\; \{i\}\; \backslash \}\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\}$,

$P\; (\bigcap \; i\; =\; 1\; k\; B\; i)\; =\; \prod \; i\; =\; 1\; К\; п\; (В\; я)\; \{\backslash \; Displaystyle\; \backslash \; mathrm\; \{P\}\; \backslash \; left\; (\backslash \; bigcap\; \_\; \{я\; =\; 1\}\; ^\; \{k\}\; B\_\; \{i\}\; \backslash \; right)\; =\; \backslash \; prod\; \_\; \{i\; =\; 1\}\; ^\; \{k\}\; \backslash \; mathrm\; \{P\}\; (B\_\; \{i\})\}$

(Ур. 3)

Это называется правилом умножения для независимых событий. Обратите внимание, что это не одно условие, включающее только произведение всех вероятностей всех отдельных событий (контрпример см. В ниже); это должно выполняться для всех подмножеств событий.

Для более чем двух событий взаимно независимый набор событий является (по определению) попарно независимым; но обратное не обязательно верно (контрпример см. ниже).

Для случайных величин с действительным знаком

Две случайные величины

Две случайные величины $X\; \{\backslash \; displaystyle\; X\}$и $Y\; \{\backslash \; displaystyle\; Y\}$являются независимымитогда и только тогда, когда ( если и е) порожденные ими элементы π-системы независимы; то есть для каждого $x\; \{\backslash \; displaystyle\; x\}$и $y\; \{\backslash \; displaystyle\; y\}$, события $\{X\; \le \; x\}\; \{\; \backslash \; displaystyle\; \backslash \; \{X\; \backslash \; leq\; x\; \backslash \}\}$и $\{Y\; \le \; y\}\; \{\backslash \; displaystyle\; \backslash \; \{Y\; \backslash \; leq\; y\; \backslash \}\}$являются независимыми событиями (как определено выше в Eq.1). То есть $X\; \{\backslash \; displaystyle\; X\}$и $Y\; \{\backslash \; displaystyle\; Y\}$с кумулятивными функциями распределения $FX\; (x)\; \{\backslash \; displaystyle\; F\_\; \{X\}\; (x)\}$и $FY\; (y)\; \{\backslash \; displaystyle\; F\_\; \{Y\}\; (y)\}$, независимы если и только если комбинированная случайная величина $(X,\; Y)\; \{\backslash \; displaystyle\; (X,\; Y)\}$имеет совместную кумулятивную функцию распределения

$FX,\; Y\; (x,\; y)\; =\; FX\; (x)\; FY\; (y)\; для\; всех\; x,\; y\; \{\backslash \; displaystyle\; F\_\; \{X,\; Y\}\; (x,\; y)\; =\; F\_\; \{X\}\; (x)\; F\_\; \{Y\}\; (y)\; \backslash \; quad\; \{\backslash \; text\; \{для\; всех\}\}\; x,\; y\}$

(Eq.4)

или эквивалентно, если плотности вероятности $f\; X\; (x)\; \{\backslash \; displaystyle\; f\_\; \{X\}\; (\; x)\}$и $f\; Y\; (y)\; \{\backslash \; displaystyle\; f\_\; \{Y\}\; (y)\}$и совместная плотность вероятности $f\; X,\; Y\; (x,\; y)\; \{\backslash \; displaystyle\; f\_\; \{X,\; Y\}\; (x,\; y)\}$существование,

$f\; X,\; Y\; (x,\; y)\; =\; f\; X\; (x)\; f\; Y\; (y)\; для\; всех\; x,\; y\; \{\backslash \; displaystyle\; f\_\; \{X,\; Y\}\; (x,\; y)\; =\; f\_\; \{X\}\; (x)\; f\_\; \{Y\}\; (y)\; \backslash \; quad\; \{\backslash \; text\; \{for\; all\}\}\; x,\; y\}$.

Подробнее чем две случайные величины

Конечное множество $n\; \{\backslash \; displaystyle\; n\}$случайные величины $\{X\; 1,\dots ,\; X\; n\}\; \{\backslash \; displaystyle\; \backslash \; \{X\_\; \{1\},\; \backslash \; ldots,\; X\_\; \{n\}\; \backslash \}\}$является попарно независимым тогда и только тогда, когда каждая пара случайных величин независима. Даже если набор случайных величин попарно независим, он не обязательно является взаимно независимым, как определено ниже.

Конечный набор $n\; \{\backslash \; displaystyle\; n\}$случайных величин $\{X\; 1,\dots ,\; X\; n\}\; \{\backslash \; displaystyle\; \backslash \; \{X\_\; \{1\},\; \backslash \; ldots,\; X\_\; \{n\}\; \backslash \}\}$является взаимно независимым тогда и только тогда, когда для любой последовательности чисел $\{x\; 1,\dots ,\; xn\}\; \{\backslash \; displaystyle\; \backslash \; \{x\_\; \{1\},\; \backslash \; ldots,\; x\_\; \{n\}\; \backslash \}\}$, события $\{X\; 1\; \le \; x\; 1\},\dots ,\; \{X\; n\; \le \; xn\}\; \{\backslash \; displaystyle\; \backslash \; \{X\_\; \{1\; \}\; \backslash \; leq\; x\_\; \{1\}\; \backslash \},\; \backslash \; ldots,\; \backslash \; \{X\_\; \{n\}\; \backslash \; leq\; x\_\; \{n\}\; \backslash \}\}$являются взаимно независимыми событиями (как определено выше в Eq.3 ). Это эквивалентно следующему условию для совместной кумулятивной функции распределения $FX\; 1,\dots ,\; X\; n\; (x\; 1,\dots ,\; xn)\; \{\backslash \; displaystyle\; F\_\; \{X\_\; \{1\},\; \backslash \; ldots,\; X\_\; \{n\}\}\; (\; x\_\; \{1\},\; \backslash \; ldots,\; x\_\; \{n\})\}$. Конечный набор $n\; \{\backslash \; displaystyle\; n\}$случайных величин $\{X\; 1,\dots ,\; X\; n\}\; \{\backslash \; displaystyle\; \backslash \; \{X\_\; \{1\},\; \backslash \; ldots,\; X\_\; \{n\}\; \backslash \}\}$является взаимно независимым тогда и только тогда, когда

$FX\; 1,\dots ,\; X\; n\; (x\; 1,\dots ,\; xn)\; =\; FX\; 1\; (x\; 1)\; \cdot \dots \; \cdot \; FX\; n\; (xn)\; для\; всех\; x\; 1,\dots ,\; xn\; \{\backslash \; displaystyle\; F\_\; \{X\_\; \{1\},\; \backslash \; ldots,\; X\_\; \{n\}\}\; (x\_\; \{1\},\; \backslash \; ldots,\; x\_\; \{n\})\; =\; F\_\; \{X\_\; \{\; 1\}\}\; (x\_\; \{1\})\; \backslash \; cdot\; \backslash \; ldots\; \backslash \; cdot\; F\_\; \{X\_\; \{n\}\}\; (x\_\; \{n\})\; \backslash \; quad\; \{\backslash \; text\; \{для\; всех\}\}\; x\_\; \{1\},\; \backslash \; ldots,\; x\_\; \{n\}\; \}$

(Eq.5)

Обратите внимание, что здесь нет необходимости требовать, чтобы распределение вероятностей факторизовалось для всех возможных $k\; -\; \{\backslash \; displaystyle\; k-\}$подмножеств элементов, как в случай для событий $n\; \{\backslash \; displaystyle\; n\}$. Это не требуется, потому что, например, $FX\; 1,\; X\; 2,\; X\; 3\; (x\; 1,\; x\; 2,\; x\; 3)\; =\; FX\; 1\; (x\; 1)\; \cdot \; FX\; 2\; (x\; 2)\; \cdot \; FX\; 3\; (x\; 3)\; \{\backslash \; displaystyle\; F\_\; \{X\_\; \{1)\; \},\; X\_\; \{2\},\; X\_\; \{3\}\}\; (x\_\; \{1\},\; x\_\; \{2\},\; x\_\; \{3\})\; =\; F\_\; \{X\_\; \{1\}\}\; (x\_\; \{1\})\; \backslash \; cdot\; F\_\; \{X\_\; \{2\}\; \}\; (x\_\; \{2\})\; \backslash \; cdot\; F\_\; \{X\_\; \{3\}\}\; (x\_\; \{3\})\}$подразумевает $FX\; 1,\; X\; 3\; (x\; 1,\; x\; 3)\; =\; FX\; 1\; (x\; 1)\; \cdot \; FX\; 3\; (x\; 3)\; \{\backslash \; displaystyle\; F\_\; \{X\_\; \{1\},\; X\_\; \{3\}\}\; (x\_\; \{1\},\; x\_\; \{3\})\; =\; F\_\; \{X\_\; \{1\}\}\; (x\_\; \{1\})\; \backslash \; cdot\; F\_\; \{X\_\; \{3\}\}\; (x\_\; \{3\})\}$.

Теоретически склонный к измерениям может предпочесть замену событий $\{X\; \in \; A\}\; \{\backslash \; displaystyle\; \backslash \; \{X\; \backslash \; in\; A\; \backslash \}\}$для событий $\{X\; \le \; x\}\; \{\backslash \; displaystyle\; \backslash \; \{X\; \backslash \; leq\; x\; \backslash \}\}$в приведенном выше определении, где $A\; \{\backslash \; displaystyle\; A\}$- любой набор Бореля. Это определение в точности эквивалентно приведенному выше, когда значения случайных величин являются действительными числами. Его преимущество заключается в том, что он работает также для комплексных случайных величин или для случайных величин, принимающих значения в любом измеримом пространстве (которое включает в себя топологические пространства, снабженные соответствующими σ-алгебрами).

Для случайных векторов с действительными значениями

Два случайных вектора $X\; =\; (X\; 1,...,\; X\; m)\; T\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{X\}\; =\; (X\_\; \{1\; \},...,\; X\_\; \{m\})\; ^\; \{T\}\}$и $Y\; =\; (Y\; 1,...,\; Y\; n)\; T\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{Y\}\; =\; (\; Y\_\; \{1\},...,\; Y\_\; \{n\})\; ^\; \{T\}\}$называются независимыми if

$FX,\; Y\; (x,\; y)\; =\; FX\; (x)\; \cdot \; FY\; (\; y)\; для\; всех\; x,\; y\; \{\backslash \; displaystyle\; F\; \_\; \{\backslash \; mathbf\; \{X,\; Y\}\}\; (\backslash \; mathbf\; \{x,\; y\})\; =\; F\; \_\; \{\backslash \; mathbf\; \{X\}\}\; (\backslash \; mathbf\; \{x\})\; \backslash \; cdot\; F\; \_\; \{\backslash \; mathbf\; \{Y\}\}\; (\backslash \; mathbf\; \{y\})\; \backslash \; quad\; \{\backslash \; text\; \{для\; всех\}\}\; \backslash \; mathbf\; \{x\},\; \backslash \; mathbf\; \{y\}\}$

(Eq.6)

где $FX\; (Икс)\; \{\backslash \; Displaystyle\; F\; \_\; \{\backslash \; mathbf\; \{X\}\}\; (\backslash \; mathbf\; \{x\})\}$и $FY\; (y)\; \{\backslash \; displaystyle\; F\; \_\; \{\backslash \; mathbf\; \{Y\}\}\; (\backslash \; mathbf\; \{y\})\}$обозначают совокупные функции распределения $X\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{X\}\}$и $Y\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{Y\}\}$и $FX,\; Y\; (x,\; y)\; \{\backslash \; displaystyle\; F\; \_\; \{\backslash \; mathbf\; \{X,\; Y\}\}\; (\backslash \; mathbf\; \{x,\; y\})\}$обозначает их соединение кумулятивная функция распределения. Независимость $X\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{X\}\}$и $Y\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{Y\}\}$часто обозначается $X\; \perp \; \perp \; Y\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{X\}\; \backslash \; perp\; \backslash !\; \backslash !\; \backslash !\; \backslash \; Perp\; \backslash \; mathbf\; \{Y\}\}$. Написанные покомпонентно, $X\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{X\}\}$и $Y\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{Y\}\}$называются независимыми, если

$FX\; 1,\dots ,\; X\; m,\; Y\; 1,\dots ,\; Y\; n\; (x\; 1,\dots ,\; xm,\; y\; 1,\dots ,\; yn)\; =\; FX\; 1,\dots ,\; X\; m\; (x\; 1,\dots ,\; xm)\; \cdot \; FY\; 1,\dots ,\; Y\; n\; (y\; 1,\dots ,\; yn)\; для\; всех\; x\; 1,\dots ,\; xm,\; y\; 1,\dots ,\; yn\; \{\backslash \; displaystyle\; F\_\; \{X\_\; \{1\},\; \backslash \; ldots,\; X\_\; \{m\},\; Y\_\; \{1\},\; \backslash \; ldots,\; Y\_\; \{n\}\}\; (x\_\; \{1\},\; \backslash \; ldots,\; x\_\; \{m\},\; y\_\; \{1\},\; \backslash \; ldots,\; y\_\; \{n\})\; =\; F\_\; \{X\_\; \{1\},\; \backslash \; ldots,\; X\_\; \{m\; \}\}\; (x\_\; \{1\},\; \backslash \; ldots,\; x\_\; \{m\})\; \backslash \; cdot\; F\_\; \{Y\_\; \{1\},\; \backslash \; ldots,\; Y\_\; \{n\}\}\; (y\_\; \{1\},\; \backslash \; ldots,\; y\_\; \{n\})\; \backslash \; quad\; \{\; \backslash \; text\; \{для\; всех\}\}\; x\_\; \{1\},\; \backslash \; ldots,\; x\_\; \{m\},\; y\_\; \{1\},\; \backslash \; ldots,\; y\_\; \{n\}\}$.

Для стохастических процессов

Для одного случайного процесса

Определение независимости может быть расширено от случайных векторов до случайного процесса. Таким образом, для независимого случайного процесса требуется, чтобы случайные величины, полученные путем выборки процесса в любое $n\; \{\backslash \; displaystyle\; n\}$раз $t\; 1,\dots ,\; tn\; \{\backslash \; displaystyle\; t\_\; \{\; 1\},\; \backslash \; ldots,\; t\_\; \{n\}\}$- независимые случайные величины для любых $n\; \{\backslash \; displaystyle\; n\}$.

Формально, случайный процесс $\{X\; t\}\; t\; \in \; T\; \{\backslash \; displaystyle\; \backslash \; left\; \backslash \; \{X\_\; \{t\}\; \backslash \; right\; \backslash \}\; \_\; \{t\; \backslash \; in\; \{\backslash \; mathcal\; \{T\}\}\}\}$называется независимым, если и только если для всех $n\; \in \; N\; \{\backslash \; displaystyle\; n\; \backslash \; in\; \backslash \; mathbb\; \{N\}\}$и для всех $t\; 1,\dots ,\; tn\; \in \; T\; \{\backslash \; displaystyle\; t\_\; \{1\},\; \backslash \; ldots,\; t\_\; \{n\}\; \backslash \; in\; \{\backslash \; mathcal\; \{T\}\}\}$

$FX\; t\; 1,\dots ,\; X\; tn\; (x\; 1,\dots ,\; xn)\; =\; FX\; t\; 1\; (x\; 1)\; \cdot \dots \; \cdot \; FX\; tn\; (xn)\; для\; всех\; x\; 1,\dots ,\; xn\; \{\backslash \; displaystyle\; F\_\; \{X\_\; \{t\_\; \{1\}\},\; \backslash \; ldots,\; X\_\; \{t\_\; \{n\}\}\}\; (x\_\; \{1\},\; \backslash \; ldots,\; x\_\; \{n\})\; =\; F\_\; \{X\_\; \{t\_\; \{1\}\}\}\; (x\_\; \{1\})\; \backslash \; cdot\; \backslash \; ldots\; \backslash \; cdot\; F\_\; \{X\_\; \{t\_\; \{n\}\}\}\; (x\_\; \{n\})\; \backslash \; quad\; \{\backslash \; text\; \{для\; всех\}\}\; x\_\; \{1\},\; \backslash \; ldots,\; x\_\; \{n\}\; \}$

(уравнение 7)

где $FX\; t\; 1,\dots ,\; X\; tn\; (x\; 1,\dots ,\; xn)\; =\; P\; (X\; (t\; 1)\; \le \; x\; 1,\dots ,\; X\; (tn)\; \le \; xn)\; \{\backslash \; displaystyle\; F\_\; \{X\_\; \{t\_\; \{1\}\},\; \backslash \; ldots,\; X\_\; \{t\_\; \{n\}\}\}\; (x\_\; \{1\},\; \backslash \; ldots,\; x\_\; \{n\})\; =\; \backslash \; mathrm\; \{P\}\; (X\; (t\_\; \{1\; \})\; \backslash \; leq\; x\_\; \{1\},\; \backslash \; ldots,\; X\; (t\_\; \{n\})\; \backslash \; leq\; x\_\; \{n\})\}$. Независимость случайного процесса - это свойство внутри стохастического процесса, а не между двумя случайными процессами.

Для двух случайных процессов

Независимость двух случайных процессов - это свойство двух случайных процессов $\{X\; t\}\; t\; \in \; T\; \{\backslash \; displaystyle\; \backslash \; left\; \backslash \; \{X\_\; \{t\}\; \backslash \; право\; \backslash \}\; \_\; \{t\; \backslash \; in\; \{\backslash \; mathcal\; \{T\}\}\}\}$и $\{Y\; t\}\; t\; \in \; T\; \{\backslash \; displaystyle\; \backslash \; left\; \backslash \; \{Y\_\; \{t\}\; \backslash \; right\; \backslash \}\; \_\; \{t\; \backslash \; in\; \{\backslash \; mathcal\; \{T\}\}\}\}$, которые определены в одном вероятностном пространстве $(\Omega ,\; F,\; P)\; \{\backslash \; displaystyle\; (\backslash \; Omega,\; \{\backslash \; mathcal\; \{F\})\; \},\; P)\}$. Формально, два случайных процесса $\{X\; t\}\; t\; \in \; T\; \{\backslash \; displaystyle\; \backslash \; left\; \backslash \; \{X\_\; \{t\}\; \backslash \; right\; \backslash \}\; \_\; \{t\; \backslash \; in\; \{\backslash \; mathcal\; \{T\}\}\}\}$и $\{Y\; t\}\; t\; \in \; T\; \{\backslash \; displaystyle\; \backslash \; left\; \backslash \; \{Y\_\; \{t\}\; \backslash \; right\; \backslash \}\; \_\; \{t\; \backslash \; in\; \{\backslash \; mathcal\; \{T\}\}\}\}$называются независимым, если для всех $n\; \in \; N\; \{\backslash \; displaystyle\; n\; \backslash \; in\; \backslash \; mathbb\; \{N\}\}$и для всех $t\; 1,\dots ,\; tn\; \in \; T\; \{\backslash \; displaystyle\; t\_\; \{1\},\; \backslash \; ldots,\; t\_\; \{n\}\; \backslash \; in\; \{\backslash \; mathcal\; \{T\}\}\}$, случайные векторы $(X\; (t\; 1),\dots ,\; X\; (tn))\; \{\backslash \; displaystyle\; (X\; (\; t\_\; \{1\}),\; \backslash \; ldots,\; X\; (t\_\; \{n\}))\}$и $(Y\; (t\; 1),\dots ,\; Y\; (tn))\; \{\backslash \; displaystyle\; (Y\; (t\_\; \{\; 1\}),\; \backslash \; ldots,\; Y\; (t\_\; \{n\}))\}$независимы, т.е. если

$FX\; t\; 1,\dots ,\; X\; tn,\; Y\; t\; 1,\dots ,\; Y\; tn\; (x\; 1,\dots ,\; Xn,\; y\; 1,\dots ,\; yn)\; =\; FX\; t\; 1,\dots ,\; X\; tn\; (x\; 1,\dots ,\; xn)\; \cdot \; FY\; t\; 1,\dots ,\; Y\; tn\; (y\; 1,\dots ,\; yn)\; для\; всех\; x\; 1,\dots ,\; Xn\; \{\backslash \; displaystyle\; F\_\; \{X\_\; \{t\_\; \{1\}\},\; \backslash \; ldots,\; X\_\; \{t\_\; \{n\}\},\; Y\_\; \{t\_\; \{1\}\},\; \backslash \; ldots,\; Y\_\; \{t\_\; \{n\}\}\}\; (x\_\; \{\; 1\},\; \backslash \; ldots,\; x\_\; \{n\},\; y\_\; \{1\},\; \backslash \; ldots,\; y\_\; \{n\})\; =\; F\_\; \{X\_\; \{t\_\; \{1\}\},\; \backslash \; ldots,\; X\_\; \{t\_\; \{n\}\}\}\; (x\_\; \{1\; \},\; \backslash \; ldots,\; x\_\; \{n\})\; \backslash \; cdot\; F\_\; \{Y\_\; \{t\_\; \{1\; \}\},\; \backslash \; ldots,\; Y\_\; \{t\_\; \{n\}\}\}\; (y\_\; \{1\},\; \backslash \; ldots,\; y\_\; \{n\})\; \backslash \; quad\; \{\backslash \; text\; \{для\; всех\}\}\; x\_\; \{1\},\; \backslash \; ldots,\; x\_\; \{n\}\; \}$

(Ур.8)

Независимые σ-алгебры

Определения, приведенные выше (Ур.1 и Ур. 2 ) оба обобщаются следующим определением независимости для σ-алгебр. Пусть $(\Omega ,\; \Sigma ,\; P)\; \{\backslash \; displaystyle\; (\backslash \; Omega,\; \backslash \; Sigma,\; \backslash \; mathrm\; \{P\})\}$будет вероятностным пространством и пусть $A\; \{\backslash \; displaystyle\; \{\backslash \; mathcal\; \{A\}\}\}$и $B\; \{\backslash \; displaystyle\; \{\backslash \; mathcal\; \{B\}\}\}$- две под-σ-алгебры $\Sigma \; \{\backslash \; displaystyle\; \backslash \; Sigma\; \}$. $A\; \{\backslash \; displaystyle\; \{\backslash \; mathcal\; \{A\}\}\}$и $B\; \{\backslash \; displaystyle\; \{\backslash \; mathcal\; \{B\}\}\}$считаются независимый если всякий раз, когда $A\; \in \; A\; \{\backslash \; displaystyle\; A\; \backslash \; in\; \{\backslash \; mathcal\; \{A\}\}\}$и $B\; \in \; B\; \{\backslash \; displaystyle\; B\; \backslash \; in\; \{\backslash \; mathcal\; \{B\}\}\}$,

$P\; (A\; \cap \; B)\; =\; P\; (A)\; P\; (B).\; \{\backslash \; displaystyle\; \backslash \; mathrm\; \{P\}\; (A\; \backslash \; cap\; B)\; =\; \backslash \; mathrm\; \{P\}\; (A)\; \backslash \; mathrm\; \{P\}\; (B).\}$

Аналогично, конечное семейство σ-алгебр $(\tau \; я)\; i\; \in \; I\; \{\backslash \; displaystyle\; (\backslash \; tau\; \_\; \{i\})\; \_\; \{i\; \backslash \; in\; I\}\}$, где $I\; \{\backslash \; displaystyle\; I\}$- индексное множество, называется независимым тогда и только тогда, когда

$(A\; i)\; i\; \in \; I\; \in \; \prod \; i\; \in \; I\; \tau \; i:\; P\; (\bigcap \; i\; \in \; IA\; i)\; =\; \prod \; i\; \in \; IP\; (\; A\; i)\; \{\backslash \; displaystyle\; \backslash \; forall\; \backslash \; left\; (A\_\; \{i\}\; \backslash \; right)\; \_\; \{i\; \backslash \; in\; I\}\; \backslash \; in\; \backslash \; prod\; \backslash \; nolimits\; \_\; \{i\; \backslash \; in\; I\}\; \backslash \; tau\; \_\; \{i\}\; \backslash :\; \backslash \; \backslash \; mathrm\; \{\; P\}\; \backslash \; left\; (\backslash \; bigcap\; \backslash \; nolimits\; \_\; \{i\; \backslash \; in\; I\}\; A\_\; \{i\}\; \backslash \; right)\; =\; \backslash \; prod\; \backslash \; nolimits\; \_\; \{i\; \backslash \; in\; I\}\; \backslash \; mathrm\; \{P\}\; \backslash \; left\; (A\_\; \{i\}\; \backslash \; right)\; \}$

и бесконечное семейство σ-алгебр называется независимым, если все его конечные подсемейства независимы.

Новое определение напрямую связано с предыдущими:

• Два события независимы (в старом смысле) тогда и только тогда, когда генерируемые ими σ-алгебры независимы ( в новом смысле). Σ-алгебра, порожденная событием $E\; \in \; \Sigma \; \{\backslash \; displaystyle\; E\; \backslash \; in\; \backslash \; Sigma\}$, по определению

$\sigma \; (\{E\})\; =\; \{\varnothing ,\; E,\; \Omega \; \setminus \; E,\; \Omega \}.\; \{\backslash \; displaystyle\; \backslash \; sigma\; (\backslash \; \{E\; \backslash \})\; =\; \backslash \; \{\backslash \; emptyset,\; E,\; \backslash \; Omega\; \backslash \; setminus\; E,\; \backslash \; Omega\; \backslash \}.\}$

• Две случайные величины $X\; \{\backslash \; displaystyle\; X\}$и $Y\; \{\backslash \; displaystyle\; Y\}$, определенные в $\Omega \; \{\backslash \; displaystyle\; \backslash \; Omega\}$, являются независимыми (в старом смысле) тогда и только тогда, когда Порождаемые ими σ-алгебры независимы (в новом смысле). Σ-алгебра, генерируемая случайной величиной $X\; \{\backslash \; displaystyle\; X\}$, принимающей значения в некотором измеримом пространстве $S\; \{\backslash \; displaystyle\; S\}$состоит по определению из всех подмножеств $\Omega \; \{\backslash \; displaystyle\; \backslash \; Omega\}$в форме $X\; -\; 1\; (U)\; \{\backslash \; displaystyle\; X\; ^\; \{-\; 1\}\; (U)\; \}$, где $U\; \{\backslash \; displaystyle\; U\}$- любое измеримое подмножество $S\; \{\backslash \; displaystyle\; S\}$.

Используя это определение, легко показать что если $X\; \{\backslash \; displaystyle\; X\}$и $Y\; \{\backslash \; displaystyle\; Y\}$являются случайными величинами и $Y\; \{\backslash \; displaystyle\; Y\}$является константой, тогда $X\; \{\backslash \; displaystyle\; X\}$и $Y\; \{\backslash \; displaystyle\; Y\}$независимы, поскольку σ-алгебра генерируется константой случайным образом переменная - это тривиальная σ-алгебра $\{\varnothing ,\; \Omega \}\; \{\backslash \; displaystyle\; \backslash \; \{\backslash \; varnothing,\; \backslash \; Omega\; \backslash \}\}$. События с нулевой вероятностью не могут повлиять на независимость, поэтому независимость также сохраняется, если $Y\; \{\backslash \; displaystyle\; Y\}$является только Pr- почти наверняка константой.

Самостоятельность

Обратите внимание, что событие не зависит от самого себя тогда и только тогда, когда

$P\; (A)\; =\; P\; (A\; \cap \; A)\; =\; P\; (A)\; \cdot \; п\; (A)\; \iff \; P\; (A)\; =\; 0\; или\; P\; (A)\; =\; 1\; \{\backslash \; displaystyle\; \backslash \; mathrm\; \{P\}\; (A)\; =\; \backslash \; mathrm\; \{P\}\; (A\; \backslash \; cap\; A)\; =\; \backslash \; mathrm\; \{P\; \}\; (A)\; \backslash \; cdot\; \backslash \; mathrm\; \{P\}\; (A)\; \backslash \; Leftrightarrow\; \backslash \; mathrm\; \{P\}\; (A)\; =\; 0\; \{\backslash \; text\; \{или\}\}\; \backslash \; mathrm\; \{P\}\; (A)\; =\; 1\}$.

Таким образом, событие не зависит от самого себя тогда и только тогда, когда оно почти наверняка встречается или его дополнение почти наверняка встречается; этот факт полезен при доказательстве законов нуля – единицы.

Ожидание и ковариация

Если $X\; \{\backslash \; displaystyle\; X\}$и $Y\; \{\backslash \; displaystyle\; Y\; \}$- независимые случайные величины, тогда оператор ожидания $E\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{E\}\}$имеет свойство

$E\; \; [\; XY]\; =\; E\; \; [X]\; E\; \; [Y],\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{E\}\; [XY]\; =\; \backslash \; operatorname\; \{E\}\; [X]\; \backslash \; operatorname\; \{E\}\; [Y],\}$

и ковариация $cov\; \; [X,\; Y]\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{cov\}\; [X,\; Y]\}$равна нулю, как следует из

$cov\; \; [X,\; Y]\; =\; E\; \; [XY]\; -\; E\; \; [X]\; E\; \; [Y]\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{cov\}\; [X,\; Y]\; =\; \backslash \; operatorname\; \{E\}\; [XY]\; -\; \backslash \; operatorname\; \{E\}\; [X]\; \backslash \; operatorname\; \{E\}\; [Y]\}$.

Обратное неверно: если ковариация двух случайных величин равна 0, они все равно могут быть независимыми. См. некоррелированный.

Аналогично для двух случайных процессов $\{X\; t\}\; t\; \in \; T\; \{\backslash \; displaystyle\; \backslash \; left\; \backslash \; \{X\_\; \{t\}\; \backslash \; right\; \backslash \}\; \_\; \{t\; \backslash \; in\; \{\backslash \; mathcal\; \{T\}\}\; \}\}$и $\{Y\; t\}\; t\; \in \; T\; \{\backslash \; displaystyle\; \backslash \; left\; \backslash \; \{Y\_\; \{t\}\; \backslash \; right\; \backslash \}\; \_\; \{t\; \backslash \; in\; \{\backslash \; mathcal\; \{T\}\}\}\}$: если они независимы, то они некоррелированы.

Характеристическая функция

Две случайные величины $X\; \{\backslash \; displaystyle\; X\}$и $Y\; \{\backslash \; displaystyle\; Y\}$независимы тогда и только тогда, когда характеристическая функция случайного вектора $(X,\; Y)\; \{\backslash \; displaystyle\; (X,\; Y)\}$удовлетворяет

$\phi \; (X,\; Y)\; (t,\; s)\; =\; \phi \; X\; (t)\; \cdot \; \phi \; Y\; (s)\; \{\backslash \; displaystyle\; \backslash \; varphi\; \_\; \{(X,\; Y)\}\; (t,\; s)\; =\; \backslash \; varphi\; \_\; \{X\}\; (t)\; \backslash \; cdot\; \backslash \; varphi\; \_\; \{Y\}\; (s)\}$.

В частности, характеристическая функция их суммы является произведением их предельных характеристических функций:

$\phi \; X\; +\; Y\; (\; T)\; знак\; равно\; \phi \; Икс\; (T)\; \cdot \; \phi \; Y\; (T),\; \{\backslash \; Displaystyle\; \backslash \; varphi\; \_\; \{X\; +\; Y\}\; (t)\; =\; \backslash \; varphi\; \_\; \{X\}\; (t)\; \backslash \; cdot\; \backslash \; varphi\; \_\; \{Y\}\; (t),\}$

, хотя обратное утверждение неверно. Случайные переменные, удовлетворяющие последнему условию, называются субнезависимыми.

Бросание кубиков

Событие получения 6 при первом броске кубика и событие получения 6 второй раз независимы. Напротив, событие получения 6 при первом броске кубика и событие, когда сумма чисел, полученных при первом и втором испытании, равна 8, не являются независимыми.

Вытягивание карт

Если две карты вытянуты с заменой из колоды карт, событие вытягивания красной карты в первом испытании и вытягивания красной карты во втором испытании считается независимый. Напротив, если две карты вытягиваются без замены из колоды карт, событие вытягивания красной карты в первом испытании и вытягивания красной карты во втором испытании не является независимым, потому что колода, в которой была красная карта удаленная карта имеет пропорционально меньше красных карточек.

Парная и взаимная независимость

Попарно независимые, но не взаимно независимые события. Взаимно независимые события.

Рассмотрим два показанных пространства вероятностей. В обоих случаях $P\; (A)\; =\; P\; (B)\; =\; 1/2\; \{\backslash \; displaystyle\; \backslash \; mathrm\; \{P\}\; (A)\; =\; \backslash \; mathrm\; \{P\}\; (B)\; =\; 1/2\}$и $P\; (C)\; =\; 1/4\; \{\backslash \; displaystyle\; \backslash \; mathrm\; \{P\}\; (C)\; =\; 1/4\}$. Случайные величины в первом пространстве попарно независимы, потому что $P\; (A\; |\; B)\; =\; P\; (A\; |\; C)\; =\; 1/2\; =\; P\; (A)\; \{\backslash \; displaystyle\; \backslash \; mathrm\; \{P\}\; (A\; |\; B)\; =\; \backslash \; mathrm\; \{P\}\; (A\; |\; C)\; =\; 1/2\; =\; \backslash \; mathrm\; \{P\}\; (A)\}$, $P\; (B\; |\; A)\; =\; P\; (B\; |\; C)\; =\; 1/2\; =\; P\; (B)\; \{\; \backslash \; Displaystyle\; \backslash \; mathrm\; \{P\}\; (B\; |\; A)\; =\; \backslash \; mathrm\; \{P\}\; (B\; |\; C)\; =\; 1/2\; =\; \backslash \; mathrm\; \{P\}\; (B)\}$и $P\; (\; С\; |\; А)\; знак\; равно\; п\; (С\; |\; В)\; знак\; равно\; 1/4\; =\; п\; (С)\; \{\backslash \; Displaystyle\; \backslash \; mathrm\; \{P\}\; (C\; |\; A)\; =\; \backslash \; mathrm\; \{P\}\; (C\; |\; B)\; =\; 1/4\; =\; \backslash \; mathrm\; \{P\}\; (C)\}$; но три случайные величины не являются взаимно независимыми. Случайные величины во втором пространстве являются как попарно независимыми, так и взаимно независимыми. Чтобы проиллюстрировать разницу, рассмотрите возможность использования двух событий. В попарно независимом случае, хотя любое одно событие не зависит от каждого из двух других по отдельности, оно не является независимым от пересечения двух других:

$P\; (A\; |\; BC)\; =\; 4\; 40\; 4\; 40\; +\; 1\; 40\; =\; 4\; 5\; \ne \; п\; (A)\; \{\backslash \; displaystyle\; \backslash \; mathrm\; \{P\}\; (A\; |\; BC)\; =\; \{\backslash \; frac\; \{\backslash \; frac\; \{4\}\; \{40\}\}\; \{\{\backslash \; frac\; \{4\}\; \{40\}\}\; +\; \{\backslash \; frac\; \{\; 1\}\; \{40\}\}\}\}\; =\; \{\backslash \; tfrac\; \{4\}\; \{5\}\}\; \backslash \; neq\; \backslash \; mathrm\; \{P\}\; (A)\}$

$P\; (B\; |\; AC)\; =\; 4\; 40\; 4\; 40\; +\; 1\; 40\; =\; 4\; 5\; \ne \; п\; (В)\; \{\backslash \; displaystyle\; \backslash \; mathrm\; \{P\}\; (B\; |\; AC)\; =\; \{\backslash \; frac\; \{\backslash \; frac\; \{4\}\; \{40\}\}\; \{\{\backslash \; frac\; \{4\}\; \{40\}\}\; +\; \{\backslash \; frac\; \{1\}\; \{40\}\}\}\}\; =\; \{\backslash \; tfrac\; \{4\}\; \{5\}\}\; \backslash \; neq\; \backslash \; mathrm\; \{P\}\; (B)\}$

$P\; (C\; |\; AB)\; =\; 4\; 40\; 4\; 40\; +\; 6\; 40\; =\; 2\; 5\; \ne \; P\; (C)\; \{\backslash \; displaystyle\; \backslash \; mathrm\; \{P\}\; (C\; |\; AB)\; =\; \{\backslash \; frac\; \{\backslash \; frac\; \{4\}\; \{40\}\}\; \{\{\backslash \; frac\; \{4\}\; \{40\}\}\; +\; \{\backslash \; frac\; \{6\}\; \{40\; \}\}\}\}\; =\; \{\backslash \; tfrac\; \{2\}\; \{5\}\}\; \backslash \; neq\; \backslash \; mathrm\; \{P\}\; (C)\}$

Однако во взаимно независимом случае

$P\; (A\; |\; BC)\; =\; 1\; 16\; 1\; 16\; +\; 1\; 16\; =\; 1\; 2\; =\; п\; (A)\; \{\backslash \; Displaystyle\; \backslash \; mathrm\; \{P\}\; (A\; |\; BC)\; =\; \{\backslash \; frac\; \{\backslash \; frac\; \{1\}\; \{16\}\}\; \{\{\backslash \; frac\; \{1\}\; \{16\}\}\; +\; \{\backslash \; frac\; \{1\}\; \{16\}\}\}\}\; =\; \{\backslash \; tfrac\; \{1\}\; \{2\}\}\; =\; \backslash \; mathrm\; \{P\}\; (A)\}$

$P\; (B\; |\; AC)\; =\; 1\; 16\; 1\; 16\; +\; 1\; 16\; =\; 1\; 2\; =\; P\; (B)\; \{\backslash \; d\; isplaystyle\; \backslash \; mathrm\; \{P\}\; (B\; |\; AC)\; =\; \{\backslash \; frac\; \{\backslash \; frac\; \{1\}\; \{16\}\}\; \{\{\backslash \; frac\; \{1\}\; \{16\}\}\; +\; \{\backslash \; frac\; \{1\}\; \{16\}\}\}\}\; =\; \{\backslash \; tfrac\; \{1\}\; \{2\}\}\; =\; \backslash \; mathrm\; \{P\}\; (B)\}$

$P\; (C\; |\; AB)\; =\; 1\; 16\; 1\; 16\; +\; 3\; 16\; =\; 1\; 4\; =\; P\; (C)\; \{\backslash \; displaystyle\; \backslash \; mathrm\; \{P\}\; (C\; |\; AB)\; =\; \{\backslash \; frac\; \{\backslash \; frac\; \{1\}\; \{16\}\}\; \{\{\backslash \; frac\; \{\; 1\}\; \{16\}\}\; +\; \{\backslash \; frac\; \{3\}\; \{16\}\}\}\}\; =\; \{\backslash \; tfrac\; \{1\}\; \{4\}\}\; =\; \backslash \; mathrm\; \{P\}\; (C)\}$

Взаимная независимость

Можно создать пример из трех событий, в котором

$P\; (A\; \cap \; B\; \cap \; C)\; =\; P\; (A)\; P\; (B)\; P\; (C),\; \{\backslash \; displaystyle\; \backslash \; mathrm\; \{P\}\; (A\; \backslash \; cap\; B\; \backslash \; cap\; C)\; =\; \backslash \; mathrm\; \{P\}\; (A)\; \backslash \; mathrm\; \{P\}\; (B)\; \backslash \; mathrm\; \{P\}\; (C),\}$

и все же никакие два из трех событий не являются попарно независимыми (и, следовательно, множество событий не являются взаимно независимыми). Этот пример показывает, что взаимная независимость включает требования к продуктам вероятностей всех комбинаций событий, а не только отдельных событий, как в этом примере.

Для событий

События $A\; \{\backslash \; displaystyle\; A\}$и $B\; \{\backslash \; displaystyle\; B\}$условно независимы при событии $C\; \{\backslash \; displaystyle\; C\}$, когда

$P\; (A\; \cap \; B\; \mid \; C)\; =\; P\; (A\; \mid \; C)\; \cdot \; P\; (B\; \mid \; C)\; \{\backslash \; displaystyle\; \backslash \; mathrm\; \{P\}\; (A\; \backslash \; cap\; B\; \backslash \; mid\; C)\; =\; \backslash \; mathrm\; \{P\}\; (A\; \backslash \; mid\; C)\; \backslash \; cdot\; \backslash \; mathrm\; \{P\}\; (B\; \backslash \; mid\; C)\}$.

для случайного переменные

Интуитивно две случайные величины $X\; \{\backslash \; displaystyle\; X\}$и $Y\; \{\backslash \; displaystyle\; Y\}$условно независимы при заданном $Z\; \{\backslash \; displaystyle\; Z\}$, если когда-то известен $Z\; \{\backslash \; displaystyle\; Z\}$, значение $Y\; \{\backslash \; displaystyle\; Y\}$не добавляет никакой дополнительной информации о $X\; \{\backslash \; displaystyle\; X\}$. Например, два измерения $X\; \{\backslash \; displaystyle\; X\}$и $Y\; \{\backslash \; displaystyle\; Y\}$одной и той же базовой величины $Z\; \{\backslash \; displaystyle\; Z\}$не являются независимыми, но они условно независимы с учетом $Z\; \{\backslash \; displaystyle\; Z\}$(если ошибки в двух измерениях не связаны каким-либо образом).

Формальное определение условной независимости основано на идее условных распределений. Если $X\; \{\backslash \; displaystyle\; X\}$, $Y\; \{\backslash \; displaystyle\; Y\}$и $Z\; \{\backslash \; displaystyle\; Z\}$являются дискретными случайными величинами, затем мы определяем $X\; \{\backslash \; displaystyle\; X\}$и $Y\; \{\backslash \; displaystyle\; Y\}$как условно независимые с учетом $Z\; \{\backslash \; displaystyle\; Z\; \}$если

$P\; (X\; \le \; x,\; Y\; \le \; y\; |\; Z\; =\; z)\; =\; P\; (X\; \le \; x\; |\; Z\; =\; z)\; \cdot \; P\; (Y\; \le \; y\; |\; Z\; =\; z)\; \{\backslash \; displaystyle\; \backslash \; mathrm\; \{P\}\; (X\; \backslash \; leq\; x,\; Y\; \backslash \; leq\; y\; \backslash ;\; |\; \backslash ;\; Z\; =\; z)\; =\; \backslash \; mathrm\; \{P\}\; (X\; \backslash \; leq\; x\; \backslash ;\; |\; \backslash ;\; Z\; =\; z)\; \backslash \; cdot\; \backslash \; mathrm\; \{P\; \}\; (Y\; \backslash \; Leq\; y\; \backslash ;\; |\; \backslash ;\; Z\; =\; z)\}$

для всех $x\; \{\backslash \; displaystyle\; x\}$, $y\; \{\backslash \; displaystyle\; y\}$и $z\; \{\backslash \; displaystyle\; z\}$такой, что $P\; (Z\; =\; z)>0\; \{\backslash \; displaystyle\; \backslash \; mathrm\; \{P\}\; (Z\; =\; z)>0\}$. С другой стороны, если случайные переменные непрерывный и имеют совместную функцию плотности вероятности $f\; XYZ\; (x,\; y,\; z)\; \{\backslash \; displa\; ystyle\; f\_\; \{XYZ\}\; (x,\; y,\; z)\}$, затем $X\; \{\backslash \; displaystyle\; X\}$и $Y\; \{\backslash \; displaystyle\; Y\}$являются условно независимыми заданными $Z\; \{\backslash \; displaystyle\; Z\}$, если

$f\; XY\; |\; Z\; (x,\; y\; |\; z)\; =\; f\; X\; |\; Z\; (x\; |\; z)\; \cdot \; f\; Y\; |\; Z\; (Y\; |\; Z)\; \{\backslash \; Displaystyle\; F\_\; \{XY\; |\; Z\}\; (х,\; y\; |\; z)\; =\; F\_\; \{X\; |\; Z\}\; (x\; |\; z)\; \backslash \; cdot\; f\_\; \{Y\; |\; Z\}\; (y\; |\; z)\}$

для всех действительных чисел $x\; \{\backslash \; displaystyle\; x\}$, $y\; \{\backslash \; displaystyle\; y\}$и $z\; \{\backslash \; displaystyle\; z\}$таких, что $е\; Z\; (z)>0\; \{\backslash \; displaystyle\; f\_\; \{Z\}\; (z)>0\}$.

Если дискретный $X\; \{\backslash \; displaystyle\; X\}$и $Y\; \{\backslash \; displaystyle\; Y\}$условно независимы при заданном $Z\; \{\backslash \; displaystyle\; Z\}$, тогда

$P\; (X\; =\; x\; |\; Y\; =\; y,\; Z\; =\; z)\; =\; P\; (\; X\; =\; x\; |\; Z\; =\; z)\; \{\backslash \; displaystyle\; \backslash \; mathrm\; \{P\}\; (X\; =\; x\; |\; Y\; =\; y,\; Z\; =\; z)\; =\; \backslash \; mathrm\; \{P\}\; (X\; =\; x\; |\; Z\; =\; z)\}$

для любого $x\; \{\backslash \; displaystyle\; x\}$, $y\; \{\backslash \; displaystyle\; y\}$и $z\; \{\backslash \; displaystyle\; z\}$с $P\; (Z\; =\; z)>0\; \{\backslash \; displaystyle\; \backslash \; mathrm\; \{P\}\; (Z\; =\; z)>0\}$. То есть, условное распределение для $X\; \{\backslash \; displaystyle\; X\}$с учетом $Y\; \{\backslash \; displaystyle\; Y\}$и $Z\; \{\backslash \; displaystyle\; Z\}$то же самое, что и заданный только $Z\; \{\backslash \; displaystyle\; Z\}$. Аналогичное уравнение справедливо для условных функций плотности вероятности в непрерывном случае.

Независимость можно рассматривать как особый вид условной независимости, поскольку вероятность можно рассматривать как своего рода условную вероятность при отсутствии событий.

• Копула (статистика)
• Независимые и одинаково распределенные случайные величины
• Взаимоисключающие события
• Парные независимые события
• Субзависимость
• Условная независимость
• Нормально распределенная и некоррелированный не подразумевает независимость
• Средняя зависимость

• СМИ, относящиеся к Статистической зависимости на Wikimedia Commons