Условная независимость

редактировать

В теории вероятностей два случайных события $A {\ displaystyle A}$ $A$ и $B {\ displaystyle B}$ $B$ являются условно независимыми с учетом третьего события $C {\ displaystyle C}$ $C$ именно в том случае, если возникновение $A {\ displaystyle A}$ $A$ и возникновение $B {\ displaystyle B}$ $B$ являются независимыми событиями в их условной вероятности распределение задано $C {\ displaystyle C}$ $C$ . Другими словами, $A {\ displaystyle A}$ $A$ и $B {\ displaystyle B}$ $B$ условно независимы при условии $C {\ displaystyle C}$ $C$ тогда и только тогда, когда, зная, что происходит $C {\ displaystyle C}$ $C$ , знание того, происходит ли $A {\ displaystyle A}$ $A$ , не дает информация о вероятности возникновения $B {\ displaystyle B}$ $B$ и информация о том, происходит ли $B {\ displaystyle B}$ $B$ , не дает информации о вероятности $A {\ displaystyle A}$ $A$ происходит.

Концепция условной независимости может быть расширена от случайных событий до случайных величин и случайных векторов.

Содержание

1 Условная независимость событий
- 1.1 Определение
- 1.2 Примеры
  - 1.2.1 Цветные прямоугольники
  - 1.2.2 Погода и задержки
  - 1.2.3 Бросание костей
  - 1.2.4 Высота и словарь
2 Условная независимость случайных величин
3 Условная независимость случайных векторов
4 Использование в байесовском выводе
5 Правила условной независимости
- 5.1 Симметрия
- 5.2 Декомпозиция
- 5.3 Слабое объединение
- 5.4 Сжатие
- 5.5 Сжатие-разложение на слабое объединение
- 5.6 Пересечение
6 См. Также
7 Ссылки
8 Внешние ссылки

Условная независимость события

Определение

В стандартных обозначениях теории вероятностей $A {\ displaystyle A}$ $A$ и $B {\ displaystyle B}$ $B$ условно независимы, заданные $C {\ displaystyle C}$ $C$ тогда и только тогда, когда $Pr (A ∩ B ∣ C) = Pr (A ∣ C) Pr (B ∣ C) {\ Displaystyle \ Pr (A \ cap B \ mid C) = \ Pr (A \ mid C) \ Pr (B \ mid C)}$ ${\ displaystyle \ Pr (A \ cap B \ mid C) = \ Pr (A \ mid C) \ Pr (B \ mid C)}$ . Условная независимость $A {\ displaystyle A}$ $A$ и $B {\ displaystyle B}$ $B$ при $C {\ displaystyle C}$ $C$ обозначается $(A ⊥ ⊥ B) ∣ C {\ displaystyle (A \ perp \! \! \! \ perp B) \ mid C}$ ${\ displaystyle (A \ perp \! \! \! \ perp B) \ mid C}$ . Формально:

(A ⊥ ⊥ B) ∣ C ⟺ Pr (A ∩ B ∣ C) = Pr (A ∣ C) Pr (B ∣ C) {\ displaystyle (A \ perp \! \! \! \ Perp B) \ mid C \ quad \ iff \ quad \ Pr (A \ cap B \ mid C) = \ Pr (A \ mid C) \ Pr (B \ mid C)}

{\ displaystyle (A \ perp \! \! \! \ perp B) \ mid C \ quad \ iff \ quad \ Pr (A \ cap B \ mid C) = \ Pr (A \ mid C) \ Pr (B \ mid C)}

(уравнение 1)

или, что то же самое,

(A ⊥ ⊥ B) ∣ C ⟺ Pr (A ∣ B ∩ C) = Pr (A ∣ C) или Pr (B ∣ C) = 1. {\ displaystyle (A \ perp \! \! \! \ perp B) \ mid C \ quad \ iff \ quad \ Pr (A \ mid B \ cap C) = \ Pr (A \ mid C) \ quad {\ text {или}} \ quad \ Pr (B \ mid C) = 1.}

{\ displaystyle (A \ perp \! \! \! \ perp B) \ mid C \ quad \ iff \ quad \ Pr (A \ mid B \ cap C) = \ Pr (A \ mid C) \ quad {\ text {или}} \ quad \ Pr (B \ mid C) = 1.}

Примеры

Обсуждение StackExchange предоставляет несколько полезных примеров. См. Ниже.

Цветные прямоугольники

Каждая ячейка представляет возможный результат. События $R {\ displaystyle \ color {red} R}$ ${\ displaystyle \ color {red} R}$ , $B {\ displaystyle \ color {blue} B}$ ${\ displaystyle \ color { синий} B}$ и $Y {\ displaystyle \ color {gold} Y }$ ${\ Displaystyle \ цвет {г old} Y}$ представлены областями, заштрихованными красным, синим и желтым цветом соответственно. Перекрытие между событиями $R {\ displaystyle \ color {red} R}$ ${\ displaystyle \ color {red} R}$ и $B {\ displaystyle \ color {blue} B}$ ${\ displaystyle \ color { синий} B}$ заштриховано фиолетовым.

Вероятности этих событий обозначены заштрихованными областями по отношению к общей площади. В обоих примерах $R {\ displaystyle \ color {red} R}$ ${\ displaystyle \ color {red} R}$ и $B {\ displaystyle \ color {blue} B}$ ${\ displaystyle \ color { синий} B}$ условно независимы при условии $Y {\ displaystyle \ color {gold} Y}$ ${\ Displaystyle \ цвет {г old} Y}$ потому что:

Pr (R ∩ B ∣ Y) = Pr (R ∣ Y) Pr (B ∣ Y) {\ displaystyle \ Pr ( {\ color {red} R} \ cap {\ color {blue} B} \ mid {\ color {gold} Y}) = \ Pr ({\ color {red} R} \ mid {\ color {gold} Y }) \ Pr ({\ color {blue} B} \ mid {\ color {gold} Y})}

{\ displaystyle \ Pr ({ \ color {red} R} \ cap {\ color {blue} B} \ mid {\ color {gold} Y}) = \ Pr ({\ color {red} R} \ mid {\ color {gold} Y})) \ Pr ({\ color {blue} B} \ mid {\ color {gold} Y})}

, но не является условно независимым, учитывая $[not Y] {\ displaystyle \ left [{\ text { not}} {\ color {gold} Y} \ right]}$ ${\ displaystyle \ left [{\ text {not}} {\ color {gold} Y} \ right]}$ потому что:

Pr (R ∩ B ∣ not Y) ≠ Pr (R ∣ not Y) Pr (B ∣ not Y) {\ displaystyle \ Pr ({\ color {red} R} \ cap {\ color {blue} B} \ mid {\ text {not}} {\ color {gold} Y}) \ not = \ Pr ({\ цвет {красный} R} \ mid {\ text {not}} {\ color {gold} Y}) \ Pr ({\ color {blue} B} \ mid {\ text {not}} {\ color {gold} Y})}

{\ displaystyle \ Pr ({\ color {red} R} \ cap {\ color {blue} B} \ mid {\ text {not}} {\ color {gold} Y}) \ not = \ Pr ({\ color {red } R} \ mid {\ text {not}} {\ color {gold} Y}) \ Pr ({\ color {blue} B} \ mid {\ text {not}} {\ color {gold} Y}) }

Погода и задержки

Пусть два события будут вероятностями того, что люди A и B вернутся домой вовремя к обеду, а третье событие - это то, что снег р-м попала в город. Хотя вероятность того, что и A, и B вернутся домой к обеду, ниже, более низкие вероятности будут по-прежнему независимы друг от друга. То есть знание того, что А опаздывает, не говорит вам, опоздает ли Б. (Они могут жить в разных кварталах, путешествовать на разные расстояния и использовать разные виды транспорта.) Однако, если у вас есть информация о том, что они живут в одном районе, пользуются одним и тем же транспортом и работают в одном месте, тогда оба события НЕ являются условно независимыми.

Бросок костей

Условная независимость зависит от характера третьего события. Если вы бросаете два кубика, можно предположить, что эти два кубика ведут себя независимо друг от друга. Просмотр результатов одного кубика не скажет вам о результате второго кубика. (То есть, два кубика независимы.) Если, однако, результат 1-го кубика - 3 и кто-то сообщает вам о третьем событии - что сумма двух результатов четная, - то эта дополнительная единица информации ограничивает варианты 2-го результата на нечетное число. Другими словами, два события могут быть независимыми, но НЕ условно независимыми.

Рост и словарный запас

Рост и словарный запас зависят от того, что очень маленькие люди, как правило, дети, известные своим более базовым словарным запасом. Но зная, что двум людям 19 лет (т.е.в зависимости от возраста), нет причин думать, что словарный запас одного человека больше, если нам говорят, что они выше.

Условная независимость случайных величин

Две случайные величины $X {\ displaystyle X}$ $X$ и $Y {\ displaystyle Y }$ $Y$ условно независимы с учетом третьей случайной величины $Z {\ displaystyle Z}$ $Z$ тогда и только тогда, когда они независимы в своем условном распределении вероятностей с заданным $Z {\ displaystyle Z}$ $Z$ . То есть $X {\ displaystyle X}$ $X$ и $Y {\ displaystyle Y}$ $Y$ условно независимы при заданном $Z {\ displaystyle Z}$ $Z$ тогда и только тогда, когда для любого значения $Z {\ displaystyle Z}$ $Z$ распределение вероятностей $X {\ displaystyle X}$ $X$ будет таким же для всех значений $Y {\ displaystyle Y}$ $Y$ и распределение вероятностей $Y {\ displaystyle Y}$ $Y$ одинаково для всех значений $X {\ Displaystyle X}$ $X$ . Формально:

(X ⊥ ⊥ Y) ∣ Z ⟺ FX, Y ∣ Z = z (x, y) = FX ∣ Z = z (x) ⋅ FY ∣ Z = z (y) для всех x, y, z {\ displaystyle (X \ perp \! \! \! \ perp Y) \ mid Z \ quad \ iff \ quad F_ {X, Y \, \ mid \, Z \, = \, z} (x, y) = F_ {X \, \ mid \, Z \, = \, z} (x) \ cdot F_ {Y \, \ mid \, Z \, = \, z} (y) \ quad {\ text { для всех}} x, y, z}

{\ displaystyle (X \ perp \! \! \! \ Perp Y) \ mid Z \ quad \ iff \ quad F_ {X, Y \, \ mid \, Z \, = \, z} (x, y) = F_ {X \, \ mid \, Z \, = \, z} (x) \ cdot F_ {Y \, \ mid \, Z \, = \, z} (y) \ quad {\ text {для всех}} x, y, z}

(Eq.2)

где $FX, Y ∣ Z = z (x, y) = Pr (X ≤ x, Y ≤ y ∣ Z = z) {\ displaystyle F_ {X, Y \, \ mid \, Z \, = \, z} (x, y) = \ Pr (X \ leq x, Y \ leq y \ mid Z = z)}$ ${\ displaystyle F_ {X, Y \, \ mid \, Z \, = \, z} (x, y) = \ Pr (X \ leq x, Y \ leq y \ mid Z = z)}$ - условная кумулятивная функция распределения для $X {\ displaystyle X}$ $X$ и $Y {\ displaystyle Y}$ $Y$ с учетом $Z {\ displaystyle Z}$ $Z$ .

Два события $R {\ displaystyle R}$ $R$ и $B {\ displaystyle B}$ $B$ условно независимы с учетом σ- алгебра $Σ {\ displaystyle \ Sigma}$ $\ Sigma$ , если

Pr (R ∩ B ∣ Σ) = Pr (R ∣ Σ) Pr (B ∣ Σ) в качестве {\ Displaystyle \ Pr (R \ cap B \ mid \ Sigma) = \ Pr (R \ mid \ Sigma) \ Pr (B \ mid \ Sigma) {\ text {as}}}

{\ displaystyle \ Pr (R \ cap B \ mid \ Sigma) = \ Pr (R \ mid \ Sigma) \ Pr (B \ mid \ Sigma) {\ text {as}}}

где $Pr (A ∣ Σ) {\ displaystyle \ Pr (A \ mid \ Sigma)}$ $\ Pr (A \ mid \ Sigma)$ обозначает условное ожидание индикаторной функции события $A {\ displaystyle A}$ $A$ , $χ A {\ displaystyle \ chi _ {A}}$ $\ chi _ {A}$ с учетом сигма-алгебры $Σ {\ displaystyle \ Sigma}$ $\ Sigma$ . То есть

Pr (A ∣ Σ): = E ⁡ [χ A ∣ Σ]. {\ displaystyle \ Pr (A \ mid \ Sigma): = \ operatorname {E} [\ chi _ {A} \ mid \ Sigma].}

\ Pr (A \ mid \ Sigma): = \ operatorname {E} [\ chi _ {A} \ mid \ Sigma].

Две случайные величины $X {\ displaystyle X}$ $X$ и $Y {\ displaystyle Y}$ $Y$ условно независимы с учетом σ-алгебры $Σ {\ displaystyle \ Sigma}$ $\ Sigma$ , если указанное выше уравнение выполняется для все $R {\ displaystyle R}$ $R$ в $σ (X) {\ displaystyle \ sigma (X)}$ $\ sigma (X)$ и $B {\ displaystyle B}$ $B$ в $σ (Y) {\ displaystyle \ sigma (Y)}$ $\ sigma (Y)$ .

Две случайные величины $X {\ displaystyle X}$ $X$ и $Y {\ displaystyle Y}$ $Y$ условно независимы при заданной случайной величине $W {\ displaystyle W}$ $W$ , если они независимы при задании σ (W): σ-алгебры, порожденной $W {\ Displaystyle W}$ $W$ . Обычно это пишется:

Икс ⊥ ⊥ Y ∣ W {\ Displaystyle X \ perp \! \! \! \ Perp Y \ mid W}

X \ perp \! \! \! \ perp Y \ mid W

X ⊥ Y ∣ W {\ displaystyle X \ perp Y \ mid W}

X \ perp Y \ mid W

Это читается как " $X {\ displaystyle X}$ $X$ не зависит от $Y {\ displaystyle Y}$ $Y$ , учитывая $W {\ displaystyle W}$ $W$ "; условие применяется ко всему утверждению: "( $X {\ displaystyle X}$ $X$ не зависит от $Y {\ displaystyle Y}$ $Y$ ) при $W { \ displaystyle W}$ $W$ ".

(Икс ⊥ ⊥ Y) ∣ W {\ displaystyle (X \ perp \! \! \! \ Perp Y) \ mid W}

(X \ perp \! \! \! \ Perp Y) \ mid W

Если $W {\ displaystyle W}$ $W$ предполагает наличие счетного набора значений, это эквивалентно условной независимости X и Y для событий формы $[W = w] {\ displaystyle [W = w]}$ ${\ displaystyle [W = w]}$ . Условная независимость более двух событий или более двух случайных величин определяется аналогично.

Следующие два примера показывают, что $X ⊥ ⊥ Y {\ displaystyle X \ perp \! \! \! \ Perp Y}$ $X \ perp \! \! \! \ perp Y$ не подразумевает и не подразумевается $(Икс ⊥ ⊥ Y) ∣ W {\ displaystyle (X \ perp \! \! \! \ Perp Y) \ mid W}$ $(X \ perp \! \! \! \ Perp Y) \ mid W$ . Сначала предположим, что $W {\ displaystyle W}$ $W$ равно 0 с вероятностью 0,5 и 1 в противном случае. Когда W = 0, возьмем $X {\ displaystyle X}$ $X$ и $Y {\ displaystyle Y}$ $Y$ как независимые, каждый из которых имеет значение 0 с вероятностью 0,99 и значение 1 в противном случае. Когда $W = 1 {\ displaystyle W = 1}$ ${\ displaystyle W = 1}$ , $X {\ displaystyle X}$ $X$ и $Y {\ displaystyle Y}$ $Y$ снова независимы, но на этот раз они принимают значение 1 с вероятностью 0,99. Тогда $(Икс ⊥ ⊥ Y) ∣ W {\ displaystyle (X \ perp \! \! \! \ Perp Y) \ mid W}$ $(X \ perp \! \! \! \ Perp Y) \ mid W$ . Но $X {\ displaystyle X}$ $X$ и $Y {\ displaystyle Y}$ $Y$ зависимы, потому что Pr (X = 0) < Pr(X = 0|Y = 0). This is because Pr(X = 0) = 0.5, but if Y = 0 then it's very likely that W = 0 and thus that X = 0 as well, so Pr(X = 0|Y = 0)>0,5. Для второго примера предположим, что $X ⊥ ⊥ Y {\ displaystyle X \ perp \! \! \! \ Perp Y}$ $X \ perp \! \! \! \ perp Y$ , каждое из которых принимает значения 0 и 1 с вероятностью 0,5. Пусть $W {\ displaystyle W}$ $W$ будет продуктом $X ⋅ Y {\ displaystyle X \ cdot Y}$ ${\ displaystyle X \ cd от Y}$ . Тогда, когда $W = 0 {\ displaystyle W = 0}$ $W = 0$ , Pr (X = 0) = 2/3, но Pr (X = 0 | Y = 0) = 1/2, поэтому $(Икс ⊥ ⊥ Y) ∣ W {\ displaystyle (X \ perp \! \! \! \ Perp Y) \ mid W}$ $(X \ perp \! \! \! \ Perp Y) \ mid W$ неверно. Это тоже пример объяснения. См. Руководство Кевина Мерфи, где $X {\ displaystyle X}$ $X$ и $Y {\ displaystyle Y}$ $Y$ принимают значения «умный» и «спортивный».

Условная независимость случайных векторов

Два случайных вектора $X = (X 1,…, X l) T {\ displaystyle \ mathbf {X} = (X_ {1}, \ ldots, X_ {l}) ^ {\ mathrm {T}}}$ ${\ displaystyle \ mathbf {X} = (X_ {1}, \ ldots, X_ {l}) ^ {\ mathrm {T}}}$ и $Y = (Y 1,…, Y m) T {\ displaystyle \ mathbf {Y} = (Y_ {1}, \ ldots, Y_ {m}) ^ {\ mathrm {T}}}$ ${\ displaystyle \ mathbf {Y} = (Y_ {1}, \ ldots, Y_ {m}) ^ {\ mathrm {T}}}$ условно независимы с учетом третьего случайного вектора $Z = (Z 1, …, Z n) T {\ displaystyle \ mathbf {Z} = (Z_ {1}, \ ldots, Z_ {n}) ^ {\ mathrm {T}}}$ ${\ displaystyle \ mathbf {Z} = (Z_ {1}, \ ldots, Z_ {n}) ^ {\ mathrm {T}}}$ тогда и только тогда, когда они независимы в их условном совокупном распределении, заданном $Z {\ displaystyle \ mathbf {Z}}$ $\ mathbf {Z}$ . Формально:

(X ⊥ ⊥ Y) ∣ Z ⟺ F X, Y | Z знак равно Z (Икс, Y) знак равно FX ∣ Z = Z (Икс) ⋅ FY ∣ Z = Z (Y) для всех x, y, z {\ displaystyle (\ mathbf {X} \ perp \! \! \! \ perp \ mathbf {Y}) \ mid \ mathbf {Z} \ quad \ iff \ quad F _ {\ mathbf {X}, \ mathbf {Y} | \ mathbf {Z} = \ mathbf {z}} (\ mathbf {x}, \ mathbf {y}) = F _ {\ mathbf {X} \, \ mid \, \ mathbf {Z} \, = \, \ mathbf {z}} (\ mathbf {x}) \ cdot F_ {\ mathbf {Y} \, \ mid \, \ mathbf {Z} \, = \, \ mathbf {z}} (\ mathbf {y}) \ quad {\ text {для всех}} \ mathbf {x}, \ mathbf {y}, \ mathbf {z}}

{\ displaystyle (\ mathbf {X} \ perp \! \! \! \ perp \ mathbf {Y}) \ mid \ mathbf {Z} \ quad \ iff \ quad F _ {\ mathbf {X}, \ mathbf {Y} | \ mathbf {Z} = \ mathbf {z}} ( \ mathbf {x}, \ mathbf {y}) = F _ {\ mathbf {X} \, \ mid \, \ mathbf {Z} \, = \, \ mathbf {z}} (\ mathbf {x}) \ cdot F _ {\ mathbf {Y} \, \ mid \, \ mathbf {Z} \, = \, \ mathbf {z}} (\ mathbf {y}) \ quad {\ text {для всех}} \ mathbf { x}, \ mathbf {y}, \ mathbf {z}}

(Eq.3)

где $x = (x 1,…, xl) T {\ displaystyle \ mathbf {x} = (x_ {1}, \ ldots, x_ {l}) ^ {\ mathrm {T}}}$ ${\ displaystyle \ mathbf {x} = (x_ {1}, \ ldots, x_ {l}) ^ {\ mathrm {T}}}$ , $y = (y 1,…, ym) T {\ displaystyle \ mathbf {y} = (y_ {1}, \ ldots, y_ {m}) ^ {\ mathrm {T}}}$ ${\ displaystyle \ mathbf {y} = (y_ {1}, \ ldots, y_ {m}) ^ {\ mathrm {T}}}$ и $z = (z 1,…, zn) T {\ displaystyle \ mathbf {z} = (z_ { 1}, \ ldots, z_ {n}) ^ {\ mathrm {T}}}$ ${\ displaystyle \ mathbf {z} = (z_ {1}, \ ldots, z_ {n}) ^ {\ mathrm {T}}}$ и условные совокупные распределения определяются следующим образом.

FX, Y ∣ Z = z (x, y) = Pr (X 1 ≤ x 1,…, X l ≤ xl, Y 1 ≤ y 1,…, Y m ≤ ym ∣ Z 1 = z 1, …, Z n = zn) FX ∣ Z = z (x) = Pr (X 1 ≤ x 1,…, X l ≤ xl ∣ Z 1 = z 1,…, Z n = zn) FY ∣ Z = z ( y) знак равно Pr (Y 1 ≤ y 1,…, Y m ≤ ym ∣ Z 1 = z 1,…, Z n = zn) {\ displaystyle {\ begin {align} F _ {\ mathbf {X}, \ mathbf {Y} \, \ mid \, \ mathbf {Z} \, = \, \ mathbf {z}} (\ mathbf {x}, \ mathbf {y}) = \ Pr (X_ {1} \ leq x_ {1}, \ ldots, X_ {l} \ leq x_ {l}, Y_ {1} \ leq y_ {1}, \ ldots, Y_ {m} \ leq y_ {m} \ mid Z_ {1} = z_ {1}, \ ldots, Z_ {n} = z_ {n}) \\ [6pt] F _ {\ mathbf {X} \, \ mid \, \ mathbf {Z} \, = \, \ mathbf {z} } (\ mathbf {x}) = \ Pr (X_ {1} \ leq x_ {1}, \ ldots, X_ {l} \ leq x_ {l} \ mid Z_ {1} = z_ {1}, \ ldots, Z_ {n} = z_ {n}) \\ [6pt] F _ {\ mathbf {Y} \, \ mid \, \ mathbf {Z} \, = \, \ mathbf {z}} (\ mathbf { y}) = \ Pr (Y_ {1} \ leq y_ {1}, \ ldots, Y_ {m} \ leq y_ {m} \ mid Z_ {1} = z_ {1}, \ ldots, Z_ {n } = z_ {n}) \ end {align}}}

{\ displaystyle {\ begin {align} F _ {\ mathbf {X}, \ mathbf {Y} \, \ mid \, \ mathbf {Z } \, = \, \ mathbf {z}} (\ mathbf {x}, \ mathbf {y}) = \ Pr (X_ {1} \ leq x_ {1}, \ ldots, X_ {l} \ leq x_ {l}, Y_ {1} \ leq y_ {1}, \ ldots, Y_ {m} \ leq y_ {m} \ mid Z_ {1} = z_ {1}, \ ldots, Z_ {n} = z_ {n}) \\ [6pt] F _ {\ mathbf {X} \, \ mid \, \ mathbf {Z} \, = \, \ mathbf {z}} (\ mathbf {x}) = \ Pr ( X_ {1} \ leq x_ {1}, \ ldots, X_ {l} \ leq x_ {l} \ mid Z_ {1} = z_ {1}, \ ldots, Z_ {n} = z_ {n}) \ \ [6pt] F _ {\ mathbf {Y} \, \ mid \, \ mathbf {Z} \, = \, \ mathbf {z}} (\ mathbf {y}) = \ Pr (Y_ {1} \ leq y_ {1}, \ ldots, Y_ {m} \ leq y_ {m} \ mid Z_ {1} = z_ {1}, \ ldots, Z_ {n} = z_ {n}) \ end {выровнено}} }

Используется в байесовском выводе

Пусть p будет пропорцией избирателей, которые проголосуют «за» на предстоящем референдуме. При проведении опроса выбирается n избирателей случайным образом из населения. Для i = 1,..., n, пусть X i = 1 или 0, соответственно, будет или нет i-й выбранный избиратель голосовать «за».

В частотном подходе к статистическому выводу нельзя приписывать какое-либо распределение вероятностей p (если только вероятности не могут быть каким-то образом интерпретированы как относительные частоты возникновения некоторого события или как доли некоторой совокупности), и можно было бы сказать, что X 1,..., X n являются независимыми случайными величинами.

Напротив, в байесовском подходе к статистическому выводу, можно было бы присвоить распределение вероятностей для p независимо от отсутствия какой-либо такой «частотной» интерпретации., и можно было бы истолковать вероятности как степени уверенности в том, что p находится в любом интервале, которому приписана вероятность. В этой модели случайные величины X 1,..., X n не являются независимыми, но они условно независимы при значении p. В частности, если наблюдается большое количество X, равное 1, это будет означать высокую условную вероятность, учитывая это наблюдение, что p близко к 1, и, следовательно, высокую условную вероятность, учитывая это наблюдение, что следующее X, который должен соблюдаться, будет равен 1.

Правила условной независимости

Набор правил, регулирующих утверждения условной независимости, был получен из основного определения.

Примечание : поскольку эти импликации верны для любого вероятностного пространства, они все равно будут иметь место, если рассматривать суб-вселенную, обусловливая все другой переменной, скажем K. Например, $X ⊥ ⊥ Y ⇒ Y ⊥ ⊥ X {\ displaystyle X \ perp \! \! \! \ perp Y \ Rightarrow Y \ perp \! \! \! \ perp X}$ $X \ perp \! \! \! \ perp Y \ Rightarrow Y \ perp \! \! \! \ perp X$ также будет означать, что $X ⊥ ⊥ Y ∣ K ⇒ Y ⊥ ⊥ X ∣ K {\ displaystyle X \ perp \! \! \! \ Perp Y \ mid K \ Rightarrow Y \ perp \! \! \! \ Perp X \ mid K}$ $X \ perp \! \! \! \ Perp Y \ mid K \ Rightarrow Y \ perp \! \! \ ! \ perp X \ mid K$ .

Примечание: ниже запятую можно прочитать как «И».

Симметрия

X ⊥ ⊥ Y ⇒ Y ⊥ ⊥ X {\ displaystyle X \ perp \! \! \! \ Perp Y \ quad \ Rightarrow \ quad Y \ perp \! \! \! \ perp X}

X \ perp \! \! \! \ Perp Y \ quad \ Rightarrow \ quad Y \ perp \! \! \! \ perp X

Разложение

X ⊥ ⊥ A, B ⇒ и {X ⊥ ⊥ AX ⊥ ⊥ B {\ displaystyle X \ perp \! \! \! \ perp A, B \ quad \ Rightarrow \ quad { \ text {and}} {\ begin {cases} X \ perp \! \! \! \ perp A \\ X \ perp \! \! \! \ perp B \ end {cases}}}

X \ perp \! \! \! \ Perp A, B \ quad \ Rightarrow \ quad {\ text {and}} {\ begin {cases} X \ perp \! \! \! \ perp A \\ X \ perp \! \! \! \ perp B \ end {case}}

Доказательство:

$п Икс, А, В (Икс, А, В) знак равно п Икс (Икс) п А, В (А, В) {\ Displaystyle р_ {Х, А, В} (х, а, Ь) = p_ {X} (x) p_ {A, B} (a, b)}$ $p_ {X, A, B} (x, a, b) = p_ {X} (x) p_ {A, B} (a, b)$ (значение $X ⊥ ⊥ A, B {\ displaystyle X \ perp \! \! \! \ перп A, B}$ $X \ perp \! \! \! \ Perp A, B$ )
$∫ B p X, A, B (x, a, b) db = ∫ B p X (x) p A, B (a, b) db {\ displaystyle \ int _ {B } \! p_ {X, A, B} (x, a, b) \, db = \ int _ {B} \! p_ {X} (x) p_ {A, B} (a, b) \, db}$ ${\ displaystyle \ int _ {B} \! p_ {X, A, B} (x, a, b) \, db = \ int _ {B} \! p_ {X} (x) p_ {A, B} (a, b) \, db}$ (игнорировать переменную B, интегрировав ее)
$p X, A (x, a) = p X (x) p A (a) {\ displaystyle p_ {X, A} ( x, a) = p_ {X} (x) p_ {A} (a)}$ $p_{X,A}(x,a)=p_{X}(x)p_{A}(a)$

Аналогичное доказательство показывает независимость X и B.

Слабое объединение

X ⊥ ⊥ A, В ⇒ и {Икс ⊥ ⊥ A ∣ BX ⊥ ⊥ B ∣ A {\ displaystyle X \ perp \! \! \! \ Perp A, B \ q uad \ Rightarrow \ quad {\ text {и}} {\ begin {cases} X \ perp \! \! \! \ perp A \ mid B \\ X \ perp \! \! \! \ perp B \ mid A \ end {cases}}}

X \ perp \! \! \! \ Perp A, B \ quad \ Rightarrow \ quad {\ текст {и}} {\ begin {cases} X \ perp \! \! \! \ perp A \ mid B \\ X \ perp \! \! \! \ perp B \ mid A \ end {cases}}

Доказательство:

По определению $Pr (X) = Pr (X ∣ A, B) {\ displaystyle \ Pr (X) = \ Pr (X \ mid A, B)}$ $\ Pr (X) = \ Pr (X \ mid A, B)$ .
Из-за свойства разложения $X ⊥ ⊥ B {\ displaystyle X \ perp \! \! \! \ Perp B}$ $X \ perp \! \! \! \ Perp B$ , $Pr (X) = Pr (X ∣ B) {\ displaystyle \ Pr (X) = \ Pr (X \ mid B)}$ $\ Pr ( Икс) = \ Pr (Икс \ середина B)$ .
Объединение двух приведенных выше равенств дает $Pr (X ∣ B) = Pr (X ∣ A, B) {\ displaystyle \ Pr (X \ mid B) = \ Pr (X \ mid A, B)}$ $\ Pr (X \ mid B) = \ Pr (Икс \ середина A, B)$ , что устанавливает $X ⊥ ⊥ A ∣ B {\ displaystyle X \ perp \! \! \! \ Perp A \ mid B}$ $X \ perp \! \! \! \ perp A \ mid B$ .

Второе условие доказывается аналогично.

Сужение

X ⊥ ⊥ A ∣ BX ⊥ ⊥ B} и ⇒ X ⊥ ⊥ A, B {\ displaystyle \ left. {\ Begin {align} X \ perp \! \! \! \ perp A \ mid B \\ X \ perp \! \! \! \ perp B \ end {выровнен}} \ right \} {\ text {and}} \ quad \ Rightarrow \ quad X \ perp \! \! \ ! \ perp A, B}

\ left. {\ begin {align} X \ perp \ ! \! \! \ perp A \ mid B \\ X \ perp \! \! \! \ perp B \ end {align}} \ right \} {\ text {and}} \ quad \ Rightarrow \ quad X \ перп \! \! \! \ перп А, В

Доказательство:

Это свойство можно доказать, заметив $Pr (X ∣ A, B) = Pr (X ∣ B) = Pr (X) {\ displaystyle \ Pr (X \ mid A, B) = \ Pr (X \ mid B) = \ Pr (X)}$ $\ Pr (X \ mid A, B) = \ Pr (X \ mid B) = \ Pr (X)$ , каждое равенство которого подтверждается формулой $X ⊥ ⊥ A ∣ B {\ displaystyle X \ perp \! \! \! \ perp A \ mid B}$ $X \ perp \! \! \! \ perp A \ mid B$ и $X ⊥ ⊥ B {\ displaystyle X \ perp \! \! \! \ perp B}$ $X \ perp \! \! \! \ Perp B$ соответственно.

Сжатие-разложение-слабое объединение

Объединяя три вышеупомянутых, мы получаем:

X ⊥ ⊥ A ∣ BX ⊥ ⊥ B} и ⟺ X ⊥ ⊥ A, B ⇒ и {Икс ⊥ ⊥ A ∣ BX ⊥ ⊥ BX ⊥ ⊥ B ∣ AX ⊥ ⊥ A {\ displaystyle \ left. {\ begin {align} X \ perp \! \! \! \ perp A \ mid B \\ X \ перп \! \! \! \ перп Б \ конец {выровнено}} \ право \} {\ текст {и}} \ квад \ еслиф \ квад X \ перп \! \! \! \ перп А, В \ квад \ Стрелка вправо \ quad {\ text {и}} {\ begin {case} X \ perp \! \! \! \ Perp A \ mid B \\ X \ perp \! \! \! \ Perp B \\ X \ perp \! \! \! \ perp B \ mid A \\ X \ perp \! \! \! \ perp A \\\ end {cases}}}

\ left. {\ Begin {align} X \ perp \! \! \! \ Perp A \ mid B \\ X \ perp \! \! \! \ Perp B \ end {align}} \ right \} {\ text {and}} \ quad \ iff \ quad X \ perp \! \! \! \ Perp A, B \ quad \ Rightarrow \ quad {\ text {и} } {\ begin {case} X \ perp \! \! \! \ perp A \ mid B \\ X \ perp \! \! \! \ perp B \\ X \ perp \! \! \! \ perp B \ mid A \\ X \ perp \! \! \! \ perp A \\\ end {case}}

Пересечение

Для строго положительных распределений вероятностей, также выполняется следующее:

Икс ⊥ ⊥ A ∣ C, BX ⊥ ⊥ B ∣ C, A} и ⇒ X ⊥ ⊥ B, A ∣ C {\ displaystyle \ left. {\ begin {align} X \ perp \! \! \! \ perp A \ mid C, B \\ X \ perp \! \! \! \ perp B \ mid C, A \ end {align}} \ right \} {\ text {and}} \ quad \ Rightarrow \ quad X \ perp \! \! \! \ perp B, A \ mid C}

\ left. {\ begin {align} X \ perp \! \ ! \! \ за p A \ mid C, B \\ X \ perp \! \! \! \ perp B \ mid C, A \ end {align}} \ right \} {\ text {and}} \ quad \ Rightarrow \ quad X \ perp \! \! \! \ perp B, A \ mid C

Пять приведенных выше правил были названы Перл и Паз "Графоид Аксиомы", потому что они в графах, если $X ⊥ ⊥ A ∣ B { \ displaystyle X \ perp \! \! \! \ perp A \ mid B}$ $X \ perp \! \! \! \ perp A \ mid B$ интерпретируется как означающее: «Все пути от X до A перехватываются набором B».

См. Также

Ссылки

Внешние ссылки

СМИ, связанные с Условной независимостью на Викимедиа Commons