Некоррелированность (теория вероятности)

редактировать

В теории вероятностей и статистике два действительных значения случайные переменные, $X {\ displaystyle X}$ $X$ , $Y {\ displaystyle Y}$ $Y$ , называются некоррелированными, если их ковариация, $cov ⁡ [X, Y] = E ⁡ [XY] - E ⁡ [X] E ⁡ [Y] {\ displaystyle \ operatorname {cov} [X, Y] = \ operatorname {E} [ XY] - \ operatorname {E} [X] \ operatorname {E} [Y]}$ ${\ displaystyle \ operatorname {cov} [X, Y] = \ operatorname {E} [XY] - \ operatorname {E} [X] \ operatorname {E} [Y] }$ , равно нулю. Если две переменные не коррелированы, между ними нет линейной зависимости.

Некоррелированные случайные величины имеют коэффициент корреляции Пирсона, равный нулю, за исключением тривиального случая, когда любая переменная имеет нулевую дисперсию (является константой). В этом случае корреляция не определена.

В общем случае некоррелированность не то же самое, что ортогональность, за исключением особого случая, когда по крайней мере одна из двух случайных величин имеет ожидаемое значение 0. В этом случае ковариация - это математическое ожидание продукта, а $X {\ displaystyle X}$ $X$ и $Y {\ displaystyle Y}$ $Y$ не коррелированы тогда и только тогда, когда $E ⁡ [XY] = 0 {\ displaystyle \ operatorname {E} [XY] = 0}$ ${\ displaystyle \ operatorname {E} [XY] = 0 }$ .

If $X {\ displaystyle X}$ $X$ и $Y {\ displaystyle Y}$ $Y$ являются независимыми, с конечными секундными моментами, тогда они не коррелированы. Однако не все некоррелированные переменные являются независимыми.

Содержание

1 Определение
- 1.1 Определение для двух реальных случайных величин
- 1.2 Определение для двух сложных случайных величин
- 1.3 Определение для более чем двух случайных величин
2 Примеры зависимости без корреляции
- 2.1 Пример 1
- 2.2 Пример 2
3 Когда некоррелированность подразумевает независимость
4 Обобщения
- 4.1 Некоррелированные случайные векторы
- 4.2 Некоррелированные случайные процессы
5 См. Также
6 Ссылки
7 Дополнительная литература

Определение

Определение двух реальных случайных величин

Две случайные величины $X, Y {\ displaystyle X, Y}$ $X, Y$ называются некоррелированными, если их ковариация $Cov ⁡ [X, Y] = E ⁡ [(X - E ⁡ [X]) (Y - E ⁡ [Y])] {\ displaystyle \ operatorname {Cov} [X, Y] = \ operatorname {E} [(X- \ operatorname {E} [X]) (Y- \ operatorname {E} [Y])]}$ ${\ displaystyle \ operatorname {Cov} [X, Y] = \ operatorname { E} [(X- \ operatorname {E} [X]) (Y- \ operatorname {E} [Y])]}$ нуль. Формально:

$X, Y некоррелированный ⟺ E ⁡ [XY] = E ⁡ [X] ⋅ E ⁡ [Y] {\ displaystyle X, Y {\ text {uncorrelated}} \ quad \ iff \ quad \ operatorname {E } [XY] = \ operatorname {E} [X] \ cdot \ operatorname {E} [Y]}$ ${\ displaystyle X, Y {\ text {uncorrelated}} \ quad \ iff \ quad \ op eratorname {E} [XY] = \ operatorname {E} [X] \ cdot \ operatorname {E} [Y]}$

Определение для двух сложных случайных величин

Две комплексных случайных величин $Z, W {\ displaystyle Z, W}$ ${\ displaystyle Z, W}$ называются некоррелированными, если их ковариация $KZW = E ⁡ [(Z - E ⁡ [Z]) (W - E ⁡ [W]) ¯] {\ displaystyle \ operatorname {K} _ {ZW} = \ operatorname {E} [(Z- \ operatorname {E} [Z]) {\ overline {(W- \ operatorname {E} [W])} }]}$ ${\ displaystyle \ operatorname {K} _ {ZW} = \ operatorname {E} [(Z- \ operatorname {E} [Z]) {\ overline {(W- \ operatorname { E} [W])}}]}$ и их псевдоковариантность $JZW = E ⁡ [(Z - E ⁡ [Z]) (W - E ⁡ [W])] {\ displaystyle \ operatorname {J} _ {ZW} = \ operatorname {E} [(Z- \ operatorname {E} [Z]) (W- \ operatorname {E} [W])]}$ ${\ displaystyle \ operatorname {J} _ {ZW} = \ operatorname {E} [(Z- \ operatorname {E} [ Z]) (W- \ operatorname {E} [W])]}$ равно нулю, т.е.

$Z, W некоррелированный ⟺ E ⁡ [ZW ¯] = E ⁡ [Z] ⋅ E ⁡ [W ¯] и E ⁡ [ZW] = E ⁡ [Z] ⋅ E ⁡ [W] {\ displaystyle Z, W {\ text {некоррелированный}} \ quad \ iff \ quad \ operatorname {E} [Z {\ overline {W}}] = \ operato rname {E} [Z] \ cdot \ operatorname {E} [{\ overline {W}}] {\ text {and}} \ operatorname {E} [ZW] = \ operatorname {E} [Z] \ cdot \ OperatorName {E} [W]}$ ${\ displaystyle Z, W {\ text {uncorrelated}} \ quad \ iff \ quad \ operatorname {E} [Z {\ overline {W}}] = \ operatorname {E} [Z] \ cdot \ operatorname {E} [{\ overline {W}}] {\ text {and}} \ operatorname {E} [ZW] = \ operatorname {E} [Z] \ cdot \ operatorname {E} [W]}$

Определение более двух случайных величин

Набор из двух или более случайных величин $X 1,…, X n {\ displaystyle X_ {1}, \ ldots, X_ {n}}$ $X_ {1}, \ ldots, X_ {n}$ называется некоррелированным, если каждая пара из них не коррелирована. Это эквивалентно требованию, чтобы недиагональные элементы матрицы автоковариации $KXX {\ displaystyle \ operatorname {K} _ {\ mathbf {X} \ mathbf {X}}}$ ${\ displaystyle \ operatorname {K} _ {\ mathbf {X} \ m athbf {X}}}$ из случайного вектора $X = (X 1,…, X n) T {\ displaystyle \ mathbf {X} = (X_ {1}, \ ldots, X_ {n }) ^ {\ mathrm {T}}}$ ${\ displaystyle \ mathbf {X} = (X_ {1}, \ ldots, X_ {n}) ^ {\ mathrm {T}}}$ все равны нулю. Матрица автоковариации определяется как:

KXX = cov ⁡ [X, X] = E ⁡ [(X - E ⁡ [X]) (X - E ⁡ [X]) T] = E ⁡ [XXT] - E ⁡ [X] E ⁡ [X] T {\ displaystyle \ operatorname {K} _ {\ mathbf {X} \ mathbf {X}} = \ operatorname {cov} [\ mathbf {X}, \ mathbf {X} ] = \ operatorname {E} [(\ mathbf {X} - \ operatorname {E} [\ mathbf {X}]) (\ mathbf {X} - \ operatorname {E} [\ mathbf {X}]) ^ { \ rm {T}}] = \ operatorname {E} [\ mathbf {X} \ mathbf {X} ^ {T}] - \ operatorname {E} [\ mathbf {X}] \ operatorname {E} [\ mathbf {X}] ^ {T}}

{\ displaystyle \ operatorname {K} _ {\ mathbf {X} \ mathbf {X}} = \ operatorname {cov} [ \ mathbf {X}, \ mathbf {X}] = \ operatorname {E} [(\ mathbf {X} - \ operatorname {E} [\ mathbf {X}]) (\ mathbf {X} - \ operatorname {E } [\ mathbf {X}]) ^ {\ rm {T}}] = \ operatorname {E} [\ mathbf {X} \ mathbf {X} ^ {T}] - \ operatorname {E} [\ mathbf { X}] \ operatorname {E} [\ mathbf {X}] ^ {T}}

Примеры зависимости без корреляции

Пример 1

Пусть $X {\ displaystyle X}$ $X$ будет случайной величиной, которая принимает значение 0 с вероятностью 1/2 и принимает значение 1 с вероятностью 1/2.
Пусть $Y {\ displaystyle Y}$ $Y$ будет случайной величиной, независимой от $X {\ displaystyle X}$ $X$ , который принимает значение -1 с вероятностью 1/2 и принимает значение 1 с вероятностью 1/2.
Пусть $U { \ displaystyle U}$ $U$ быть случайным переменная, составленная как $U = XY {\ displaystyle U = XY}$ ${\ displaystyle U = XY}$ .

Утверждение состоит в том, что $U {\ displaystyle U}$ $U$ и $X {\ displaystyle X}$ $X$ имеют нулевую ковариацию (и, следовательно, некоррелированы), но не являются независимыми.

Доказательство:

Принимая во внимание, что

E ⁡ [U] = E ⁡ [XY] = E ⁡ [X] E ⁡ [Y] = E ⁡ [X] ⋅ 0 = 0, {\ displaystyle \ operatorname {E} [U] = \ operatorname {E} [XY] = \ operatorname {E} [X] \ operatorname {E} [Y] = \ operatorname {E} [X] \ cdot 0 = 0,}

{\ displaystyle \ operatorname {E} [U] = \ OperatorName {E} [XY] = \ operatorname {E} [X] \ operatorname {E} [Y] = \ Operatorname {E} [X] \ cdot 0 = 0,}

где второе равенство выполняется, потому что $X {\ displaystyle X}$ $X$ и $Y {\ displaystyle Y}$ $Y$ независимы, получается

cov ⁡ [U, X] = E ⁡ [(U - E ⁡ [U]) (X - E ⁡ [X])] = E ⁡ [U (X - 1 2)] = E ⁡ [Икс 2 Y - 1 2 XY] = E ⁡ [(X 2-1 2 X) Y] = E ⁡ [(X 2-1 2 X)] E ⁡ [Y] = 0 {\ displaystyle {\ begin { выровнено} \ operatorname {cov} [U, X] = \ operatorname {E} [(U- \ operatorname {E} [U]) (X- \ operatorname {E} [X])] = \ operatorname {E } [U (X - {\ tfrac {1} {2}})] \\ = \ operatorname {E} [X ^ {2} Y - {\ tfrac {1} {2}} XY] = \ operatorname {E} [(X ^ {2} - {\ tfrac {1} {2}} X) Y] = \ operatorname {E} [(X ^ {2} - {\ tfrac {1} {2}} X)] \ operatorname {E} [Y] = 0 \ end {align}}}

{\ displaystyle {\ begin {align} \ operatorname {cov} [U, X] = \ operatorname {E} [(U- \ operatorname {E} [U]) (X- \ operatorname {E} [X])] = \ operatorname {E} [U (X - {\ tfrac {1} {2}})] \\ = \ operatorname {E} [X ^ {2} Y - {\ tfrac {1} {2 }} XY] = \ operatorname {E} [(X ^ {2} - {\ tfrac {1} {2}} X) Y] = \ operatorname {E} [(X ^ {2} - {\ tfrac { 1} {2}} X)] \ operatorname {E} [Y] = 0 \ end {align}}}

Следовательно, $U {\ displaystyle U}$ $U$ и $X {\ displ aystyle X}$ $X$ не коррелированы.

Независимость от $U {\ displaystyle U}$ $U$ и $X {\ displaystyle X}$ $X$ означает, что для всех $a {\ displaystyle a}$ $a$ и $b {\ displaystyle b}$ $б$ , $Pr (U = a ∣ X = b) = Pr (U = a) {\ displaystyle \ Pr (U = a \ mid X = b) = \ Pr (U = a)}$ $\ Pr (U = a \ mid X = b) = \ Pr (U = a)$ . Это неверно, в частности, для $a = 1 {\ displaystyle a = 1}$ $a = 1$ и $b = 0 {\ displaystyle b = 0}$ $b = 0$ .

$Pr (U = 1 ∣ Икс знак равно 0) знак равно Pr (XY = 1 ∣ X = 0) знак равно 0 {\ Displaystyle \ Pr (U = 1 \ середина X = 0) = \ Pr (XY = 1 \ середина X = 0) = 0}$ ${\ displaystyle \ Pr (U = 1 \ середина X = 0) = \ Pr (XY = 1 \ mid X = 0) = 0}$
$Pr (U = 1) = Pr (XY = 1) = 1/4 {\ displaystyle \ Pr (U = 1) = \ Pr (XY = 1) = 1/4}$ ${\ displaystyle \ Pr (U = 1) = \ Pr (XY = 1) = 1/4}$

Таким образом, $Pr (U = 1 ∣ X = 0) ≠ Pr (U = 1) {\ displaystyle \ Pr (U = 1 \ mid X = 0) \ neq \ Pr (U = 1)}$ $\ Pr (U = 1 \ mid X = 0) \ neq \ Pr (U = 1)$ так что $U {\ displaystyle U}$ $U$ и $X {\ displaystyle X}$ $X$ не являются независимыми.

Q.E.D.

Пример 2

Если $X {\ displaystyle X}$ $X$ является непрерывной случайной величиной, равномерно распределенной на $[- 1, 1] {\ displaystyle [-1,1]}$ $[-1,1]$ и $Y = X 2 {\ displaystyle Y = X ^ {2}}$ ${\ displaystyle Y = X ^ {2}}$ , затем $X {\ displaystyle X}$ $X$ и $Y {\ displaystyle Y}$ $Y$ не коррелированы, хотя $X {\ displaystyle X}$ $X$ определяет $Y {\ displaystyle Y}$ $Y$ и конкретное значение $Y {\ displaystyle Y}$ $Y$ могут быть созданы только одним или двумя значениями $X {\ displaystyle X }$ $X$ :

$f X (t) = 1 2 I [- 1, 1]; е Y (t) = 1 2 t I] 0, 1] {\ displaystyle f_ {X} (t) = {1 \ over 2} I _ {[- 1,1]}; f_ {Y} (t) = {1 \ over {2 {\ sqrt {t}}}} I _ {] 0,1]}}$ ${\ displaystyle f_ {X} (t) = {1 \ over 2} I_ { [-1,1]}; f_ {Y} (t) = {1 \ over {2 {\ sqrt {t}}}} I _ {] 0,1]}}$

с другой стороны, $f X, Y {\ displaystyle f_ {X, Y}}$ ${\ displaystyle f_ {X, Y}}$ равно 0 в треугольнике, определяемом $0 < X < Y < 1 {\displaystyle 0$ ${\ displaystyle 0 <X <Y<1}$ , хотя $f X × f Y {\ displaystyle f_ {X} \ times f_ {Y}}$ ${\ displaystyle f_ { X} \ times f_ { Y}}$ не является нулем в этом домене. Следовательно, $е Икс, Y (X, Y) ≠ е Икс (X) × е Y (Y) {\ Displaystyle f_ {X, Y} (X, Y) \ neq f_ {X} (X) \ раз f_ {Y} (Y)}$ ${\ displaystyle f_ {X, Y } (X, Y) \ neq f_ {X} (X) \ times f_ {Y} (Y)}$ и переменные не являются независимыми.

$E [X] = 1–1 2 = 0; E [Y] = 1 3 - (- 1) 3 3 × 2 = 1 3 {\ displaystyle E [X] = {{1-1} \ over 2} = 0; E [Y] = {{1 ^ { 3} - (- 1) ^ {3}} \ over {3 \ times 2}} = {1 \ over 3}}$ ${\ displaystyle E [X] = {{1-1} \ over 2} = 0; E [Y] = {{1 ^ {3} - (-1) ^ {3}} \ over {3 \ times 2}} = {1 \ over 3}}$

$C ov [X, Y] = E [(X - E [X]) (Y - E [Y])] = E [X 3 - X 3] = 1 4 - (- 1) 4 4 × 2 = 0 {\ displaystyle Cov [X, Y] = E \ left [(XE [X ]) (YE [Y]) \ right] = E \ left [X ^ {3} - {X \ over 3} \ right] = {{1 ^ {4} - (- 1) ^ {4}} \ over {4 \ times 2}} = 0}$ ${\ displaystyle Cov [X, Y] = E \ left [( XE [X]) (YE [Y]) \ right] = E \ left [X ^ {3} - {X \ over 3} \ right] = {{1 ^ {4} - (- 1) ^ {4 }} \ over {4 \ times 2}} = 0}$

Следовательно, переменные некоррелированы.

Когда некоррелированность подразумевает независимость

Есть случаи, когда некоррелированность действительно подразумевает независимость. Один из этих случаев - это тот, в котором обе случайные величины являются двузначными (поэтому каждая может быть линейно преобразована для получения распределения Бернулли ). Кроме того, две совместно нормально распределенные случайные величины являются независимыми, если они некоррелированы, хотя это не выполняется для переменных, маргинальные распределения которых являются нормальными и некоррелированными, но совместное распределение которых не является совместным нормальным (см. Нормально распределенные и некоррелированные не подразумевают независимость ).

Обобщения

Некоррелированные случайные векторы

Два случайных вектора $X = (X 1,…, X m) T {\ displaystyle \ mathbf {X} = (X_ {1}, \ ldots, X_ {m}) ^ {T}}$ ${\ displaystyle \ mathbf {X} = (X_ {1 }, \ ldots, X_ {m}) ^ {T}}$ и $Y = (Y 1,…, Y n) T {\ displaystyle \ mathbf {Y} = (Y_ {1}, \ ldots, Y_ {n}) ^ {T}}$ ${\ displaystyle \ mathbf {Y} = (Y_ {1}, \ ldots, Y_ {n}) ^ {T}}$ называются некоррелированными, если

E ⁡ [XYT] = E ⁡ [X] E ⁡ [Y] T {\ displaystyle \ operatorname {E} [\ mathbf {X} \ mathbf {Y} ^ {T}] = \ operatorname {E} [\ mathbf {X}] \ operatorname {E} [\ mathbf { Y}] ^ {T}}

{\ displaystyle \ operatorname {E} [\ mathbf {X} \ mathbf {Y} ^ {T}] = \ operatorname {E} [\ mathbf {X}] \ operatorname {E} [\ mathbf {Y}] ^ {T}}

Они некоррелированы тогда и только тогда, когда их матрица кросс-ковариаций $KXY {\ displaystyle \ operatorname {K} _ {\ mathbf {X} \ mathbf {Y}}}$ ${\ displaystyle \ operatorname {K } _ {\ mathbf {X} \ mathbf {Y}}}$ равно нулю.

Два комплексных случайных вектора $Z {\ displaystyle \ mathbf {Z}}$ $\ mathbf {Z}$ и $W {\ displaystyle \ mathbf {W}}$ $\ mathbf {W}$ называются некоррелированными, если их матрица кросс-ковариаций и их матрица псевдокросс-ковариаций равна нулю, то есть если

KZW = JZW = 0 { \ Displaystyle \ OperatorName {K} _ {\ mathbf {Z} \ mathbf {W}} = \ operatorname {J} _ {\ mathbf {Z} \ mathbf {W}} = 0}

{\ displaystyle \ operatorname {K} _ {\ mathbf {Z} \ mathbf {W}} = \ operatorname {J} _ {\ mathbf {Z} \ mathbf {W}} = 0}

где

KZW = E ⁡ [(Z - E ⁡ [Z]) (W - E [W]) H] {\ displaystyle \ operatorname {K} _ {\ mathbf {Z} \ mathbf {W}} = \ operatorname {E} [(\ mathbf {Z} - \ operatorname {E} [\ mathbf {Z}]) {(\ mathbf {W} - \ operatorname {E} [\ mathbf {W}])} ^ {\ mathrm {H}}]}

{\ displaystyle \ operatorname {K} _ {\ mathbf {Z} \ mathbf {W}} = \ operatorname {E} [(\ mathbf {Z} - \ operatorname { E} [\ mathbf {Z}]) {(\ mathbf {W} - \ operatorname {E} [\ mathbf {W}])} ^ {\ mathrm {H}}]}

JZW = E ⁡ [(Z - E ⁡ [Z]) (W - E ⁡ [W]) T] {\ displaystyle \ operatorname {J} _ {\ mathbf {Z} \ mathbf {W}} = \ operatorname {E} [(\ mathbf {Z} - \ operatorname {E} [\ mathbf {Z}]) {(\ mathbf {W} - \ operatorname {E} [\ mathbf {W}])} ^ {\ mathrm {T}}]}

{\ displaystyle \ operatorname {J} _ {\ mathbf {Z} \ mathbf {W}} = \ operatorname {E} [(\ mathbf {Z} - \ operatorname {E} [\ mathbf {Z}]) {(\ mathbf {W} - \ operatorname {E} [\ mathbf {W}])} ^ {\ mathrm {T}}]}

Некоррелированный стохастик процессы

Два случайных процесса ${X t} {\ displaystyle \ left \ {X_ {t} \ right \}}$ $\ left \ {X_ {t} \ right \}$ и ${ Y t} {\ displaystyle \ left \ {Y_ {t} \ right \}}$ ${\ displaystyle \ left \ {Y_ {t} \ right \}}$ называются некоррелированными, если их кросс-ковариация $KXY ⁡ (t 1, t 2) Знак равно Е ⁡ [(Икс (T 1) - μ Икс (T 1)) (Y (T 2) - μ Y (T 2))] {\ Displaystyle \ OperatorName {K} _ {\ mathbf {X} \ mathbf {Y}} (t_ {1}, t_ {2}) = \ operatorname {E} \ left [\ left (X (t_ {1}) - \ mu _ {X} (t_ {1}) \ right) \ left (Y (t_ {2}) - \ mu _ {Y} (t_ {2}) \ right) \ right]}$ ${\ displaystyle \ operatorname {K} _ {\ mathbf {X} \ mathbf {Y}} (t_ {1}, t_ {2}) = \ operatorname {E} \ left [\ left (X (t_ {1}) - \ mu _ {X} (t_ {1}) \ right) \ left (Y (t_ {2}) - \ mu _ {Y} (t_ {2}) \ right) \ right]}$ всегда равен нулю. Формально:

{X t}, {Y t} некоррелированный ⟺ K X Y ⁡ (t 1, t 2) = 0 ∀ t 1, t 2. {\ displaystyle \ left \ {X_ {t} \ right \}, \ left \ {Y_ {t} \ right \} {\ text {uncorrelated}} \ quad \ iff \ quad \ operatorname {K} _ {\ mathbf {X} \ mathbf {Y}} (t_ {1}, t_ {2}) = 0 \ quad \ forall t_ {1}, t_ {2}.}

{\ displaystyle \ left \ {X_ {t } \ right \}, \ left \ {Y_ {t} \ right \} {\ text {uncorrelated}} \ quad \ iff \ quad \ operatorname {K} _ {\ mathbf {X} \ mathbf {Y}} ( t_ {1}, t_ {2}) = 0 \ quad \ forall t_ {1}, t_ {2}.}

См. Также

Ссылки

Дополнительная литература

Вероятность для статистиков, Гален Р. Шорак, Спрингер (c2000) ISBN 0-387-98953-6