Матрица ковариации

редактировать

мера ковариации компонентов случайного вектора

A двумерная функция плотности вероятности Гаусса с центром в (0, 0), с ковариационной матрицей, заданной как

[1 0,5 0,5 1] {\ displaystyle {\ begin {bmatrix} 1 0,5 \\ 0,5 1 \ end {bmatrix}}}

{\ displaystyle {\ begin {bmatrix} 1 0,5 \\ 0,5 1 \ end {bmatrix}}}

Выборочные точки из двумерного гауссовского распределения со стандартным отклонением 3 примерно в нижнем левом и верхнем правом направлениях и 1 в ортогональном направлении. Компоненты X и Y меняются, дисперсии

x {\ displaystyle x}

x

y {\ displaystyle y}

y

не полностью описывают распределение.

2 × 2 {\ displaystyle 2 \ times 2}

2 \ times 2

необходима ковариационная матрица; собственное направление стрелок соответствуют собственному моментм этой ковари квадратным корням, а их длина - величина из собственных.

в теории вероятностей и статистике, матрица дисперсии, матрица дисперсии или дисперсия –Ковариационная матрица ) представляет собой квадратную матрицу , задающую ковариацию между каждым парой элементов данного случайного события. Любая ковариационная матрица является симметричной и положительно полуопределенной, а ее главная диагональ содержит дисперсии (то есть есть ковариацию каждого элемента с самим собой).

Интуитивно ковариационная матрица обобщает понятие дисперсии на несколько измерений. Например, изменение случайных точек в двумерном представлении может быть полностью охарактеризовано одним, как и отклонение в $x {\ displaystyle x}$ $x$ и $y {\ displaystyle y}$ $y$ содержат всю информацию; матрица $2 × 2 {\ displaystyle 2 \ times 2}$ $2 \ times 2$ необходима для полных характеристик двумерного изменения.

Ковариационная матрица случайного вектора $X {\ displaystyle \ mathbf {X}}$ $\ mathbf {X}$ обычно обозначается $KXX {\ displaystyle \ operatorname {K} _ {\ mathbf {X} \ mathbf {X}}}$ ${\ displaystyle \ operatorname {K} _ {\ mathbf {X} \ mathbf {X}}}$ или $Σ {\ displaystyle \ Sigma}$ $\ Sigma$ .

Содержание

1 Определение
- 1.1 Обобщение дисперсии
- 1.2 Конфликтующие номенклатуры и обозначения
2 Свойства
- 2.1 Связь с матрицей автокорреляции
- 2.2 Связь с матрицей корреляции
- 2.3 Обратная матрица ковариации
- 2.4 Основные свойства
- 2.5 Блочные матрицы
3 Матрица частичной ковариации
4 Матрица ковариации как параметр распределения
5 Матрица ковари как линейный оператор
6 Какие матрицы являются ковариационными матрицами?
7 Комплексные случайные электрические
- 7.1 Матрица ковариации
- 7.2 Псевдоковариационная матрица
- 7.3 Свойства
8 Оценка
9 Приложения
- 9.1 Картирование ковариаций
- 9.2 Двумерная инфракрасная спектроскопия
10 См. Также
11 Ссылки
12 Далее ding

Определение

В этой статье полужирным шрифтом выделены $X {\ displaystyle \ mathbf {X}}$ $\ mathbf {X}$ и $Y {\ displaystyle \ mathbf {Y}}$ $\ mathbf {Y}$ используются для обозначения случайных векторов, а нижние индексы с полужирным шрифтом $X i {\ displaystyle X_ {i}}$ $X_ {i}$ и $Y i {\ displaystyle Y_ {i}}$ $Y_ {i}$ используются для обозначения скалярных случайных величин.

Если запись в векторе-столбце

X = (X 1, X 2,..., X n) T {\ displaystyle \ mathbf {X} = (X_ {1}, X_ {2},..., X_ {n}) ^ {\ mathrm {T}}}

{\ displaystyle \ mathbf {X} = (X_ {1}, X_ {2},..., X_ {n}) ^ {\ mathrm {T}}}

- это случайные величины, каждая с конечной дисперсией и ожидаемое значение, тогда ковариационная матрица $KXX {\ displaystyle \ operatorname {K} _ {\ mathbf {X} \ mathbf {X}}}$ ${\ displaystyle \ operatorname {K} _ {\ mathbf {X} \ mathbf {X}}}$ - это матрица, $( i, j) {\ displaystyle (i, j)}$ $(i, j)$ запись - это ковариация

KX i X j = cov ⁡ [X i, X j] = E ⁡ [(X я - E ⁡ [X я]) (Икс j - E ⁡ [X j])] {\ displaystyle \ operatorname {K} _ {X_ {i} X_ {j}} = \ operatorname {cov} [X_ {i}, X_ {j}] = \ operatorname {E} [(X_ {i} - \ operatorname {E} [X_ {i}]) (X_ {j} - \ operatorname {E} [X_ {j}])] }

{\ displaystyle \ operatorname {K} _ {X_ {i} X_ {j}} = \ operatorname {cov} [X_ {i}, X_ {j}] = \ operatorname {E} [(X_ {i} - \ operatorname {E} [X_ {i}]) (X_ {j} - \ operatorname {E} [X_ {j}])]}

где оператор $E {\ displaystyle \ operatorname {E}}$ $\ operatorname {E}$ обозначает ожидаемое значение (среднее) своего аргумента.

Другими словами,

KXX = [E [(X 1 - E ⁡ [X 1]) (X 1 - E ⁡ [X 1]]]]] E [(X 1 - E ⁡ [X 1]) (X 2 - E ⁡ [X 2])] ⋯ E [(X 1 - E ⁡ [X 1]) (X n - E ⁡ [X n])] E [(X 2 - E ⁡ [X 2]) (X 1 - E ⁡ [X 1])] E [(X 2 - E ⁡ [X 2]) (X 2 - E ⁡ [X 2])] ⋯ E [(X 2 - E ⁡ [X 2]) (X n - E ⁡ [X n])] ⋮ ⋮ ⋱ ⋮ E [(X n - E ⁡ [X n]) (X 1 - E ⁡ [X 1])] E [ (X n - E ⁡ [X n]) (X 2 - E ⁡ [X 2])] ⋯ E [(X n - E ⁡ [X n]) (X n - E ⁡ [X n])]] {\ displaystyle \ operatorname {K} _ {\ mathbf {X} \ mathbf {X}} = {\ begin {bmatrix} \ mathrm {E} [(X_ {1} - \ operatorname {E} [X_ {1} ]) (X_ {1} - \ operatorname {E} [X_ {1}])] \ mathrm {E} [(X_ {1} - \ operatorname {E} [X_ {1}]) (X_ {2 } - \ operatorname {E} [X_ {2}])] \ cdots \ mathrm {E} [(X_ {1} - \ operatorname {E} [X_ {1}]) (X_ {n} - \ имя оператора {E} [X_ {n}])] \\\\\ mathrm {E} [(X_ {2} - \ operatorname {E} [X_ {2}]) (X_ {1} - \ operatorname {E } [X_ {1}])] \ mathrm {E} [(X_ {2} - \ operatorname {E} [X_ {2}]) (X_ {2} - \ operatorname {E} [X_ {2} ])] \ cdot s \ mathrm {E} [(X_ {2} - \ operatorname {E} [X_ {2}]) (X_ {n} - \ operatorname {E} [X_ {n}])] \\\\ \ vdots \ vdots \ ddots \ vdots \\\\\ mathrm {E} [(X_ {n} - \ operatorname {E} [X_ {n}]) (X_ {1} - \ operatorname {E} [ X_ {1}])] \ mathrm {E} [(X_ {n} - \ operatorname {E} [X_ {n}]) (X_ {2} - \ operatorname {E} [X_ {2}]) ] \ cdots \ mathrm {E} [(X_ {n} - \ operatorname {E} [X_ {n}]) (X_ {n} - \ operatorname {E} [X_ {n}])] \ end {bmatrix}}}

{\ displaystyle \ operatorname {K} _ {\ mathbf {X} \ mathbf {X}} = {\ begin {bmatrix} \ mathrm {E} [(X_ {1} - \ operatorname {E} [X_ {1}]) (X_ {1} - \ operatorname {E} [X_ {1}])] \ mathrm {E} [( X_ {1} - \ operatorname {E} [X_ {1}]) (X_ {2} - \ operatorname {E} [X_ {2}])] \ cdots \ mathrm {E} [(X_ {1 } - \ operatorname {E} [X_ {1}]) (X_ {n} - \ operatorname {E} [X_ {n}])] \\\\\ mathrm {E} [(X_ {2} - \ имя оператора {E} [X_ {2}]) (X_ {1} - \ operatorname {E} [X_ {1}])] \ mathrm {E} [(X_ {2} - \ operatorname {E} [X_ {2}]) (X_ {2} - \ operatorname {E} [X_ {2}])] \ cdots \ mathrm {E} [(X_ {2} - \ operatorname {E} [X_ {2} ]) (X_ {n} - \ operatorname {E} [X_ {n}])] \\\\\ vdots \ vdots \ ddots \ vdots \\\\\ mathrm {E} [(X_ {n} - \ operatorname {E} [X_ {n}]) (X_ {1} - \ operatorname {E} [X_ {1}])] \ mathrm {E} [(X_ {n} - \ operatorname {E} [X_ {n}]) (X_ {2} - \ operatorname {E} [X_ {2}])] \ cdots \ mathrm {E} [(X_ {n} - \ operatorname {E} [X_ {n}]) (X_ {n} - \ operatorname {E} [X_ {n}])] \ конец {bmatrix}}}

Приведенное выше определение эквивалентно матричному равенству

KXX = cov ⁡ [X, X] = E ⁡ [(X - μ X) (X - μ X) T] = E ⁡ [XXT] - μ Икс μ XT {\ Displaystyle \ OperatorName {K} _ {\ mathbf {X} \ mathbf {X}} = \ operatorname {cov} [\ mathbf {X}, \ mathbf {X}] = \ operatorname {E } [(\ mathbf {X} - \ mathbf {\ mu _ {X}}) (\ mathbf {X} - \ mathbf {\ mu _ {X}}) ^ {\ rm {T}}] = \ operatorname {E} [\ mathbf {X} \ mathbf {X} ^ {T}] - \ mathbf {\ mu _ {X}} \ mathbf {\ mu _ {X}} ^ {T}}

{\ displaystyle \ operatorname {K} _ {\ mathbf {X} \ mathbf {X}} = \ operatorname {cov} [\ mathbf {X}, \ mathbf {X}] = \ operatorname { E} [(\ mathbf {X} - \ mathbf {\ mu _ {X}}) (\ mathbf {X} - \ mathbf {\ mu _ {X}}) ^ {\ rm {T}}] = \ имя оператора {E} [\ mathbf {X} \ mathbf {X} ^ {T}] - \ mathbf {\ му _ {X}} \ mathbf {\ му _ {X}} ^ {T}}

(уравнение 1)

где $μ X = E ⁡ [X] {\ отобра жа ет тайл \ mathbf {\ mu _ {X}} = \ operatorname {E} [\ mathbf {X}]}$ ${\ displaystyle \ mathbf {\ mu _ {X}} = \ operatorname {E} [\ mathbf {X}]}$ .

Обобщение дисперсии

Эту формулу (уравнение 1 ) можно рассматривать как обобщение скалярной дисперсии на более высокие измерения. Помните, что для случайной величины со скалярным знаком $X {\ displaystyle X}$ $X$

σ X 2 = var ⁡ (X) = E ⁡ [(X - E ⁡ [X]) 2] = E ⁡ [( X - E ⁡ [X]) ⋅ (X - E ⁡ [X])]. {\ displaystyle \ sigma _ {X} ^ {2} = \ operatorname {var} (X) = \ operatorname {E} [(X- \ operatorname {E} [X]) ^ {2}] = \ operatorname { E} [(X- \ operatorname {E} [X]) \ cdot (X- \ operatorname {E} [X])].}

{\ displaystyle \ sigma _ {X } ^ {2} = \ operatorname {var} (X) = \ operatorn ame {E} [(X- \ operatorname {E} [X]) ^ {2}] = \ operatorname {E} [(X- \ operatorname {E} [X]) \ cdot (X- \ operatorname {E } [X])].}

На самом деле, элементы на диагонали автоковариационной матрицы $KXX {\ displaystyle \ operatorname {K} _ {\ mathbf {X} \ mathbf {X}}}$ ${\ displaystyle \ operatorname {K} _ {\ mathbf {X} \ mathbf {X}}}$ - дисперсии каждого элемента вектора $X {\ displaystyle \ mathbf {X}}$ $\ mathbf {X}$ .

Противоречивые номенклатуры и обозначения

Номенклатуры различаются. Некоторые статистики, соответствующие вероятностным Уильямом Феллером в его двухтомной книге «Введение в теорию вероятностей и ее приложения», называют матрицу $KXX {\ displaystyle \ operatorname {K} _ {\ mathbf {X} \ mathbf {X}}}$ ${\ displaystyle \ operatorname {K} _ {\ mathbf {X} \ mathbf {X}}}$ дисперсия случайного события $X {\ displaystyle \ mathbf {X}}$ $\ mathbf {X}$ , потому что это естественное обобщение однойерной дисперсии на более высокие измерения. Другие называют ее ковариационной матрицей, потому что это матрица ковариаций между скалярными компонентами вектора $X {\ displaystyle \ mathbf {X}}$ $\ mathbf {X}$ .

var ⁡ (X) = cov ⁡ (X) = E ⁡ [(X - E ⁡ [X]) (X - E ⁡ [X]) T]. {\ displaystyle \ operatorname {var} (\ mathbf {X}) = \ operatorname {cov} (\ mathbf {X}) = \ operatorname {E} \ left [(\ mathbf {X} - \ operatorname {E} [ \ mathbf {X}]) (\ mathbf {X} - \ operatorname {E} [\ mathbf {X}]) ^ {\ rm {T}} \ right].}

{\ displaystyle \ operatorname {var} (\ mathbf {X}) = \ operatorname {cov} (\ mathbf {X}) = \ operatorname {E} \ left [(\ mathbf {X} - \ operatorname {E} [\ mathbf {X}]) (\ mathbf {X} - \ operatorname {E} [\ mathbf {X}]) ^ {\ rm {T}} \ right].}

Обе формы вполне стандартные, и между ими нет двусмысленности. Матрица $KXX {\ displaystyle \ operatorname {K} _ {\ mathbf {X} \ mathbf {X}}}$ ${\ displaystyle \ operatorname {K} _ {\ mathbf {X} \ mathbf {X}}}$ также часто называется матрицей ковариации и дисперсии, поскольку диагональные члены находятся в отклонении фактов.

Для сравнения, обозначение для матрицы кросс-ковариации между двумя векторами:

cov ⁡ (X, Y) = KXY = E ⁡ [(X - E ⁡ [X]) (Y - E ⁡ [Y]) T]. {\ displaystyle \ operatorname {cov} (\ mathbf {X}, \ mathbf {Y}) = \ operatorname {K} _ {\ mathbf {X} \ mathbf {Y}} = \ operatorname {E} \ left [( \ mathbf {X} - \ operatorname {E} [\ mathbf {X}]) (\ mathbf {Y} - \ operatorname {E} [\ mathbf {Y}]) ^ {\ rm {T}} \ right].}

{\ displaystyle \ operatorname {cov} (\ mathbf {X}, \ mathbf {Y}) = \ operatorname {K } _ {\ mathbf {X} \ mathbf {Y}} = \ operatorname {E} \ le ft [(\ mathbf {X} - \ operatorname {E} [\ mathbf {X}]) (\ mathbf {Y} - \ operatorname {E} [\ mathbf {Y}]) ^ {\ rm {T}} \ right].}

Свойства

Связь с матрицей автокорреляции

Матрица автоковариации $KXX {\ displaystyle \ operatorname {K} _ {\ mathbf {X} \ mathbf {X}}}$ ${\ displaystyle \ operatorname {K} _ {\ mathbf {X} \ mathbf {X}}}$ относится к матрице автокорреляции $RXX {\ displaystyle \ operatorname {R} _ {\ mathbf {X} \ mathbf {X}}}$ ${\ displaystyle \ operatorname {R} _ {\ mathbf {X} \ mathbf {X}} }$ по

KXX знак равно E ⁡ [(X - E ⁡ [X]) (X - E ⁡ [X]) T] = RXX - E ⁡ [X] E ⁡ [X] T {\ displaystyle \ operatorname {K} _ {\ mathbf {X} \ mathbf {X}} = \ operatorname {E} [(\ mathbf {X} - \ operatorname {E} [\ mathbf {X}]) (\ mathbf {X} - \ operatorname { E} [\ mathbf {X}]) ^ {\ rm {T}}] = \ operatorname {R} _ {\ mathbf {X} \ mathbf {X}} - \ operatorname {E} [\ mathbf {X} ] \ operatorname {E} [\ mathbf {X}] ^ {\ rm {T }}}

{\ displaystyle \ operatorname {K } _ {\ mathbf {X} \ mathbf {X}} = \ operatorname {E} [(\ mathbf {X} - \ operatorname {E} [\ mathbf {X}]) (\ mathbf {X} - \ operatorname {E} [\ mathbf {X}]) ^ {\ rm {T}}] = \ operatorname {R} _ {\ mathbf {X} \ mathbf {X}} - \ имя оператора { E} [\ mathbf {X}] \ имя оператора {E} [\ mathbf {X}] ^ {\ rm {T}}}

где автокорреляция ma trix означает $RXX = E ⁡ [XXT] {\ displaystyle \ operatorname {R} _ {\ mathbf {X} \ mathbf {X}} = \ operatorname {E} [\ mathbf {X} \ mathbf {X} ^ {\ rm {T}}]}$ ${\ displaystyle \ operatorname {R} _ {\ mathbf {X} \ mathbf {X}} = \ operatorname { E} [\ mathbf {X} \ mathbf {X} ^ {\ rm {T}}]}$ .

Связь с корреляционной матрицей

Сущность, связанная с ковариационной матрицей, - это матрица коэффициентов корреляции произведения Пирсона между каждым из случайных величин в случайном векторе $X {\ displaystyle \ mathbf {X}}$ $\ mathbf {X}$ , который можно записать как

corr ⁡ (X) = (diag ⁡ (KXX)) - 1 2 KXX (диаг ⁡ (KXX)) - 1 2, {\ displaystyle \ operatorname {corr} (\ mathbf {X}) = {\ big (} \ operatorname {diag} (\ operatorname {K} _ {\ mathbf {X} \ mathbf {X}}) {\ big)} ^ {- {\ frac {1} {2}}} \, \ operatorname {K} _ {\ mathbf {X} \ mathbf {X}} \, {\ big (} \ operatorname {diag} (\ operatorname {K} _ {\ mathbf {X} \ mathbf {X}}) {\ big)} ^ {- {\ frac {1} {2}} },}

{\ displaystyle \ operatorname {corr} (\ mathbf {X}) = {\ big (} \ OperatorName {diag} (\ operatorname {K} _ {\ mathbf {X } \ mathbf {X}}) {\ big)} ^ {- {\ frac {1} {2}}} \, \ operatorname {K} _ {\ mathbf {X} \ mathbf {X}} \, { \ big (} \ operatorname {diag} (\ operatorname {K} _ {\ mathbf {X} \ mathbf {X}}) {\ big)} ^ {- {\ frac {1} {2}}},}

где $диаг ⁡ (KXX) {\ displaystyle \ operatorname {diag} (\ operatorname {K} _ {\ mathbf {X} \ mathbf {X}})}$ ${\ displaystyle \ operatorname {diag} (\ operatorname {K} _ {\ mathbf {X} \ mathbf {X}})}$ - матрица диагональных элементов $KXX {\ displaystyle \ operatorname {K} _ {\ mathbf {X} \ mathbf {X}}}$ ${\ displaystyle \ operatorname {K} _ {\ mathbf {X} \ mathbf {X}}}$ (т. е. диагональная матрица из дисперсии $X i {\ displaystyle X_ {i}}$ $X_ {i}$ для $i = 1,…, n {\ displaystyle i = 1, \ dots, n}$ $i = 1, \ dots, n$ ).

Эквивалентно корреляционную матрицу можно рассматривать как ковариационную матрицу стандартизованных случайных величин $X i / σ (X i) {\ displaystyle X_ {i} / \ sigma (X_ {i}) }$ $X_ {i} / \ sigma (X_ {i})$ для $i = 1,…, n {\ displaystyle i = 1, \ dots, n}$ $i = 1, \ dots, n$ .

corr ⁡ (X) = [1 E ⁡ [(X 1 - μ 1) (X 2 - μ 2)] σ (X 1) σ (X 2) ⋯ E ⁡ [(X 1 - μ 1) (X n - μ n)] σ (X 1) σ (X n) E ⁡ [(X 2 - μ 2) (X 1 - μ 1)] σ (X 2) σ (X 1) 1 ⋯ E ⁡ [(X 2 - μ 2) (X n - μ n)] σ (X 2) σ (X n) ⋮ ⋮ ⋱ ⋮ E ⁡ [(X n - μ n) (X 1 - μ 1)] σ (X n) σ (X 1) E ⁡ [(X n - μ n) (X 2 - μ 2)] σ (X n) σ (X 2) 1]. {\ displaystyle \ operatorname {corr} (\ mathbf {X}) = {\ begin {bmatrix} 1 {\ frac {\ operatorname {E} [(X_ {1} - \ mu _ {1}) (X_ { 2} - \ mu _ {2})]} {\ sigma (X_ {1}) \ sigma (X_ {2})}} \ cdots {\ frac {\ operatorname {E} [(X_ {1} - \ mu _ {1}) (X_ {n} - \ mu _ {n})]} {\ sigma (X_ {1}) \ sigma (X_ {n})}} \\\\ {\ frac { \ имя оператора {E} [(X_ {2} - \ mu _ {2}) (X_ {1} - \ mu _ {1})]} {\ sigma (X_ {2}) \ sigma (X_ {1 })}} 1 \ cdots {\ frac {\ operatorname {E} [(X_ {2} - \ mu _ {2}) (X_ {n} - \ mu _ {n})]} {\ sigma (X_ {2}) \ sigma (X_ {n})}} \\\\\ vdots \ vdots \ ddots \ vdots \\\\ {\ frac {\ operatorname {E} [(X_ {n } - \ mu _ {n}) (X_ {1} - \ mu _ {1})]} {\ sigma (X_ {n}) \ sigma (X_ {1})}} и {\ frac {\ operatorname {E} [(X_ {n} - \ mu _ {n}) (X_ {2} - \ mu _ {2})]} {\ sigma (X_ {n}) \ sigma (X_ {2})} } и \ cdots 1 \ end {bmatrix}}.}

{\ displaystyle \ operatorname {corr} (\ mathbf {X}) = {\ begin {bmatrix } 1 {\ frac {\ operatorname {E} [(X_ {1} - \ mu _ {1}) (X_ {2} - \ mu _ {2})]} {\ sigma (X_ {1}) \ сигма (X_ {2})}} \ cdots {\ frac {\ operatorname {E} [(X_ {1} - \ mu _ {1}) (X_ {n} - \ mu _ {n})]} {\ sigma (X_ {1}) \ sigma (X_ {n})}} \\\\ { \ frac {\ operatorname {E} [(X_ {2} - \ mu _ {2}) (X_ {1} - \ mu _ {1})]} {\ sigma (X_ {2}) \ sigma (X_ {1})}} 1 \ cdots {\ frac {\ operatorname {E} [(X_ {2} - \ mu _ {2}) (X_ {n} - \ mu _ {n})]} {\ sigma (X_ {2}) \ sigma (X_ {n})}} \\\\\ vdots \ vdots \ ddots \ vdots \\\\ {\ frac {\ operatorname {E} [(X_ {n} - \ mu _ {n}) (X_ {1} - \ mu _ {1})]} {\ sigma (X_ {n}) \ sigma (X_ {1})}} и {\ frac { \ operatorname {E} [(X_ {n} - \ mu _ {n}) (X_ {2} - \ mu _ {2})]} {\ sigma (X_ {n}) \ sigma (X_ {2})}} \ cdots 1 \ end {bmatrix}}.}

Каждый элемент на главной диагонали корреляционной матрицы является корреляцией случайной величины с самим собой, которая вс е гда равна 1. Каждый недиагональный элемент находится между −1 и +1 включительно.

Обратная матрица ковариации

Обратная матрица $KXX - 1 {\ displaystyle \ operatorname {K} _ {\ mathbf {X} \ mathbf {X}} ^ {- 1}}$ ${\ displaystyle \ имя оператора {K} _ {\ mathbf {X} \ mathbf {X}} ^ {- 1}}$ , если он существует, является обратной ковариационной матрицей, также известной как матрица концентрации или точность матрица.

Основные свойства

Для $KXX знак равно вар ⁡ (Икс) знак равно E ⁡ [(Икс - Е ⁡ [X]) (Икс - Е ⁡ [X]) T] {\ Displaystyle \ OperatorName {K} _ {\ mathbf {X} \ mathbf { X}} = \ operatorname {var} (\ mathbf {X}) = \ operatorname {E} \ left [\ left (\ mathbf {X} - \ operatorname {E} [\ mathbf {X}] \ right) \ left (\ mathbf {X} - \ operatorname {E} [\ mathbf {X}] \ right) ^ {\ rm {T}} \ right]}$ ${\ displaystyle \ operatorname {K} _ {\ mathbf { X} \ mathbf {X}} = \ operatorname {var} (\ mathbf {X}) = \ operatorname {E} \ left [\ left (\ mathbf {X} - \ operatorname {E} [\ mathbf {X} ] \ right) \ left (\ mathbf {X} - \ operatorname {E} [\ mathbf {X}] \ right) ^ {\ rm {T}} \ right]}$ и $μ X = E ⁡ [X] {\ displaystyle \ mathbf {\ mu _ {X}} = \ operatorname {E} [{\ textbf {X}}]}$ ${\ displaystyle \ mathbf {\ mu _ {X}} = \ operatorname {E} [{\ textbf {X}}]}$ , где $X = (Икс 1,…, Икс п) T {\ displaystyle \ mathbf {X} = (X_ {1}, \ ldots, X_ {n}) ^ {\ rm {T}}}$ ${\ displaystyle \ mathbf {X} = (X_ {1}, \ ldots, X_ {n}) ^ {\ rm {T}}}$ a $n {\ displaystyle n}$ $n$ -мерная случайн а я величина, применяемая ледующие:

$Знак равно E (XXT) KXX - μ Икс μ XT {\ Displaystyle \ OperatorName {K} _ {\ mathbf {X} \ mathbf {X}} = \ OperatorName {E} (\ mathbf {XX ^ {\ rm {T}}}) - \ mathbf {\ mu _ {X}} \ mathbf {\ mu _ {X}} ^ {\ rm {T}}}$ ${\ displaystyle \ operatorname {K} _ {\ mathbf {X} \ mathbf {X}} = \ operatorname {E} (\ mathbf {XX ^ {\ rm { T}}}) - \ mathbf {\ mu _ {X}} \ mathbf {\ mu _ {X}} ^ {\ rm {T}}}$
$KXX {\ displaystyle \ имя оператора {K} _ {\ mathbf {X} \ mathbf {X}} \,}$ ${\ displaystyle \ operatorname {K} _ {\ mathbf {X} \ mathbf {X}} \,}$ является положительно-полуопределенным, т.е. $a TKXX ⁡ a ≥ 0 для всех a ∈ R n {\ displaystyle \ mathbf {a} ^ {T} \ operatorname {K} _ {\ mathbf {X} \ mathbf {X}} \ mathbf {a} \ geq 0 \ quad {\ text {для всех}} \ mathbf {a} \ in \ mathbb {R} ^ {n}}$ ${\ displaystyle \ mathbf {a} ^ {T} \ operatorname {K} _ {\ mathbf {X} \ mathbf {X}} \ mathbf {a} \ geq 0 \ quad {\ text {для всех}} \ mathbf {a} \ in \ mathbb {R} ^ {n}}$
$KXX {\ displaystyle \ operatorname {K} _ {\ mathbf {X} \ mathbf {X}} \,}$ ${\ displaystyle \ operatorname {K} _ {\ mathbf {X} \ mathbf {X}} \,}$ является симметричным, т. е. $KXXT = KXX {\ displaystyle \ operatorname {K} _ {\ mathbf {X} \ mathbf {X}} ^ {\ rm {T}} = \ operatorname {K} _ {\ mathbf {X} \ mathbf {X}}}$ ${\ displaystyle \ operatorname {K} _ {\ mathbf {X} \ mathbf {X}} ^ {\ rm {T}} = \ operatorname {K} _ {\ mathbf {X} \ mathbf {X}}}$
Для любых константы (т.е. неслучайно) $m × n {\ displaystyle m \ times n}$ $m \ times n$ матрица $A {\ displaystyle \ mathbf {A }}$ $\ mathbf {A}$ и константа $m × 1 {\ displaystyle m \ times 1}$ $м \ раз 1$ вектор $a {\ displaystyle \ mathbf {a}}$ $\ mathbf {a }$ , один имеет $var ⁡ (AX + a) = A var ⁡ (X) AT {\ displaystyle \ operatorname {var} (\ mathbf {AX} + \ mathbf {a}) = \ mathbf {A} \, \ operatorname {var} (\ mathbf {X}) \, \ mathbf {A} ^ {\ rm {T}}}$ ${\ displaystyle \ operatorname {var} (\ mathbf {AX} + \ mathbf {a}) = \ mathbf {A} \, \ operatorname {var} (\ mathbf {X}) \, \ mathbf {A} ^ {\ rm {T}}}$
Если $Y {\ displaystyle \ mathbf {Y}}$ $\ mathbf {Y}$ - другой случайный вектор с той же размерностью, что и $X {\ displaystyle \ mathbf {X}}$ $\ mathbf {X}$ , тогда $var ⁡ (X + Y) = var ⁡ (X) + cov ⁡ (X, Y) + cov ⁡ (Y, X) + вар ⁡ (Y) {\ displaystyle \ operatorname {var} (\ mathbf {X} + \ mathbf {Y}) = \ operatorname {var} (\ mathbf {X}) + \ operatorname {cov} (\ mathbf {X}, \ m athbf {Y}) + \ operatorname {cov} (\ mathbf {Y}, \ mathbf {X}) + \ operatorname {var} (\ mathbf {Y})}$ ${\ displaystyle \ operatorname {var} (\ mathbf {X} + \ mathbf {Y}) = \ operatorname {var} (\ mathbf {X}) + \ operatorname {cov} (\ mathbf {X}, \ mathbf {Y}) + \ operatorname {cov} (\ mathbf {Y}, \ mathbf {X}) + \ operatorname {var} (\ mathbf {Y})}$ где $cov ⁡ (X, Y) {\ displaystyle \ operatorname {cov} (\ mathbf {X}, \ mathbf {Y})}$ ${\ displaystyle \ operatorname {cov} (\ mathbf {X}, \ mathbf {Y})}$ - матрица кросс-ковариаций из $X { \ displaystyle \ mathbf {X}}$ $\ mathbf {X}$ и $Y {\ displaystyle \ mathbf {Y}}$ $\ mathbf {Y}$ .

Блочные матрицы

Совместное среднее $μ {\ displaystyle \ mathbf {\ mu}}$ ${\ displaystyle \ mathbf {\ mu}}$ и объединенная ковариационная матрица $Σ {\ displaystyle \ mathbf {\ Sigma}}$ ${\ отображает tyle \ mathbf {\ Sigma}}$ из $X {\ displaystyle \ mathbf {X}}$ $\ mathbf {X}$ и $Y {\ displaystyle \ mathbf {Y}}$ $\ mathbf {Y}$ можно записать в блочной форме

μ = [μ X μ Y], Σ = [KXXKXYKYXKYY] {\ displaystyle \ mathbf {\ mu} = {\ begin {bmatrix} \ mathbf {\ mu _ {X}} \\\ mathbf {\ mu _ {Y}} \ end {bmatrix}}, \ qquad \ mathbf {\ Sigma} = {\ begin {bmatrix} \ operatorname {K} _ {\ mathbf {XX}} \ operatorname {K} _ {\ mathbf {XY}} \\\ имя оператора {K} _ { \ mathbf {YX}} \ имя о ператора {K} _ {\ mathbf {YY}} \ end {bmatrix}}}

{\ displaystyle \ mathbf {\ mu} = {\ begin {bmatrix} \ mathbf {\ mu _ {X}} \\\ mathbf {\ mu _ {Y}} \ end {bmatrix}}, \ qquad \ mathbf {\ Sigma} = {\ begin {bmatrix} \ operatorname {K} _ {\ mathbf {XX}} \ operatorname {K} _ {\ mathbf {XY}} \\\ operatorname {K} _ {\ mathbf {YX}} \ operatorname {K} _ {\ mathbf {YY}} \ end {bmatrix}}}

где $KXX = var ⁡ (X) {\ displaystyle \ operatorname {K} _ {\ mathbf {XX}} = \ operatorname {var} (\ mathbf {X})}$ ${\ displaystyle \ operatorname {K} _ {\ mathbf {XX}} = \ operatorname {var} (\ mathbf {X})}$ , $KYY = var ⁡ (Y) {\ displaystyle \ operatorname {K} _ {\ mathbf {YY}} = \ operat orname {var} (\ mathbf { Y})}$ ${\ displaystyle \ operatorname {K} _ {\ mathbf {YY}} = \ operatorname {var} (\ mathbf {Y})}$ и $KXY = KYXT = cov ⁡ (X, Y) {\ displaystyle \ operatorname {K} _ {\ mathbf {XY}} = \ operatorname {K} _ {\ mathbf {YX}} ^ {\ rm {T}} = \ operatorname {cov} (\ mathbf {X}, \ mathbf {Y})}$ ${\ displaystyle \ operatorname {K} _ {\ mathbf {XY}} = \ operatorname {K} _ {\ mathbf {YX}} ^ {\ rm {T}} = \ OperatorName {cov} (\ mathbf {X}, \ mathbf {Y})}$ .

$KXX {\ displaystyle \ operatorname {K} _ {\ mathbf { XX}}}$ ${\ displaystyle \ operatorname {K} _ {\ mathbf {XX}}}$ и $KYY {\ displaystyle \ operatorname {K} _ {\ mathbf {YY}}}$ ${\ displaystyle \ operatorname {K} _ {\ mathbf {YY}}}$ можно идентифицировать как матрицы дисперсии предельных распределений для $X {\ displaystyle \ mathbf {X}}$ ${\ mathbf {X}}$ и $Y {\ displaystyle \ mathbf {Y}}$ ${\ mathbf {Y}}$ соответственно.

Если $X {\ displaystyle \ mathbf {X}}$ $\ mathbf {X}$ и $Y {\ displaystyle \ mathbf {Y}}$ $\ mathbf {Y}$ равны совместно нормально распределенные,

X, Y ∼ N (μ, K), {\ displaystyle \ mathbf {X}, \ mathbf {Y} \ sim \ {\ mathcal {N}} (\ mathbf {\ mu}, \ OperatorName {K}),}

{\ displaystyle \ mathbf {X}, \ mathbf { Y} \ sim \ {\ mathcal {N}} (\ mathbf {\ mu}, \ operatorname {K}),}

условное распределение для $Y {\ displaystyle \ mathbf {Y}}$ $\ mathbf {Y}$ с учетом $X {\ displaystyle \ mathbf { X}}$ $\ mathbf {X}$ задается как

Y ∣ X ∼ N (μ Y | X, KY | X), {\ displaystyle \ mathbf {Y} \ mid \ mathbf {X} \ sim \ {\ mathcal {N}} (\ mathbf {\ mu _ {Y | X}}, \ operatorname {K} _ {\ mathbf {Y | X}}),}

{\ displaystyle \ mathbf {Y} \ mid \ mathbf {X} \ sim \ {\ mathbf {N}} (\ mathbf {\ mu _ {Y | X}}, \ operatorname {K} _ {\ mathbf {Y | X} }),}

имеет условным средним

μ Y | Икс знак равно μ Y + KYX ⁡ KXX - 1 ⁡ (Икс - μ Икс) {\ displaystyle \ mathbf {\ mu _ {Y | X}} = \ mathbf {\ mu _ {Y}} + \ operatorname {K} _ {\ mathbf {YX}} \ operatorname {K} _ {\ mathbf {XX}} ^ {- 1} \ left (\ mathbf {X} - \ mathbf {\ mu _ {X}} \ right)}

{\ displaystyle \ mathbf {\ mu _ {Y | X}} = \ mathbf {\ mu _ {Y}} + \ operatorname {K} _ {\ mathbf {YX}} \ operatorname {K} _ {\ mathbf {XX}} ^ {- 1} \ left (\ mathbf {X} - \ mathbf {\ mu _ {X}} \ right)}

и условная дисперсия

KY | X знак равно К Y Y - К Y X ⁡ K X X - 1 ⁡ К X Y. {\ displaystyle \ operatorname {K} _ {\ mathbf {Y | X}} = \ operatorname {K} _ {\ mathbf {YY}} - \ operatorname {K} _ {\ mathbf {YX}} \ operatorname {K} _ {\ mathbf {XX}} ^ {- 1} \ operatorname {K} _ {\ mathbf {XY}}.}

{\ displaystyle \ OperatorName {K} _ {\ mathbf {Y | X}} = \ operatorname {K} _ {\ mathbf {YY}} - \ operatorname {K} _ {\ mathbf {YX}} \ operatorname {K} _ {\ mathbf {XX}} ^ {- 1} \ имя оператора {K} _ {\ mathbf {XY}}.}

Матрица $KYX ⁡ KXX - 1 {\ displaystyle \ operatorname {K} _ {\ mathbf {YX}} \ operatorname {K} _ {\ mathbf {XX}} ^ {- 1}}$ ${\ displaystyle \ operatorname {K} _ {\ mathbf {YX}} \ operatorname {K} _ {\ mathbf {XX}} ^ {- 1}}$ известна как матрица коэффициентов регрессии, а в линейная алгебра $KY | X {\ displaystyle \ operatorname {K} _ {\ mathbf {Y | X}}}$ ${\ displaystyle \ operatorname {K} _ {\ mathbf {Y | X}}}$ - это дополнение Шура для $KXX {\ displaystyle \ operatorname {K} _ {\ mathbf {XX}}}$ ${\ displaystyle \ operatorname {K} _ {\ mathbf {XX}}}$ в $Σ {\ displaystyle \ mathbf {\ Sigma}}$ ${\ отображает tyle \ mathbf {\ Sigma}}$ .

Матрица коэффициентов регрессии часто может быть представлена в транспонированной форме, $KXX - 1 ⁡ KXY {\ displaystyle \ operatorname {K} _ {\ mathbf { XX}} ^ {- 1} \ operatorname {K} _ {\ mathbf {XY}}}$ ${\ displaystyle \ operatorname {K} _ {\ mathbf {XX}} ^ {- 1} \ operatorname {K} _ {\ mathbf {XY} }}$ , подходит для постмножения вектор-строка независимых переменных $XT {\ displaystyle \ mathbf {X} ^ {\ rm {T}}}$ ${\ displaystyle \ mathbf {X} ^ {\ rm {T}}}$ вместо предварительного умножения вектора-столбца $X {\ displaystyle \ mathbf {X}}$ ${\ mathbf {X}}$ . В этой они соответствуют коэффициентам, полученным путем преобразования матрицы нормальных видов из обыкновенных наименьших квадратов (OLS).

Матрица частичной ковариации

Матрица ковариации со всеми ненулевыми элементами сообщает нам, что все отдельные случайные величины взаимосвязаны. Это означает, что переменные не связаны через другие переменные. Часто такие косвенные синфазные корреляции тривиальны и неинтересны. Их можно подавить, вычислить частичную матрицу ковариаций, то есть часть матрицы ковариаций, которая показывает только интересную часть корреляций.

Если два случаяных величин $X {\ displaystyle \ mathbf {X}}$ $\ mathbf {X}$ и $Y {\ displaystyle \ mathbf {Y}}$ $\ mathbf {Y}$ коррели через другой вектор $I {\ displaystyle \ mathbf {I}}$ $\ mathbf {I}$ , последние корреляции подавляются в матрице

KXY ∣ I = pcov ⁡ (X, Y ∣ I) = cov ⁡ (X, Y) - cov ⁡ (X, I) cov ⁡ (I, I) - 1 cov ⁡ (I, Y). {\ displaystyle \ operatorname {K} _ {\ mathbf {XY \ mid I}} = \ operatorname {pcov} (\ mathbf {X}, \ mathbf {Y} \ mid \ mathbf {I}) = \ operatorname {cov } (\ mathbf {X}, \ mathbf {Y}) - \ operatorname {cov} (\ mathbf {X}, \ mathbf {I}) \ operatorname {cov} (\ mathbf {I}, \ mathbf {I}) ^ {- 1} \ operatorname {cov} (\ mathbf {I}, \ mathbf {Y}).}

{\ displaystyle \ operatorname {K} _ {\ mathbf {XY \ mid I}} = \ operatorname {pcov} ( \ mathbf {X}, \ mathbf {Y} \ mid \ mathbf {I}) = \ operatorname {cov} (\ mathbf {X}, \ mathbf {Y}) - \ operatorname {cov} (\ mathbf {X}, \ mathbf {I}) \ operatorname {cov} (\ mathbf {I}, \ mathbf {I}) ^ {- 1} \ operatorname {cov} (\ mathbf {I}, \ mathbf {Y}).}

Матрица частичной ковариации $KXY ∣ I {\ displaystyle \ operatorname {K} _ {\ mathbf {XY \ mid I}}}$ ${\ displaystyle \ operatorname {K} _ {\ mathbf {XY \ mid I}}}$ фактически представляет собой простую ковариационную матрицу $KXY {\ displaystyle \ operatorname {K} _ {\ mathbf {XY}}}$ ${\ displaystyle \ operatorname {K} _ {\ mathbf {XY}}}$ как если бы неинтересные случайные величины $I {\ displaystyle \ mathbf {I}}$ $\ mathbf {I}$ оставались постоянными.

Ковариационная матрица как параметр распределения

Если вектор-столбец $X {\ displaystyle \ mathbf {X}}$ ${\ mathbf {X}}$ of $n {\ displaystyle n}$ $n$ возможно коррелированные случайные величины совместно нормально распределенные или, в более общем смысле, эллиптически распределенные, тогда его функция плотности вероятности $е ⁡ (Икс) {\ displaystyle \ operatorname {f} (\ mathbf {X})}$ ${ \ displaystyle \ operatorname {f} (\ mathbf {X})}$ можно выразить через ковариационную матрицу $Σ {\ displaystyle \ mathbf {\ Sigma}}$ ${\ mathbf {\ Сигма}}$ следующим образом

f ⁡ (X) = (2 π) - n / 2 | Σ | - 1/2 ехр ⁡ (- 1 2 (Икс - μ) T Σ - 1 (X - μ)), {\ displaystyle \ operatorname {f} (\ mathbf {X}) = (2 \ pi) ^ {- n / 2} | \ mathbf {\ Sigma} | ^ {- 1/2} \ exp \ left (- {\ tfrac {1} {2}} \ mathbf {(X- \ mu) ^ {\ rm {T}} \ Sigma ^ {- 1} (X- \ mu)} \ right),}

{\ displaystyle \ operatorname {f} (\ mathbf {X}) = (2 \ pi) ^ {- n / 2} | \ mathbf {\ Sigma} | ^ {- 1/2} \ exp \ left (- {\ tfrac {1} {2}} \ mathbf {(X- \ mu) ^ {\ rm {T}} \ Sigma ^ {- 1} (X- \ mu)} \ right),}

где $μ = E ⁡ [X] {\ displaystyle \ mathbf {\ mu = \ operatorname {E} [X]}}$ ${\ displaystyle \ mathbf {\ mu = \ имя оператора {E} [X]}}$ и $| Σ | {\ displaystyle | \ mathbf {\ Sigma} |}$ ${\ displaystyle | \ mathbf {\ Sigma} | }$ - это определитель из $Σ {\ displaystyle \ mathbf {\ Sigma}}$ ${\ mathbf {\ Сигма}}$ .

Ковариационная матрица как линейная оператор

Применительно к одному вектору ковариационная матрица отображает линейную комбинацию c случайных величин X на вектор ковариаций с этими переменными: $c T Σ знак равно cov ⁡ (c TX, X) {\ displaystyle \ mathbf {c} ^ {\ rm {T}} \ Sigma = \ operatorname {cov} (\ mathbf {c} ^ {\ rm {T}} \ mathbf {X}, \ mathbf {X}) }$ ${\ displaystyle \ mathbf {c} ^ {\ rm {T}} \ Sigma = \ operatorname {cov} (\ mathbf { c} ^ {\ rm {T}} \ mathbf {X}, \ math bf {X})}$ . Рассматриваемый как билинейная форма, он дает ковариацию между двумя линейными комбинациями: $d T Σ c = cov ⁡ (d TX, c TX) {\ displaystyle \ mathbf {d} ^ {\ rm {T }} \ Sigma \ mathbf {c} = \ operatorname {cov} (\ mathbf {d} ^ {\ rm {T}} \ mathbf {X}, \ mathbf {c} ^ {\ rm {T}} \ mathbf {X})}$ ${\ displaystyle \ mathbf {d} ^ {\ rm {T}} \ Sigma \ mathbf {c} = \ operatorname {cov} (\ mathbf {d} ^ {\ rm {T}} \ mathbf {X}, \ mathbf {c} ^ {\ rm {T}} \ mathbf {X})}$ . Тогда дисперсия линейной комбинации равна $c T Σ c {\ displaystyle \ mathbf {c} ^ {\ rm {T}} \ Sigma \ mathbf {c}}$ ${\ displaystyle \ mathbf {c} ^ {\ rm {T}} \ Sigma \ mathbf {c}}$ , ее ковариация с самим собой.

Точно так же (псевдо) обратная ковариационная матрица обеспечивает внутренний продукт $⟨c - μ | Σ + | с - μ⟩ {\ displaystyle \ langle c- \ mu | \ Sigma ^ {+} | c- \ mu \ rangle}$ ${\ displaystyle \ langle c- \ mu | \ Sigma ^ {+} | c- \ mu \ rangle}$ , что индуцирует расстояние Махаланобиса, меру «маловероятность» c.

Какие матрицы являются ковариационными матрицами?

Из тождества чуть выше, пусть $b {\ displaystyle \ mathbf {b}}$ $\ mathbf {b}$ будет a $(p × 1) {\ displaystyle (p \ times 1) }$ $(p \ times 1)$ вектор с действительными значениями, тогда

var ⁡ (b TX) = b T var ⁡ (X) b, {\ displaystyle \ operatorname {var} (\ mathbf {b} ^ {\ rm {T}} \ mathbf {X}) = \ mathbf {b} ^ {\ rm {T}} \ operatorname {var} (\ mathbf {X}) \ mathbf {b}, \,}

\ operatorname {var} (\ mathbf {b} ^ {\ rm {T}} \ mathbf {X}) = \ mathbf {b} ^ {\ rm {T}} \ operatorname {var} (\ mathbf {X}) \ mathbf {b}, \,

который всегда должен быть неотрицательным, так как это дисперсия действительной случайной величины. Ковариационная матрица всегда является положительно-полуопределенной матрицей, поскольку

w TE ⁡ [(X - E ⁡ [X]) (X - E ⁡ [X]) T] w = E ⁡ [w T (X - E ⁡ [X]) (X - E ⁡ [X]) T w] = E ⁡ [(w T (X - E ⁡ [X])) 2] ≥ 0, поскольку w T (X - E ⁡ [X]) - скаляр. {\ displaystyle {\ begin {align} w ^ {\ rm {T}} \ operatorname {E} \ left [(\ mathbf {X} - \ operatorname {E} [\ mathbf {X}]) (\ mathbf {X} - \ operatorname {E} [\ mathbf {X}]) ^ {\ rm {T}} \ right] w = \ operatorname {E} \ left [w ^ {\ rm {T}} (\ mathbf {X} - \ operatorname {E} [\ mathbf {X}]) (\ mathbf {X} - \ operatorname {E} [\ mathbf {X}]) ^ {\ rm {T}} w \ right] \ \ [5pt] = {} \ operatorname {E} {\ big [} {\ big (} w ^ {\ rm {T}} (\ mathbf {X} - \ operatorname {E} [\ mathbf {X} ]) {\ big)} ^ {2} {\ big]} \ geq 0 \ quad {\ text {Since}} w ^ {\ rm {T}} (\ mathbf {X} - \ operatorname {E} [ \ mathbf {X}]) {\ text {является скаляром}}. \ end {align}}}

{\ displaystyle {\ begin {align} w ^ {\ rm {T}} \ имя оператора {E} \ left [(\ mathbf {X} - \ operatorname {E} [\ mathbf {X}]) (\ mathbf {X} - \ operatorname {E} [\ mathbf {X}]) ^ {\ rm {T}} \ right] w = \ ope ratorname {E} \ left [w ^ {\ rm {T}} (\ mathbf {X} - \ operatorname {E} [\ mathbf {X}]) (\ mathbf {X} - \ operatorname {E} [\ mathbf {X}]) ^ {\ rm {T}} w \ right] \\ [5pt] = {} \ operatorname {E} {\ big [} {\ big (} w ^ {\ rm {T} } (\ mathbf {X} - \ operatorname {E} [\ mathbf {X}]) {\ big)} ^ {2} {\ big]} \ geq 0 \ quad {\ text {Since}} w ^ { \ rm {T}} (\ mathbf {X} - \ operatorname {E} [\ mathbf {X}]) {\ text {является скаляром}}. \ end {выравнивается}}}

И наоборот, каждая симметричная положительно полуопределенная матрица является ковариационной матрицей. Чтобы убедиться в этом предположим, что $M {\ displaystyle M}$ $M$ является $p × p {\ displaystyle p \ times p}$ $p \ times p$ положительно-полуопределенной матрицей. Из конечного случая спектральной теоремы следует, что $M {\ displaystyle M}$ $M$ имеет неотрицательный симметричный квадратный корень, который может обозначается M . Пусть $Икс {\ displaystyle \ mathbf {X}}$ $\ mathbf {X}$ будет любой $p × 1 {\ displaystyle p \ times 1}$ $p \ times 1$ случайной величиной с векторным знаком-столбцом, ковариация которой матрица - это единичная матрица $p × p {\ displaystyle p \ times p}$ $p \ times p$ . Тогда

var ⁡ (M 1/2 X) = M 1/2 var ⁡ (X) M 1/2 = M. {\ displaystyle \ operatorname {var} (\ mathbf {M} ^ {1/2} \ mathbf {X}) = \ mathbf {M} ^ {1/2} \, \ operatorname {var} (\ mathbf {X}) \, \ mathbf {M} ^ {1/2} = \ mathbf {M }.}

{\ displaystyle \ operatorname {var} (\ mathbf {M} ^ {1 / 2} \ mathbf {X}) = \ mathbf {M} ^ {1/2} \, \ operatorname {var} (\ mathbf {X}) \, \ mathbf {M} ^ {1/2} = \ mathbf {M}.}

Комплексные случайные ожиданые условия

Матрица ковариации

дисперсия комплексной случайной величиной со скалярным знаком с размером $μ { \ displaystyle \ mu}$ $\ mu$ обычно определяется с помощью комплексного сопряжения :

var ⁡ (Z) Знак равно Е ⁡ [(Z - μ Z) (Z - μ Z) ¯], {\ Displaystyle \ OperatorName {var} (Z) = \ OperatorName {E} \ left [(Z- \ mu _ {Z}) {\ overline {(Z- \ mu _ {Z})}} \ right],}

{\ displaystyle \ operatorname {var} (Z) = \ operatorname {E} \ left [(Z- \ mu _ {Z}) {\ overline {(Z- \ mu _ { Z})}} \ right],}

где комплексное сопряжение комплексного числа $z {\ displaystyle z}$ $z$ обозначается $z ¯ {\ displaystyle {\ overline {z}}}$ ${\ overline {z}}$ ; таким образом, дисперсия сложной случайной величины является действительным числом.

Если $Z = (Z 1,…, Z n) T {\ displaystyle \ mathbf {Z} = (Z_ {1}, \ ldots, Z_ {n}) ^ {\ mathrm { T}}}$ ${ \ displaystyle \ mathbf {Z} = (Z_ {1}, \ ldots, Z_ {n}) ^ {\ mathrm {T}}}$ - вектор-столбец комплексных случайных величин, тогда сопряженное транспонирование формируется как транспонирование, так и сопряжением. В следующем изображении приложения на сопряженное транспонирование приводит к квадратной матрице, называемой ковариационной матрицей, как ее ожидание:

KZZ = cov ⁡ [Z, Z] = E ⁡ [(Z - μ Z) ( Z - μ Z) H] {\ Displaystyle \ OperatorName {K} _ {\ mathbf {Z} \ mathbf {Z}} = \ operatorname {cov} [\ mathbf {Z}, \ mathbf {Z}] = \ operatorname {E} \ left [(\ mathbf {Z} - \ mathbf {\ mu _ {Z}}) (\ mathbf {Z} - \ mathbf {\ mu _ {Z}}) ^ {\ mathrm {H}} \ right]}

{\ displaystyle \ operatorname {K} _ {\ mathbf {Z} \ mathbf {Z}} = \ operatorname {cov} [\ mathbf {Z}, \ mathbf {Z}] = \ operatorname {E} \ left [(\ mathbf {Z} - \ mathbf {\ mu _ {Z}}) (\ mathbf {Z} - \ mathbf {\ mu _ {Z}}) ^ {\ mathrm {H}} \ right]}

где $H {\ displaystyle {} ^ {\ mathrm {H}}}$ ${} ^ {\ mathrm {H} }$ обозначает сопряженное транспонирование, это применимо к скаляру, поскольку транспонированный скаляр по-прежнему скаляром. Полученная таким образом матрица будет эрмитовой положительно-полуопределенной с действительными числами на главной диагонали и комплексными числами вне диагонали.

Матрица псевдоковариации

Для сложных случайных векторов, другого типа второго момента центрального, матрица псевдоковариации (также называемая матрицей отношений) определяется следующим образом. В отличие от ковариационной матрицы, указанная выше, эрмитова транспозиция заменяется транспонированием в определение.

JZZ = cov ⁡ [Z, Z ¯] = E ⁡ [(Z - μ Z) (Z - μ Z) T] {\ displaystyle \ operatorname {J} _ {\ mathbf {Z} \ mathbf {Z }} = \ operatorname {cov} [\ mathbf {Z}, {\ overline {\ mathbf {Z}}}] = \ operatorname {E} \ left [(\ mathbf {Z} - \ mathbf {\ mu _ { Z}}) (\ mathbf {Z} - \ mathbf {\ mu _ {Z}}) ^ {\ mathrm {T}} \ right]}

{\ displaystyle \ имя оператора {J} _ {\ mathbf {Z} \ mathbf {Z}} = \ operatorname {cov} [\ mathbf {Z}, {\ overline { \ mathbf {Z}}}] = \ operatorname {E} \ left [(\ mathbf {Z} - \ mathbf {\ mu _ {Z}}) (\ mathbf {Z} - \ mathbf {\ mu _ {Z }}) ^ {\ mathrm {T}} \ right]}

Свойства

Ковариационная матрица является эрмитовой матрица, то есть $KZZH = KZZ {\ displaystyle \ operatorname {K} _ {\ mathbf {Z} \ mathbf {Z}} ^ {\ mathrm {H}} = \ operatorname {K} _ {\ mathbf {Z} \ mathbf {Z}}}$ ${\ displaystyle \ operatorname {K} _ {\ mathbf {Z} \ mathbf {Z}} ^ {\ mathrm {H}} = \ operatorname {K} _ {\ mathbf {Z} \ mathbf {Z}}}$ .
Диагональные элементы ковариационной матрицы действительны.

Оценка

Если $MX {\ displaystyle \ mathbf {M} _ {\ mathbf {X}}}$ $\ mathbf {M} _ {\ mathbf { X}}$ и $MY {\ displaystyle \ mathbf {M } _ {\ mathbf {Y}}}$ $\ mathbf {M} _ {\ mathbf {Y}}$ центрированные матрицы данных размерности $p × n {\ displaystyle p \ times n}$ ${\ displaystyle p \ times n}$ и $q × n {\ displaystyle q \ times n}$ ${\ displaystyle q \ times n}$ соответственно, т.е. с n столбцами наблюдения p и q столбцов, из которых строки означают, что были вычтены, то, если средние по строкам были оценены на основе данных, выборочные ковариационные матрицы $QXX {\ displaystyle \ mathbf {Q} _ {\ mathbf {цами) XX}}}$ ${\ displaystyle \ mathbf {Q} _ {\ mathbf {XX}}}$ и $QXY {\ displaystyle \ mathbf {Q} _ {\ mathbf {XY}}}$ $\ mathbf {Q} _ {\ mathbf {XY}}$ можно определить как

QXX = 1 n - 1 MXMXT, QXY = 1 n - 1 MXMYT {\ displaystyle \ mathbf {Q} _ {\ mathbf {XX}} = {\ frac {1} {n-1}} \ mathbf {M} _ {\ mathbf {X} } \ mathbf {M} _ {\ mathbf {X}} ^ {\ rm {T}}, \ qquad \ mathbf {Q} _ {\ mathbf {XY}} = {\ frac {1} {n-1} } \ mathbf {M} _ {\ mathbf {X}} \ mathbf {M} _ {\ mathbf {Y}} ^ {\ rm {T}}}

{\ displaystyle \ mathbf {Q} _ {\ mathbf {XX }} = {\ frac {1} {n-1}} \ mathbf {M} _ {\ mathbf {X}} \ mathbf {M} _ {\ mathbf {X}} ^ {\ rm {T}}, \ qquad \ mathbf {Q} _ {\ mathbf {XY}} = {\ frac {1} {n-1}} \ mathbf {M} _ {\ mathbf {X}} \ mathbf {M} _ {\ mathbf {Y}} ^ {\ rm {T}}}

или, если средние строки были известны априори,

QXX = 1 n MXMXT, QXY = 1 MXMYT. {\ displaystyle \ mathbf {Q} _ {\ mathbf {XX}} = {\ frac {1} {n}} \ mathbf {M} _ {\ mathbf {X}} \ mathbf {M} _ {\ mathbf { X}} ^ {\ rm {T}}, \ qquad \ mathbf {Q} _ {\ mathbf {XY}} = {\ frac {1} {n}} \ mathbf {M} _ {\ mathbf {X} } \ mathbf {M} _ {\ mathbf {Y}} ^ {\ rm {T}}.}

{\ displaystyle \ mathbf {Q} _ {\ mathbf {XX}} = {\ frac { 1} {n}} \ mathbf {M} _ {\ mathbf {X}} \ mathbf {M} _ {\ mathbf {X}} ^ {\ rm {T}}, \ qquad \ mathbf {Q} _ { \ mathbf {XY}} = {\ frac {1} {n}} \ mathbf {M} _ {\ mathbf {X}} \ mathbf {M} _ {\ mathbf {Y}} ^ {\ rm {T} }.}

Эти эмпирические выборочные ковариационные матрицы наиболее простыми и часто используемыми оценками для ковариационных матриц, но и другие оценки также существуют, включая регуляризованные средства оценки или оценки усадки, которые имеют лучшие свойства.

Приложения

Ковариационная матрица - полезный инструмент во многих областях. Из него может быть получена матрица преобразования , называемая преобразованием отбеливания, которая позволяет полностью декоррелировать данные или с другой точки зрения, найти оптимальную основу для представления данные в компактном виде (см. фактор Рэлея для формального доказательства и свойств ковариационных матриц). Это называется анализом главных компонентов (PCA) и преобразованием Карунена - Лоэва (KL-преобразованием).

Ковариационная матрица играет ключевую роль в финансовой, особенно в теории портфелей и ее теореме разделения паевых инвестиционных фондов и в модель ценообразования основных средств. Матрица ковариаций доходности различных инструментов определения, определенных предположительных, относительных различных активов, которые используются (в нормативном анализе ) или прогнозируются (в положительном анализе ) для сохранения в контексте диверсификации.

Ковариационное отображение

В ковариационном отображении значения $cov ⁡ (X, Y) {\ displaystyle \ operatorname {cov} (\ mathbf {X}, \ mathbf {Y})}$ ${\ displaystyle \ operatorname {cov} (\ mathbf {X}, \ mathbf {Y})}$ или $pcov ⁡ (X, Y ∣ I) {\ displaystyle \ operatorname {pcov} (Матрица \ mathbf {X}, \ mathbf {Y} \ mid \ mathbf {I})}$ ${\ displaystyle \ operatorname {pcov} (\ mathbf {X}, \ mathbf {Y} \ mid \ mathbf {I})}$ строятся как двумерная карта. Когда ориентируется $X {\ displaystyle \ mathbf {X}}$ ${\ mathbf {X}}$ и $Y {\ displaystyle \ mathbf {Y}}$ ${\ mathbf {Y}}$ крупными случайными функциями, карта показывает статистические отношения между различными областями случайных функций. Статистически независимые области функций отображаются на карте как равнины с нулевым уровнем, а положительные или отрицательные корреляции отображаются, соответственно, как холмы или долины.

На практике векторы столбцов $X, Y {\ displaystyle \ mathbf {X}, \ mathbf {Y}}$ ${\ displaystyle \ mathbf {X}, \ mathbf {Y}}$ и $I {\ displaystyle \ mathbf { I}}$ ${\ mathbf {I}}$ получены экспериментально как строки из $n {\ displaystyle n}$ $n$ образцов, например

[X 1, X 2,... X n] = [X 1 (t 1) X 2 (t 1) ⋯ X n (t 1) X 1 (t 2) X 2 (t 2) ⋯ X n (t 2) ⋮ ⋮ ⋱ ⋮ X 1 ( тм) Икс 2 (тм) ⋯ Икс N (тм)], {\ Displaystyle [\ mathbf {X} _ {1}, \ mathbf {X} _ {2},... \ mathbf {X} _ {п }] = {\ begin {bmatrix} X_ {1} (t_ {1}) X_ {2} (t_ {1}) \ cdots X_ {n} (t_ {1}) \\\\ X_ {1} (t_ {2}) X_ {2} (t_ {2}) \ cdots X_ {n} (t_ {2}) \\\\\ vdots \ vdots \ ddots \ vdots \\\\ X_ { 1} (t_ {m}) X_ {2} (t_ {m}) \ cdots X_ {n} (t_ {m}) \ end {bmatrix}},}

{\ displaystyle [\ mathbf {X} _ {1}, \ mathbf {X} _ {2},... \ mathbf {X} _ {n}] = {\ begin {bmatrix } X_ {1} (t_ {1}) X_ {2} (t_ {1}) \ cdots X_ {n} (t_ {1}) \\\\ X_ {1} (t_ {2}) X_ {2} (t_ {2}) \ cdots X_ {n} (t_ {2}) \\\\\ vdots \ vdots \ ddots \ vdots \\\\ X_ {1} (t_ {m}) X_ {2} (t_ {m}) \ cdots X_ {n} (t_ {m}) \ end {bmatrix}},}

где $X j (ti) {\ displaystyle X_ {j} (t_ {i})}$ ${\ displaystyle X_ {j} (t_ {i})}$ - i-е дискретное значение в выборке j случайной функции $X (t) {\ displaystyle X (t)}$ $X (t)$ . Ожидаемые значения, необходимые в формуле ковариации, оцениваются с использованием выборочного среднего , например

⟨Икс⟩ знак равно 1 N ∑ J = 1 N Икс J {\ Displaystyle \ langle \ mathbf {X} \ rangle = {\ frac {1} {n}} \ sum _ {j = 1} ^ {n } \ mathbf {X} _ {j}}

{\ displaystyle \ langle \ mathbf {X} \ rangle = {\ frac {1} {n}} \ sum _ {j = 1} ^ {n} \ mathbf {X} _ {j}}

, а ковариационная матрица оценивается с помощью выборочной ковариации матрицы

cov ⁡ (X, Y) ≈ ⟨XYT⟩ - ⟨X⟩ ⟨ YT⟩, {\ displaystyle \ operatorname {cov} (\ mathbf {X}, \ mathbf {Y}) \ приблизительно \ langle \ mathbf {XY ^ {\ rm {T}}} \ rangle - \ langle \ mathbf {X } \ rangle \ langle \ mathbf {Y} ^ {\ rm {T}} \ rangle,}

{\ displaystyle \ operatorname {cov} (\ mathbf {X}, \ mathbf {Y}) \ приблизительно \ langle \ mathbf {XY ^ {\ rm {T}}} \ rangle - \ langle \ mathbf {X} \ rangle \ langle \ mathbf {Y} ^ {\ rm {T}} \ rangle,}

где угловые скобки обозначают усреднение выборки, как и раньше, за исключением того, что поправка Бесселя должна быть сделана, чтобы избежать смещение. Используя эту оценку, матрица частичной ковариации может быть вычислена как

pcov ⁡ (X, Y ∣ I) = cov ⁡ (X, Y) - cov ⁡ (X, I) (cov ⁡ (I, I) ∖ cov ⁡ (I, Y)), {\ displaystyle \ operatorname {pcov} (\ mathbf {X}, \ mathbf {Y} \ mid \ mathbf {I}) = \ operatorname {cov} (\ mathbf {X}, \ mathbf {Y}) - \ operatorname {cov} (\ mathbf {X}, \ mathbf {I}) \ left (\ operatorname {cov} (\ mathbf {I}, \ mathbf {I}) \ backslash \ operatorname {cov } (\ mathbf {I}, \ mathbf {Y}) \ right),}

{\ displaystyle \ operatorname { pcov} (\ mathbf {X}, \ mathbf {Y} \ mid \ mathbf {I}) = \ operatorname {cov} (\ mathbf {X}, \ mathbf {Y}) - \ operatorname {cov} (\ mathbf {X}, \ mathbf {I}) \ left (\ operatorname {cov} (\ mathbf {I}, \ mathbf {I}) \ backslash \ operatorname {cov} (\ mathbf {I}, \ mathbf {Y}) \ справа),}

где обратная косая черта обозначает оператор деления левой матрицы, который обходит требование инвертировать матрицу и доступен в некоторые вычислительные пакеты, такие как Matlab.

Рис. 1: Построение частичной ковариационной карты N 2 молекул, подвергающихся кулоновскому взрыву, вызванному лазером на свободных электронах. Панели a и b отображают два члена ковариационной матрицы, которая показана на панели c . Панель d отображает синфазные корреляции через флуктуации интенсивности лазера. Панель e отображает частичную ковариационную матрицу, скорректированную с учетом флуктуаций интенсивности. Панель f показывает, что 10% избыточная коррекция улучшает карту и делает ионно-ионные корреляции четко видимыми. Благодаря импульсу Эти корреляции выглядят как линии, приблизительно перпендикулярные линии автокорреляции (и периодическим модуляциям, вызываемым звоном детектора).

Рис. 1 показано, как строится частичная ковариационная карта на примере эксперимента, проведенного на FLASH лазере на свободных электронах в Гамбурге. Случайная функция $X (t) {\ displaystyle X (t)}$ $X (t)$ - это времяпролетный спектр ионов от кулоновского взрыва молекул азота многократно ионизируются лазерным импульсом. Поскольку за каждый лазерный импульс ионизируются всего несколько сотен молекул, однократные спектры сильно колеблются. Однако обычно собирая $m = 10 4 {\ displaystyle m = 10 ^ {4}}$ ${\ displaystyle m = 10 ^ {4}}$ таких спектров, $X j (t) {\ displaystyle \ mathbf {X} _ {j } (t)}$ ${\ displaystyle \ mathbf {X} _ {j} (t)}$ , и их усреднение по $j {\ displaystyle j}$ $j$ дает гладкий спектр $⟨X (t)⟩ {\ displaystyle \ langle \ mathbf {X} (t) \ rangle}$ ${\ displaystyle \ langle \ mathbf {X} (t) \ rangle}$ , который показан красным внизу рис. 1. Средний спектр $⟨X⟩ {\ displaystyle \ langle \ mathbf {X} \ rangle}$ ${\ displaystyle \ langle \ mathbf {X} \ rangle}$ показывает несколько ионов азота в виде пиков, уширенных их кинетической энергией, но для нахождения корреляций между стадиями ионизации и импульсами ионов требуется вычислить ковариационную карту.

В примере на рис. 1 спектры $X j (t) {\ displaystyle \ mathbf {X} _ {j} (t)}$ ${\ displaystyle \ mathbf {X} _ {j} (t)}$ и $Y j (t) {\ displaystyle \ mathbf {Y} _ {j} (t)}$ ${\ displaystyle \ mathbf {Y} _ {j} (t)}$ те же самые, за исключением того, что диапазон времени пролета $t {\ displaystyle t}$ $t$ отличается. Панель a показывает $⟨XYT⟩ {\ displaystyle \ langle \ mathbf {XY ^ {\ rm {T}}} \ rangle}$ ${\ displaystyle \ langle \ mathbf {XY ^ {\ rm {T}}} \ rangle}$ , панель b показывает $⟨X⟩ ⟨YT⟩ {\ displaystyle \ langle \ mathbf {X} \ rangle \ langle \ mathbf {Y ^ {\ rm {T}}} \ rangle}$ ${\ displaystyle \ langle \ mathbf {X} \ rangle \ langle \ mathbf {Y ^ {\ rm {T}}} \ rangle}$ и панель c показывает их различие, которое составляет $cov ⁡ (X, Y) {\ displaystyle \ operatorname {cov} (\ mathbf {X}, \ mathbf {Y})}$ ${\ displaystyle \ operatorname {cov} (\ mathbf {X}, \ mathbf {Y})}$ (обратите внимание на изменение цветовой гаммы). К сожалению, эта карта перегружена неинтересными синфазными корреляциями, вызванными колебаниями интенсивности лазера от кадра к кадру. Чтобы подавить такие корреляции, интенсивность лазера $I j {\ displaystyle I_ {j}}$ ${\ displaystyle I_ {j}}$ записывается при каждом выстреле, помещается в $I {\ displaystyle \ mathbf {I}}$ ${\ mathbf {I}}$ и $pcov ⁡ (X, Y ∣ I) {\ displaystyle \ operatorname {pcov} (\ mathbf {X}, \ mathbf {Y} \ mid \ mathbf {I})}$ ${\ displaystyle \ operatorname {pcov} (\ mathbf {X}, \ mathbf {Y} \ mid \ mathbf {I})}$ вычисляется как панели d и e показывают. Однако подавление неинтересных корреляций несовершенно, поскольку существуют источники синфазных флуктуаций, и в принципе все эти источники должны управляться в векторе $I {\ displaystyle \ mathbf {I}}$ ${\ mathbf {I}}$ . Однако на практике часто бывает достаточно сверхкомпенсировать частичную ковариационную поправку, как показано на панели f, где теперь отчетливо видны корреляции импульсов в виде прямых линий с центром на стадиях ионизации атомарного азота.

Двумерная инфракрасная спектроскопия

Двумерная инфракрасная спектроскопия использует корреляционный анализ для получения 2D-спектров конденсированной фазы. Существует две версии этого анализа: синхронный и асинхронный. Математически первая выражается в терминах выборочной ковариационной матрицы, метод эквивалентен ковариационному отображению.

См.

Ссылки

Дополнительная литература

, Энциклопедия математики, EMS Press, 2001 [1994]
Weisstein, Eric W. «Матрица ковариации». MathWorld.
ван Кампен, Н.Г. (1981). Случайные процессы в физике и химии. Нью-Йорк: Северная Голландия. ISBN 0-444-86200-5.