Ковариация

Знак ковариации двух случайных величин X и Y

В теории вероятностей и статистика, ковариация - это мера совместной изменчивости двух случайных величин. Если большие значения одной переменной в основном соответствуют большим значениям другой переменной, и то же самое верно для меньших значений (т. Е. Переменные имеют тенденцию показывать аналогичное поведение), ковариация положительная. В противоположном случае, когда большие значения одной переменной в основном соответствуют меньшим значениям другой (т.е. переменные имеют тенденцию показывать противоположное поведение), ковариация отрицательная. Знак ковариации, таким образом, показывает тенденцию в линейной зависимости между переменными. Величину ковариации непросто интерпретировать, поскольку она не нормирована и, следовательно, зависит от величин переменных. нормализованная версия ковариации, коэффициент корреляции , однако, показывает по своей величине силу линейной связи.

Необходимо различать (1) ковариацию двух случайных величин, которая является параметром population , который можно рассматривать как свойство совместное распределение вероятностей, и (2) ковариация выборки, которая помимо того, что служит дескриптором выборки, также служит в качестве оценочного значения параметра совокупности.

• 1 Определение
  • 1.1 Определение для сложных случайных величин
  • 1.2 Дискретные случайные величины
• 2 Пример
• 3 Свойства
  • 3.1 Ковариация с самим собой
  • 3.2 Ковариация линейных комбинаций
  • 3.3 Ковариационная идентичность Хёффдинга
  • 3.4 Некоррелированность и независимость
  • 3.5 Связь со внутренними продуктами
• 4 Вычисление выборочной ковариации
• 5 Обобщения
  • 5.1 Автоковариационная матрица реальных случайных векторов
  • 5.2 Кросс-ковариационная матрица реальных случайных векторов
• 6 Численные вычисления
• 7 Комментарии
• 8 Приложения
  • 8.1 В генетике и молекулярной биологии
  • 8.2 В финансовой экономике
  • 8.3 В метеорологических и океанографических данных ассимиляция
  • 8.4 В микрометеорологии
  • 8.5 В извлечении признаков
  • 8.6 В машинном обучении
• 9 См. также
• 10 Ссылки

Для двух совместно распределенных вещественные -значные случайные величины $X\; \{\backslash \; displaystyle\; X\}$и $Y\; \{\backslash \; displaystyle\; Y\}$с конечными секундами, ковариация определяется как ожидаемое значение (или среднее значение) произведения их отклонений от их индивидуальных ожидаемых значений:

$cov\; \; (X,\; Y)\; =\; E\; \; [(Икс\; -\; Е\; \; [X])\; (Y\; -\; E\; \; [Y])]\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{cov\}\; (X,\; Y)\; =\; \backslash \; operatorname\; \{E\}\; \{\{\backslash \; big\; [\}\; (X-\; \backslash \; operatorname\; \{E\}\; [X])\; (Y-\; \backslash \; operatorname\; \{E\}\; [Y])\; \{\backslash \; big]\}\}\}$

(Eq.1)

где $E\; \; [X]\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{E\}\; [X]\}$- ожидаемое значение из $X\; \{\backslash \; displaystyle\; X\}$, также известное как среднее значение $Икс\; \{\backslash \; Displaystyle\; X\}$. Ковариацию также иногда обозначают как $\sigma \; XY\; \{\backslash \; displaystyle\; \backslash \; sigma\; \_\; \{XY\}\}$или $\sigma \; (X,\; Y)\; \{\backslash \; displaystyle\; \backslash \; sigma\; (X,\; Y)\}$по аналогии с дисперсией. Используя свойство линейности ожиданий, это можно упростить до ожидаемой стоимости их продукта за вычетом произведения их ожидаемых значений:

$cov ⁡ (X, Y) = E ⁡ [(X - E ⁡ [X]) (Y - E ⁡ [Y])] = E ⁡ [XY - XE ⁡ [Y] - E ⁡ [X] Y + E ⁡ [X] E ⁡ [Y]] = E ⁡ [XY] - E ⁡ [ Икс] E ⁡ [Y] - E ⁡ [X] E ⁡ [Y] + E ⁡ [X] E ⁡ [Y] = E ⁡ [XY] - E ⁡ [X] E ⁡ [Y], {\ displaystyle {\ begin {align} \ operatorname {cov} (X, Y) = \ operatorname {E} \ left [\ left (X- \ operatorname {E} \ left [X \ right] \ right) \ left (Y - \ operatorname {E} \ left [Y \ right] \ right) \ right] \\ = \ operatorname {E} \ left [XY-X \ operatorname {E} \ left [Y \ right] - \ operatorname { E} \ left [X \ right] Y + \ OperatorName {E} \ left [X \ right] \ operatorname {E} \ left [Y \ right] \ right] \\ = \ operatorname {E} \ left [XY \ right] - \ operatorname {E} \ left [X \ right] \ operatorname {E} \ left [Y \ right] - \ operatorname {E} \ left [X \ right] \ operatorname {E} \ left [Y \ right] + \ operatorname {E} \ left [X \ right] \ operatorname {E} \ left [Y \ right] \\ = \ operat orname {E} \ left [XY \ right] - \ operatorname {E} \ left [X \ right] \ operatorname {E} \ left [Y \ right], \ end {align}}}$

но это уравнение подвержен катастрофической отмене (см. раздел о числовых вычислениях ниже).

единицами измерения ковариации $cov\; \; (X,\; Y)\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{cov\}\; (X,\; Y)\}$являются те из $X\; \{\backslash \; displaystyle\; X\}$, умноженные на $Y\; \{\backslash \; displaystyle\; Y\}$. Напротив, коэффициенты корреляции, которые зависят от ковариации, являются безразмерной мерой линейной зависимости. (Фактически, коэффициенты корреляции можно просто понимать как нормализованную версию ковариации.)

Определение для сложных случайных величин

Ковариация между двумя комплексными случайными величинами $Z,\; W\; \{\backslash \; displaystyle\; Z,\; W\}$определяется как

$cov\; \; (Z,\; W)\; =\; E\; \; [(Z\; -\; E\; \; [Z])\; (W\; -\; E\; \; [W])\; ¯]\; =\; E\; \; [ZW\; ¯]\; -\; E\; \; [Z]\; E\; \; [W\; ¯]\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{cov\}\; (Z,\; W)\; =\; \backslash \; operatorname\; \{E\}\; \backslash \; left\; [(Z-\; \backslash \; operatorname\; \{E\}\; [Z])\; \{\backslash \; overline\; \{(W-\; \backslash \; operatorname\; \{E\}\; [W])\}\}\; \backslash \; right]\; =\; \backslash \; operatorname\; \{E\}\; \backslash \; left\; [Z\; \{\backslash \; overline\; \{W\}\}\; \backslash \; right]\; -\; \backslash \; operatorname\; \{E\}\; [Z\; ]\; \backslash \; operatorname\; \{E\}\; \backslash \; left\; [\{\backslash \; overline\; \{W\}\}\; \backslash \; right]\}$

Обратите внимание на комплексное сопряжение второго фактора в определении.

Дискретные случайные величины

Если пара случайных величин $(X,\; Y)\; \{\backslash \; displaystyle\; (X,\; Y)\}$может принимать значения $(xi,\; yi)\; \{\backslash \; displaystyle\; (x\_\; \{i\},\; y\_\; \{i\})\}$для $i\; =\; 1,\dots ,\; n\; \{\backslash \; displaystyle\; i\; =\; 1,\; \backslash \; ldots,\; n\}$, с равными вероятностями $pi\; =\; 1\; /\; n\; \{\backslash \; displaystyle\; p\_\; \{i\}\; =\; 1\; /\; n\}$, тогда ковариация может быть эквивалентно записана в терминах средних $E\; \; [X]\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{E\}\; [X]\}$и $E\; \; [Y]\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{E\}\; [Y]\}$как

$cov\; \; (X,\; Y)\; =\; 1\; n\; \sum \; i\; =\; 1\; n\; (xi\; -\; E\; (X))\; (yi\; -\; E\; (Y)).\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{cov\}\; (X,\; Y)\; =\; \{\backslash \; frac\; \{1\}\; \{n\}\}\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; (x\_\; \{i\}\; -E\; (X))\; (y\_\; \{\; i\}\; -E\; (Y)).\}$

Это также может быть эквивалентно выражено, без прямой ссылки на средства, как

$cov\; \; (X,\; Y)\; =\; 1\; n\; 2\; \sum \; i\; =\; 1\; n\; \sum \; j\; =\; 1\; n\; 1\; 2\; (xi\; -\; xj)\; (yi\; -\; yj)\; знак\; равно\; 1\; n\; 2\; \sum \; i\; \sum \; j>i\; (xi\; -\; xj)\; (yi\; -\; yj).\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{cov\}\; (X,\; Y)\; =\; \{\backslash \; frac\; \{1\}\; \{n\; ^\; \{2\}\}\}\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; \backslash \; sum\; \_\; \{j\; =\; 1\}\; ^\; \{\; n\}\; \{\backslash \; frac\; \{1\}\; \{2\}\}\; (x\_\; \{i\}\; -x\_\; \{j\})\; (y\_\; \{i\}\; -y\_\; \{j\})\; =\; \{\backslash \; frac\; \{1\}\; \{n\; ^\; \{2\}\}\}\; \backslash \; сумма\; \_\; \{i\}\; \backslash \; sum\; \_\; \{j>i\}\; (x\_\; \{i\}\; -x\_\; \{j\})\; (y\_\; \{i\}\; -y\_\; \{j\}).\}$

В целом, если есть $n\; \{\backslash \; displaystyle\; n\}$возможных реализаций $(X,\; Y)\; \{\backslash \; displaystyle\; (X,\; Y)\}$, а именно $(xi,\; yi)\; \{\backslash \; displaystyle\; (x\_\; \{i\},\; y\_\; \{i\})\}$, но с возможно неравными вероятностями $pi\; \{\backslash \; displaystyle\; p\_\; \{i\}\}$для $i\; =\; 1,\dots ,\; n\; \{\backslash \; displaystyle\; i\; =\; 1,\; \backslash \; ldots,\; n\}$, тогда ковариация

$cov\; \; (X,\; Y)\; знак\; равно\; \sum \; я\; знак\; равно\; 1\; npi\; (xi\; -\; E\; (X))\; (yi\; -\; E\; (Y)).\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{cov\}\; (X,\; Y)\; =\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; p\_\; \{i\}\; (x\_\; \{i\}\; -E\; (X))\; (y\_\; \{i\}\; -E\; (Y)).\}$

Геометрическая интерпретация примера ковариации. Каждый детеныш oid - это ограничивающая рамка его точки (x, y, f (x, y)), а значения X и Y (пурпурная точка). Ковариация - это сумма объемов красных кубоидов минус синие кубоиды.

Предположим, что $X\; \{\backslash \; displaystyle\; X\}$и $Y\; \{\backslash \; displaystyle\; Y\}$имеют следующую функцию совместной вероятности, в которой шесть центральных ячеек дают дискретные совместные вероятности $f\; (x,\; y)\; \{\backslash \; displaystyle\; f\; (x,\; y)\}$шести гипотетических реализаций $(x,\; y)\; \in \; S\; =\; \{(5,\; 8),\; (6,\; 8),\; (7,\; 8),\; (5,\; 9),\; (6,\; 9),\; (\; 7,\; 9)\}\; \{\backslash \; Displaystyle\; (х,\; у)\; \backslash \; в\; S\; =\; \backslash \; влево\; \backslash \; \{(5,8),\; (6,8),\; (7,8),\; (5,9),\; (6,9),\; (7,9)\; \backslash \; right\; \backslash \}\}$:

$е\; (х,\; y)\; \{\backslash \; displaystyle\; f\; (x,\; y)\}$		x				$е\; Y\; (y)\; \{\backslash \; displaystyle\; f\_\; \{Y\}\; (y)\}$
		5	6	7
y	8	0	0,4 ​​	0,1		0,5
	9	0,3	0	0,2		0,5
$f\; X\; (x)\; \{\backslash \; displaystyle\; f\_\; \{X\}\; (x)\; \}$		0,3	0,4 ​​	0,3	1

$X\; \{\backslash \; displaystyle\; X\}$может принимать три значения (5, 6 и 7), а $Y\; \{\backslash \; displaystyle\; Y\}$может принимать два (8 и 9). Их средние значения равны $\mu \; X\; =\; 5\; (0,3)\; +\; 6\; (0,4)\; +\; 7\; (0,1\; +\; 0,2)\; =\; 6\; \{\backslash \; displaystyle\; \backslash \; mu\; \_\; \{X\}\; =\; 5\; (0,3)\; +6\; (0,4)\; +7\; (0,1\; +0,2)\; =\; 6\}$и $\mu \; Y\; =\; 8\; (0,4\; +\; 0,1)\; +\; 9\; (0,3\; +\; 0,2)\; =\; 8,5\; \{\backslash \; displaystyle\; \backslash \; mu\; \_\; \{Y\}\; =\; 8\; (0,4\; +\; 0,1)\; +9\; (0,3\; +\; 0,2)\; =\; 8,5\}$. Тогда

$cov\; \; (X,\; Y)\; =\; \sigma \; XY\; =\; \sum \; (x,\; y)\; \in \; S\; f\; (x,\; y)\; (x\; -\; \mu \; X)\; (y\; -\; \mu \; Y)\; =\; (0)\; (5-6)\; (8\; -\; 8,5)\; +\; (0,4)\; (6\; -\; 6)\; (8\; -\; 8,5)\; +\; (0,1)\; (7\; -\; 6)\; (8\; -\; 8,5)\; +\; (0,3)\; (5\; -\; 6)\; (9\; -\; 8,5)\; +\; (\; 0)\; (6\; -\; 6)\; (9\; -\; 8,5)\; +\; (0,2)\; (7\; -\; 6)\; (9\; -\; 8,5)\; =\; -\; 0,1.\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{align\}\; \backslash \; operatorname\; \{cov\}\; (X,\; Y)\; =\; \{\}\; \backslash \; sigma\; \_\; \{XY\}\; =\; \backslash \; sum\; \_\; \{(x,\; y)\; \backslash \; in\; S\}\; f\; (x,\; y)\; \backslash \; left\; (x-\; \backslash \; mu\; \_\; \{X\}\; \backslash \; right)\; \backslash \; left\; (y-\; \backslash \; mu\; \_\; \{Y\}\; \backslash \; right)\; \backslash \backslash \; [4pt]\; =\; \{\}\; (0)\; (5-6)\; (8-8.5)\; +\; (0,4)\; (6-6)\; (8-8,5)\; +\; (0,1)\; (7-6)\; (8-8,5)\; +\; \{\}\; \backslash \backslash \; [4pt]\; (0,3)\; (5-6)\; (9-8,5)\; +\; (0)\; (6-6)\; (9-8,5)\; +\; (0,2)\; (7-6)\; (9-8,5)\; \backslash \backslash \; [4pt]\; =\; \{\}\; \{-\; 0,1\}\; \backslash ;.\; \backslash \; End\; \{выровнено\}\}\}$

Ковариация с самим собой

Дисперсия - это особый случай ковариации, при котором две переменные идентичны (то есть, когда одна переменная всегда принимает то же значение, что и другое):

$cov\; \; (X,\; X)\; =\; var\; \; (X)\; \equiv \; \sigma \; 2\; (X)\; \equiv \; \sigma \; X\; 2.\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{cov\}\; (X,\; X)\; =\; \backslash \; operatorname\; \{var\}\; (X)\; \backslash \; Equiv\; \backslash \; sigma\; ^\; \{2\}\; (X)\; \backslash \; Equiv\; \backslash \; sigma\; \_\; \{X\}\; ^\; \{2\}.\}$

Ковариация линейных комбинаций

Если $X\; \{\backslash \; displaystyle\; X\}$, $Y\; \{\backslash \; displaystyle\; Y\}$, $W\; \{\backslash \; displaystyle\; W\}$и $V\; \{\backslash \; displaystyle\; V\}$- случайные величины с действительным знаком, а $a,\; b,\; c,\; d\; \{\backslash \; displaystyle\; a,\; b,\; c,\; d\}$- константы с действительным знаком., то следующие факты являются следствием определения ковариации:

$cov\; \; (X,\; a)\; =\; 0\; cov\; \; (X,\; X)\; =\; var\; \; (X)\; cov\; \; (X,\; Y)\; =\; cov\; \; (\; Y,\; X)\; cov\; \; (a\; X,\; b\; Y)\; =\; ab\; cov\; \; (X,\; Y)\; cov\; \; (X\; +\; a,\; Y\; +\; b)\; =\; cov\; \; (X,\; Y)\; cov\; \; (a\; X\; +\; b\; Y,\; c\; W\; +\; d\; V)\; знак\; равно\; ac\; cov\; \; (X,\; W)\; +\; ad\; cov\; \; (X,\; V)\; +\; bc\; cov\; \; (Y,\; W)\; +\; bd\; cov\; \; (Y,\; V)\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{выровнено\; \}\; \backslash \; operatorname\; \{cov\}\; (X,\; a)\; =\; 0\; \backslash \backslash \backslash \; operatorname\; \{cov\}\; (X,\; X)\; =\; \backslash \; operatorname\; \{var\}\; (X)\; \backslash \backslash \backslash \; operatorname\; \{cov\}\; (X,\; Y)\; =\; \backslash \; operatorname\; \{cov\}\; (Y,\; X)\; \backslash \backslash \backslash \; operatorname\; \{cov\}\; (aX,\; bY)\; =\; ab\; \backslash ,\; \backslash \; operatorname\; \{cov\}\; (X,\; Y)\; \backslash \; \backslash \backslash \; operatorname\; \{cov\}\; (X\; +\; a,\; Y\; +\; b)\; =\; \backslash \; operatorname\; \{cov\}\; (X,\; Y)\; \backslash \backslash \backslash \; operatorname\; \{cov\}\; (aX\; +\; bY,\; cW\; +\; dV)\; =\; ac\; \backslash ,\; \backslash \; operatorname\; \{cov\}\; (X,\; W)\; +\; ad\; \backslash ,\; \backslash \; operatorname\; \{cov\}\; (X,\; V)\; +\; bc\; \backslash ,\; \backslash \; operatorname\; \{cov\}\; (Y,\; W)\; +\; bd\; \backslash ,\; \backslash \; operatorname\; \{cov\}\; (Y,\; V)\; \backslash \; end\; \{align\}\}\}$

Для последовательности $X\; 1,\dots ,\; X\; n\; \{\backslash \; displaystyle\; X\_\; \{1\},\; \backslash \; ldots,\; X\_\; \{n\}\}$случайных величин в реальном -значное и константы $a\; 1,\dots ,\; an\; \{\backslash \; displaystyle\; a\_\; \{1\},\; \backslash \; ldots,\; a\_\; \{n\}\}$, мы имеем

тождество ковариации Хёффдинга

Полезное тождество для вычисления ковариации между двумя случайными величинами $X,\; Y\; \{\backslash \; displaystyle\; X,\; Y\}$- тождество ковариации Хёффдинга:

$cov\; \; (X,\; Y)\; =\; \int \; R\; \int \; R\; (F\; (X,\; Y)\; (x,\; y)\; -\; FX\; (x)\; FY\; (y))\; dxdy\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{cov\}\; (X,\; Y)\; =\; \backslash \; int\; \_\; \{\backslash \; mathbb\; \{R\}\}\; \backslash \; int\; \_\; \{\backslash \; mathbb\; \{R\}\}\; \backslash \; left\; (F\; \_\; \{(\; X,\; Y)\}\; (x,\; y)\; -F\_\; \{X\}\; (x)\; F\_\; \{Y\}\; (y)\; \backslash \; right)\; \backslash ,\; dx\; \backslash ,\; dy\}$

где $F\; (X,\; Y)\; (x,\; у)\; \{\backslash \; Displaystyle\; F\; \_\; \{(X,\; Y)\}\; (x,\; y)\}$- совместная кумулятивная функция распределения случайного вектора $(X,\; Y)\; \{\backslash \; displaystyle\; (X,\; Y)\}$и $FX.\; (x),\; FY\; (y)\; \{\backslash \; displaystyle\; F\_\; \{X\}\; (x),\; F\_\; \{Y\}\; (y)\}$- это маргиналы.

Некоррелированность и независимость

Случайные переменные, ковариация которых равна нулю, называются некоррелированными. Точно так же компоненты случайных векторов, ковариационная матрица которых равна нулю в каждой записи за пределами главной диагонали, также называются некоррелированными.

Если $X\; \{\backslash \; displaystyle\; X\}$и $Y\; \{\backslash \; displaystyle\; Y\}$являются независимыми случайными величинами, тогда их ковариация равна нулю. Это следует потому, что при независимости

$E\; \; [X\; Y]\; =\; E\; \; [X]\; \cdot \; E\; \; [Y].\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{E\}\; [XY]\; =\; \backslash \; operatorname\; \{E\}\; [X]\; \backslash \; cdot\; \backslash \; operatorname\; \{E\}\; [Y].\}$

Обратное, однако, обычно неверно. Например, пусть $X\; \{\backslash \; displaystyle\; X\}$равномерно распределен в $[-\; 1,\; 1]\; \{\backslash \; displaystyle\; [-1,1]\}$и пусть $Y\; =\; X\; 2\; \{\backslash \; displaystyle\; Y\; =\; X\; ^\; \{2\}\}$. Очевидно, что $X\; \{\backslash \; displaystyle\; X\}$и $Y\; \{\backslash \; displaystyle\; Y\}$не являются независимыми, но

$cov\; \; (X,\; Y)\; =\; cov\; \; (X,\; X\; 2)\; =\; E\; \; [X\; \cdot \; X\; 2]\; -\; E\; \; [X]\; \cdot \; E\; \; [X\; 2]\; =\; E\; \; [X\; 3]\; -\; E\; \; [X]\; E\; \; [X\; 2]\; =\; 0\; -\; 0\; \cdot \; E\; \; [X\; 2]\; =\; 0.\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{align\}\; \backslash \; operatorname\; \{cov\}\; (X,\; Y)\; =\; \backslash \; operatorname\; \{cov\}\; \backslash \; left\; (X,\; X\; ^\; \{2\}\; \backslash \; right)\; \backslash \backslash \; =\; \backslash \; operatorname\; \{E\}\; \backslash \; left\; [X\; \backslash \; cdot\; X\; ^\; \{2\}\; \backslash \; right]\; -\; \backslash \; operatorname\; \{E\}\; [X]\; \backslash \; cdot\; \backslash \; operatorname\; \{E\}\; \backslash \; left\; [X\; ^\; \{2\}\; \backslash \; right\; ]\; \backslash \backslash \; =\; \backslash \; operatorname\; \{E\}\; \backslash \; left\; [X\; ^\; \{3\}\; \backslash \; right]\; -\; \backslash \; operatorname\; \{E\}\; [X]\; \backslash \; operatorname\; \{E\}\; \backslash \; left\; [X\; ^\; \{2\}\; \backslash \; right]\; \backslash \backslash \; =\; 0-0\; \backslash \; cdot\; \backslash \; operatorname\; \{E\}\; [X\; ^\; \{2\}]\; \backslash \backslash \; =\; 0.\; \backslash \; end\; \{align\}\}\}$

В этом случае связь между $Y\; \{\backslash \; displaystyle\; Y\}$и $X\; \{\backslash \; displaystyle\; X\}$является нелинейным, а корреляция и ковариация - это меры линейной зависимости между двумя случайными величинами. Этот пример показывает, что если две случайные величины некоррелированы, это, как правило, не означает, что они независимы. Однако, если две переменные совместно нормально распределены (но не если они просто индивидуально нормально распределены ), некоррелированность подразумевает независимость.

Связь с внутренними продуктами

Многие свойства ковариации можно элегантно выделить, наблюдая, что она удовлетворяет свойствам, аналогичным свойствам внутреннего продукта :

1. билинейной : для констант $a\; \{\backslash \; displaystyle\; a\}$и $b\; \{\backslash \; displaystyle\; b\}$и случайных величин $X,\; Y,\; Z\; \{\backslash \; displaystyle\; X,\; Y\; Z\}$, $cov\; \; (a\; X\; +\; b\; Y,\; Z)\; =\; a\; cov\; \; (X,\; Z)\; +\; b\; cov\; \; (Y,\; Z)\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{cov\}\; (aX\; +\; bY,\; Z)\; =\; a\; \backslash \; operatorname\; \{cov\}\; (X,\; Z)\; +\; b\; \backslash \; operatorname\; \{cov\}\; (Y,\; Z)\}$
2. симметричный: $cov\; \; (X,\; Y)\; =\; cov\; \; (Y,\; X)\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{cov\}\; (X,\; Y)\; =\; \backslash \; operatorname\; \{cov\}\; (Y,\; X)\}$
3. положительный полуопределенный : $\sigma \; 2\; (X)\; =\; cov\; \; (X,\; X)\; \ge \; 0\; \{\backslash \; displaystyle\; \backslash \; sigma\; ^\; \{2\}\; (X)\; =\; \backslash \; operatorname\; \{cov\}\; (X,\; X)\; \backslash \; geq\; 0\}$для всех случайных величин $X\; \{\backslash \; displaystyle\; X\}$и $cov\; \; (X,\; X)\; =\; 0\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{cov\}\; (X,\; X)\; =\; 0\}$означает, что $X\; \{\backslash \; displaystyle\; X\; \}$- это константа nt почти наверняка.

На самом деле эти свойства подразумевают, что ковариация определяет внутренний продукт по векторному пространству, полученному путем взятия подпространства случайных величин с конечным вторым моментом и идентификации любых двух, которые отличаются на константу. (Это отождествление превращает положительную полуопределенность, приведенную выше, в положительную определенность.) Это фактор-векторное пространство изоморфно подпространству случайных величин с конечным вторым моментом и средним нулем; в этом подпространстве ковариация - это в точности внутреннее произведение L функций с действительными значениями в пространстве выборки.

В результате для случайных величин с конечной дисперсией неравенство

$|\; cov\; \; (X,\; Y)\; |\; \le \; \sigma \; 2\; (Икс)\; \sigma \; 2\; (Y)\; \{\backslash \; Displaystyle\; |\; \backslash \; Operatorname\; \{cov\}\; (X,\; Y)\; |\; \backslash \; Leq\; \{\backslash \; sqrt\; \{\backslash \; sigma\; ^\; \{2\}\; (X)\; \backslash \; sigma\; ^\; \{2\}\; (Y)\; \}\}\}$

выполняется с помощью неравенства Коши – Шварца.

Доказательство: Если $\sigma \; 2\; (Y)\; =\; 0\; \{\backslash \; displaystyle\; \backslash \; sigma\; ^\; \{2\}\; (Y)\; =\; 0\}$, то тривиально. В противном случае пусть случайная величина

$Z\; =\; X\; -\; cov\; \; (X,\; Y)\; \sigma \; 2\; (Y)\; Y.\; \{\backslash \; displaystyle\; Z\; =\; X\; -\; \{\backslash \; frac\; \{\backslash \; operatorname\; \{cov\}\; (X,\; Y)\}\; \{\backslash \; sigma\; ^\; \{2\}\; (Y)\}\}\; Y.\}$

Тогда мы имеем

$0\; \le \; \sigma \; 2\; (Z)\; =\; cov\; \; (X\; -\; cov\; \; (X,\; Y)\; \sigma \; 2\; (Y)\; Y,\; X\; -\; cov\; \; (X,\; Y)\; \sigma \; 2\; (Y)\; Y)\; =\; \sigma \; 2\; (X)\; -\; (cov\; \; (\; X,\; Y))\; 2\; \sigma \; 2\; (Y).\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{align\}\; 0\; \backslash \; leq\; \backslash \; sigma\; ^\; \{2\}\; (Z)\; =\; \backslash \; operatorname\; \{cov\}\; \backslash \; left\; (X\; -\; \{\backslash \; frac\; \{\backslash \; operatorname\; \{cov\}\; (X,\; Y)\}\; \{\backslash \; sigma\; ^\; \{2\}\; (Y)\}\}\; Y,\; \backslash ;\; X\; -\; \{\backslash \; frac\; \{\backslash \; operatorname\; \{cov\}\; (X,\; Y)\}\; \{\backslash \; sigma\; ^\; \{2\}\; (Y)\}\}\; Y\; \backslash \; right)\; \backslash \backslash \; [\; 12pt]\; =\; \backslash \; sigma\; ^\; \{2\}\; (X)\; -\; \{\backslash \; frac\; \{(\backslash \; operatorname\; \{cov\}\; (X,\; Y))\; ^\; \{2\}\}\; \{\backslash \; sigma\; ^\; \{2\}\; (Y)\}\}.\; \backslash \; End\; \{выравнивается\}\}\}$

Выборочные ковариации среди $K\; \{\backslash \; displaystyle\; K\}$переменных на основе $N\; \{\backslash \; displaystyle\; N\}$наблюдений за каждым из них, взятых из ненаблюдаемой популяции, даются с помощью $K\; \times \; K\; \{\backslash \; displaystyle\; K\; \backslash \; times\; K\}$матрицы $q\; ¯\; =\; [qjk]\; \{\backslash \; displaystyle\; \backslash \; textstyle\; \{\backslash \; overline\; \{\backslash \; mathbf\; \{q\}\}\}\; =\; \backslash \; left\; [q\_\; \{jk\}\; \backslash \; right]\}$с записями

$qjk\; =\; 1\; N\; -\; 1\; \sum \; i\; =\; 1\; N\; (Икс\; ij\; -\; Икс\; ¯\; j)\; (Икс\; ik\; -\; X\; ¯\; k),\; \{\backslash \; displaystyle\; q\_\; \{jk\}\; =\; \{\backslash \; frac\; \{1\}\; \{N-1\}\}\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{N\}\; \backslash \; left\; (X\_\; \{ij\}\; -\; \{\backslash \; bar\; \{X\}\}\; \_\; \{j\}\; \backslash \; right)\; \backslash \; left\; (X\_\; \{ik\}\; -\; \{\backslash \; bar\; \{X\}\}\; \_\; \{k\}\; \backslash \; right),\}$

который это оценка ковариации между переменной $j\; \{\backslash \; displaystyle\; j\; \}$и переменная $k\; \{\backslash \; displaystyle\; k\}$.

Выборочное среднее и выборочная ковариационная матрица - это несмещенные оценки для среднего и ковариационная матрица случайного вектора $X\; \{\backslash \; displaystyle\; \backslash \; textstyle\; \backslash \; mathbf\; \{X\}\}$, вектора, j-й элемент которого $(j\; =\; 1,\dots ,\; K)\; \{\backslash \; displaystyle\; (j\; =\; 1,\; \backslash ,\; \backslash \; ldots,\; \backslash ,\; K)\}$- одна из случайных величин. Причина, по которой образец ковариационной матрицы имеет в знаменателе $N\; -\; 1\; \{\backslash \; displaystyle\; \backslash \; textstyle\; N-1\}$, а не $N\; \{\backslash \; displaystyle\; \backslash \; textstyle\; N\}$по сути, среднее значение генеральной совокупности $E\; \; (X)\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{E\}\; (X)\}$неизвестно и заменяется выборочным средним $X\; ¯\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{\backslash \; bar\; \{X\}\}\}$. Если известно среднее значение генеральной совокупности $E\; \; (X)\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{E\}\; (X)\}$, аналогичная несмещенная оценка дается как

$qjk\; =\; 1\; N\; \sum \; i\; =\; 1\; N\; (Икс\; ij\; -\; E\; \; (X\; j))\; (X\; ik\; -\; E\; \; (X\; k))\; \{\backslash \; displaystyle\; q\_\; \{jk\}\; =\; \{\backslash \; frac\; \{1\}\; \{N\}\}\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{N\}\; \backslash \; left\; (X\_\; \{ij\}\; -\; \backslash \; operatorname\; \{E\}\; \backslash \; left\; (X\_\; \{j\}\; \backslash \; right)\; \backslash \; right)\; \backslash \; left\; (X\_\; \{ik\}\; -\; \backslash \; operatorname\; \{E\}\; \backslash \; left\; (X\_\; \{k\}\; \backslash \; right)\; \backslash \; right)\}$.

Матрица автоковариации вещественных случайных векторов

Для вектора $X\; =\; [X\; 1\; X\; 2\dots \; X\; m]\; T\; \{\; \backslash \; displaystyle\; \backslash \; mathbf\; \{X\}\; =\; \{\backslash \; begin\; \{bmatrix\}\; X\_\; \{1\}\; X\_\; \{2\}\; \backslash \; dots\; X\_\; \{m\}\; \backslash \; end\; \{bmatrix\}\}\; ^\; \{\backslash \; mathrm\; \{T\}\}\}$из $m\; \{\backslash \; displaystyle\; m\}$совместно распределенных случайных величин с конечными секундами, его матрица автоковариации (также известная как матрица дисперсии-ковариации или просто ковариационная матрица ) $KXX\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{K\}\; \_\; \{\backslash \; mathbf\; \{X\}\; \backslash \; mathbf\; \{X\}\}\}$(также обозначается $\Sigma \; (Икс)\; \{\backslash \; Displaystyle\; \backslash \; Sigma\; (\backslash \; mathbf\; \{X\; \})\}$) определяется как

$KXX\; =\; cov\; \; (X,\; X)\; =\; E\; \; [(X\; -\; E\; \; [X])\; (X\; -\; E\; \; [X])\; T]\; =\; E\; \; [XXT]\; -\; E\; \; [X]\; E\; \; [X]\; T.\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{align\}\; \backslash \; operatorname\; \{K\}\; \_\; \{\backslash \; mathbf\; \{XX\}\}\; =\; \backslash \; operatorname\; \{cov\}\; (\backslash \; mathbf\; \{X\},\; \backslash \; mathbf\; \{X\})\; =\; \backslash \; operatorname\; \{E\}\; \backslash \; left\; [(\backslash \; mathbf\; \{X\}\; -\; \backslash \; operatorname\; \{E\}\; [\backslash \; mathbf\; \{X\}])\; (\backslash \; mathbf\; \{X\}\; -\; \backslash \; operatorname\; \{E\}\; [\backslash \; mathbf\; \{X\}])\; ^\; \{\backslash \; mathrm\; \{T\}\}\; \backslash \; right]\; \backslash \backslash \; =\; \backslash \; operatorname\; \{E\}\; \backslash \; left\; [\backslash \; mathbf\; \{XX\}\; ^\; \{\backslash \; mathrm\; \{T\}\}\; \backslash \; right]\; -\; \backslash \; operatorname\; \{E\}\; [\backslash \; mathbf\; \{X\}]\; \backslash \; operatorname\; \{E\}\; [\backslash \; mathbf\; \{X\}]\; ^\; \{\backslash \; mathrm\; \{T\}\}.\; \backslash \; end\; \{align\}\}\}$

Пусть $X\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{X\}\}$будет случайным вектор с ковариационной матрицей Σ, и пусть A будет матрицей, которая может воздействовать на $X\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{X\}\}$слева. Ковариационная матрица произведения матрица-вектор A X имеет вид:

$\Sigma \; (A\; X)\; =\; E\; \; [A\; X\; X\; T\; A\; T]\; -\; E\; \; [A\; X]\; E\; \; [X\; T\; A\; T]\; =\; A\; \Sigma \; A\; T.\; \{\backslash \; displaystyle\; \backslash \; Sigma\; (\backslash \; mathbf\; \{AX\})\; =\; \backslash \; operatorname\; \{E\}\; \backslash \; left\; [\backslash \; mathbf\; \{AXX\}\; ^\; \{\backslash \; mathrm\; \{T\}\}\; \backslash \; mathbf\; \{A\}\; ^\; \{\backslash \; mathrm\; \{T\}\}\; \backslash \; right]\; -\; \backslash \; operatorname\; \{E\}\; [\backslash \; mathbf\; \{AX\}]\; \backslash \; operatorname\; \{E\}\; \backslash \; left\; [\backslash \; mathbf\; \{X\}\; ^\; \{\backslash \; mathrm\; \{T\}\}\; \backslash \; mathbf\; \{A\}\; ^\; \{\backslash \; mathrm\; \{T\}\}\; \backslash \; right]\; =\; \backslash \; mathbf\; \{A\}\; \backslash \; Sigma\; \backslash \; mathbf\; \{A\}\; ^\; \{\backslash \; mathrm\; \{T\}\}.\}$

Это прямой результат линейности математического ожидания и полезен при применении линейное преобразование, такое как преобразование отбеливания, в вектор.

Матрица кросс-ковариации вещественных случайных векторов

Для реальных случайных векторов $X\; \in \; R\; m\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{X\}\; \backslash \; in\; \backslash \; mathbb\; \{\; R\}\; ^\; \{m\}\}$и $Y\; \in \; R\; n\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{Y\}\; \backslash \; in\; \backslash \; mathbb\; \{R\}\; ^\; \{n\}\}$, $m\; \times \; n\; \{\backslash \; displaystyle\; m\; \backslash \; times\; n\}$матрица кросс-ковариаций равна

$KXY\; =\; cov\; \; (X,\; Y)\; =\; E\; \; [(X\; -\; E\; \; [X])\; (Y\; -\; E\; \; [Y])\; T]\; знак\; равно\; E\; \; [XYT]\; -\; E\; \; [X]\; E\; \; [Y]\; T\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{align\}\; \backslash \; operatorname\; \{K\}\; \_\; \{\backslash \; mathbf\; \{X\; \}\; \backslash \; mathbf\; \{Y\}\}\; =\; \backslash \; operatorname\; \{cov\}\; (\backslash \; mathbf\; \{X\},\; \backslash \; mathbf\; \{Y\})\; =\; \backslash \; operatorname\; \{E\}\; \backslash \; left\; [(\backslash \; mathbf\; \{X\}\; -\; \backslash \; operatorname\; \{E\}\; [\backslash \; mathbf\; \{X\}])\; (\backslash \; mathbf\; \{Y\}\; -\; \backslash \; operatorname\; \{E\}\; [\backslash \; mathbf\; \{Y\}])\; ^\; \{\backslash \; mathrm\; \{T\}\}\; \backslash \; right]\; \backslash \backslash \; =\; \backslash \; operatorname\; \{E\}\; \backslash \; left\; [\backslash \; mathbf\; \{X\}\; \backslash \; mathbf\; \{Y\}\; ^\; \{\backslash \; mathrm\; \{T\}\}\; \backslash \; right]\; -\; \backslash \; operatorname\; \{E\}\; [\backslash \; mathbf\; \{X\}]\; \backslash \; operatorname\; \{E\}\; [\backslash \; mathbf\; \{Y\}]\; ^\; \{\backslash \; mathrm\; \{\; T\}\}\; \backslash \; end\; \{align\}\}\}$

(Eq.2)

где $YT\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{Y\}\; ^\; \{\backslash \; mathrm\; \{T\}\}\}$- транспонировать из t вектор (или матрица) $Y\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{Y\}\}$.

The $(i,\; j)\; \{\backslash \; displaystyle\; (i,\; j)\}$-й элемент эта матрица равна ковариации $cov\; \; (X\; i,\; Y\; j)\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{cov\}\; (X\_\; \{i\},\; Y\_\; \{j\})\}$между i-м скалярный компонент $X\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{X\}\}$и j-й скалярный компонент $Y\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{Y\}\}$. В частности, $cov\; \; (Y,\; X)\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{cov\}\; (\backslash \; mathbf\; \{Y\},\; \backslash \; mathbf\; \{X\})\}$- это транспонирование of $cov\; \; (X,\; Y)\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{cov\}\; (\backslash \; mathbf\; \{X\},\; \backslash \; mathbf\; \{Y\})\}$.

Когда $E\; \; [XY]\; \approx \; E\; \; [X]\; E\; \; [Y]\; \{\backslash \; displaystyle\; \backslash \; OperatorName\; \{E\}\; [XY]\; \backslash \; ок.\; \backslash \; OperatorName\; \{E\}\; [X]\; \backslash \; operatorname\; \{E\}\; [Y]\}$, уравнение $cov\; \; (X,\; Y)\; =\; E\; \; [XY]\; -\; E\; \; [X]\; E\; \; [Y]\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{cov\}\; (X,\; Y)\; =\; \backslash \; operatorname\; \{E\}\; \backslash \; left\; [XY\; \backslash \; right]\; -\; \backslash \; operatorname\; \{E\}\; \backslash \; left\; [X\; \backslash \; right]\; \backslash \; operatorname\; \{E\}\; \backslash \; left\; [Y\; \backslash \; right]\}$подвержен катастрофической отмене, когда вычисляется с помощью арифметики с плавающей запятой, поэтому этого следует избегать в компьютерных программах, когда данные не были центрированы ранее. В этом случае следует отдавать предпочтение численно стабильным алгоритмам. Комментарии