Ковариация

Знак ковариации двух случайных величин X и Y

В теории вероятностей и статистика, ковариация - это мера совместной изменчивости двух случайных величин. Если большие значения одной переменной в основном соответствуют большим значениям другой переменной, и то же самое верно для меньших значений (т. Е. Переменные имеют тенденцию показывать аналогичное поведение), ковариация положительная. В противоположном случае, когда большие значения одной переменной в основном соответствуют меньшим значениям другой (т.е. переменные имеют тенденцию показывать противоположное поведение), ковариация отрицательная. Знак ковариации, таким образом, показывает тенденцию в линейной зависимости между переменными. Величину ковариации непросто интерпретировать, поскольку она не нормирована и, следовательно, зависит от величин переменных. нормализованная версия ковариации, коэффициент корреляции , однако, показывает по своей величине силу линейной связи.

Необходимо различать (1) ковариацию двух случайных величин, которая является параметром population , который можно рассматривать как свойство совместное распределение вероятностей, и (2) ковариация выборки, которая помимо того, что служит дескриптором выборки, также служит в качестве оценочного значения параметра совокупности.

Содержание

• 1 Определение
  • 1.1 Определение для сложных случайных величин
  • 1.2 Дискретные случайные величины
• 2 Пример
• 3 Свойства
  • 3.1 Ковариация с самим собой
  • 3.2 Ковариация линейных комбинаций
  • 3.3 Ковариационная идентичность Хёффдинга
  • 3.4 Некоррелированность и независимость
  • 3.5 Связь со внутренними продуктами
• 4 Вычисление выборочной ковариации
• 5 Обобщения
  • 5.1 Автоковариационная матрица реальных случайных векторов
  • 5.2 Кросс-ковариационная матрица реальных случайных векторов
• 6 Численные вычисления
• 7 Комментарии
• 8 Приложения
  • 8.1 В генетике и молекулярной биологии
  • 8.2 В финансовой экономике
  • 8.3 В метеорологических и океанографических данных ассимиляция
  • 8.4 В микрометеорологии
  • 8.5 В извлечении признаков
  • 8.6 В машинном обучении
• 9 См. также
• 10 Ссылки

Определение

Для двух совместно распределенных вещественные -значные случайные величины $X\; \{\backslash \; displaystyle\; X\}$и $Y\; \{\backslash \; displaystyle\; Y\}$с конечными секундами, ковариация определяется как ожидаемое значение (или среднее значение) произведения их отклонений от их индивидуальных ожидаемых значений:

$cov\; \; (X,\; Y)\; =\; E\; \; [(Икс\; -\; Е\; \; [X])\; (Y\; -\; E\; \; [Y])]\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{cov\}\; (X,\; Y)\; =\; \backslash \; operatorname\; \{E\}\; \{\{\backslash \; big\; [\}\; (X-\; \backslash \; operatorname\; \{E\}\; [X])\; (Y-\; \backslash \; operatorname\; \{E\}\; [Y])\; \{\backslash \; big]\}\}\}$

(Eq.1)

где $E\; \; [X]\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{E\}\; [X]\}$- ожидаемое значение из $X\; \{\backslash \; displaystyle\; X\}$, также известное как среднее значение $Икс\; \{\backslash \; Displaystyle\; X\}$. Ковариацию также иногда обозначают как $\sigma \; XY\; \{\backslash \; displaystyle\; \backslash \; sigma\; \_\; \{XY\}\}$или $\sigma \; (X,\; Y)\; \{\backslash \; displaystyle\; \backslash \; sigma\; (X,\; Y)\}$по аналогии с дисперсией. Используя свойство линейности ожиданий, это можно упростить до ожидаемой стоимости их продукта за вычетом произведения их ожидаемых значений:

$cov ⁡ (X, Y) = E ⁡ [(X - E ⁡ [X]) (Y - E ⁡ [Y])] = E ⁡ [XY - XE ⁡ [Y] - E ⁡ [X] Y + E ⁡ [X] E ⁡ [Y]] = E ⁡ [XY] - E ⁡ [ Икс] E ⁡ [Y] - E ⁡ [X] E ⁡ [Y] + E ⁡ [X] E ⁡ [Y] = E ⁡ [XY] - E ⁡ [X] E ⁡ [Y], {\ displaystyle {\ begin {align} \ operatorname {cov} (X, Y) = \ operatorname {E} \ left [\ left (X- \ operatorname {E} \ left [X \ right] \ right) \ left (Y - \ operatorname {E} \ left [Y \ right] \ right) \ right] \\ = \ operatorname {E} \ left [XY-X \ operatorname {E} \ left [Y \ right] - \ operatorname { E} \ left [X \ right] Y + \ OperatorName {E} \ left [X \ right] \ operatorname {E} \ left [Y \ right] \ right] \\ = \ operatorname {E} \ left [XY \ right] - \ operatorname {E} \ left [X \ right] \ operatorname {E} \ left [Y \ right] - \ operatorname {E} \ left [X \ right] \ operatorname {E} \ left [Y \ right] + \ operatorname {E} \ left [X \ right] \ operatorname {E} \ left [Y \ right] \\ = \ operat orname {E} \ left [XY \ right] - \ operatorname {E} \ left [X \ right] \ operatorname {E} \ left [Y \ right], \ end {align}}}$

но это уравнение подвержен катастрофической отмене (см. раздел о числовых вычислениях ниже).

единицами измерения ковариации $cov\; \; (X,\; Y)\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{cov\}\; (X,\; Y)\}$являются те из $X\; \{\backslash \; displaystyle\; X\}$, умноженные на $Y\; \{\backslash \; displaystyle\; Y\}$. Напротив, коэффициенты корреляции, которые зависят от ковариации, являются безразмерной мерой линейной зависимости. (Фактически, коэффициенты корреляции можно просто понимать как нормализованную версию ковариации.)

Определение для сложных случайных величин

Ковариация между двумя комплексными случайными величинами $Z,\; W\; \{\backslash \; displaystyle\; Z,\; W\}$определяется как

$cov\; \; (Z,\; W)\; =\; E\; \; [(Z\; -\; E\; \; [Z])\; (W\; -\; E\; \; [W])\; ¯]\; =\; E\; \; [ZW\; ¯]\; -\; E\; \; [Z]\; E\; \; [W\; ¯]\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{cov\}\; (Z,\; W)\; =\; \backslash \; operatorname\; \{E\}\; \backslash \; left\; [(Z-\; \backslash \; operatorname\; \{E\}\; [Z])\; \{\backslash \; overline\; \{(W-\; \backslash \; operatorname\; \{E\}\; [W])\}\}\; \backslash \; right]\; =\; \backslash \; operatorname\; \{E\}\; \backslash \; left\; [Z\; \{\backslash \; overline\; \{W\}\}\; \backslash \; right]\; -\; \backslash \; operatorname\; \{E\}\; [Z\; ]\; \backslash \; operatorname\; \{E\}\; \backslash \; left\; [\{\backslash \; overline\; \{W\}\}\; \backslash \; right]\}$

Обратите внимание на комплексное сопряжение второго фактора в определении.

Дискретные случайные величины

Если пара случайных величин $(X,\; Y)\; \{\backslash \; displaystyle\; (X,\; Y)\}$может принимать значения $(xi,\; yi)\; \{\backslash \; displaystyle\; (x\_\; \{i\},\; y\_\; \{i\})\}$для $i\; =\; 1,\dots ,\; n\; \{\backslash \; displaystyle\; i\; =\; 1,\; \backslash \; ldots,\; n\}$, с равными вероятностями $pi\; =\; 1\; /\; n\; \{\backslash \; displaystyle\; p\_\; \{i\}\; =\; 1\; /\; n\}$, тогда ковариация может быть эквивалентно записана в терминах средних $E\; \; [X]\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{E\}\; [X]\}$и $E\; \; [Y]\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{E\}\; [Y]\}$как

$cov\; \; (X,\; Y)\; =\; 1\; n\; \sum \; i\; =\; 1\; n\; (xi\; -\; E\; (X))\; (yi\; -\; E\; (Y)).\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{cov\}\; (X,\; Y)\; =\; \{\backslash \; frac\; \{1\}\; \{n\}\}\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; (x\_\; \{i\}\; -E\; (X))\; (y\_\; \{\; i\}\; -E\; (Y)).\}$

Это также может быть эквивалентно выражено, без прямой ссылки на средства, как

$cov\; \; (X,\; Y)\; =\; 1\; n\; 2\; \sum \; i\; =\; 1\; n\; \sum \; j\; =\; 1\; n\; 1\; 2\; (xi\; -\; xj)\; (yi\; -\; yj)\; знак\; равно\; 1\; n\; 2\; \sum \; i\; \sum \; j>i\; (xi\; -\; xj)\; (yi\; -\; yj).\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{cov\}\; (X,\; Y)\; =\; \{\backslash \; frac\; \{1\}\; \{n\; ^\; \{2\}\}\}\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; \backslash \; sum\; \_\; \{j\; =\; 1\}\; ^\; \{\; n\}\; \{\backslash \; frac\; \{1\}\; \{2\}\}\; (x\_\; \{i\}\; -x\_\; \{j\})\; (y\_\; \{i\}\; -y\_\; \{j\})\; =\; \{\backslash \; frac\; \{1\}\; \{n\; ^\; \{2\}\}\}\; \backslash \; сумма\; \_\; \{i\}\; \backslash \; sum\; \_\; \{j>i\}\; (x\_\; \{i\}\; -x\_\; \{j\})\; (y\_\; \{i\}\; -y\_\; \{j\}).\}$

В целом, если есть $n\; \{\backslash \; displaystyle\; n\}$возможных реализаций $(X,\; Y)\; \{\backslash \; displaystyle\; (X,\; Y)\}$, а именно $(xi,\; yi)\; \{\backslash \; displaystyle\; (x\_\; \{i\},\; y\_\; \{i\})\}$, но с возможно неравными вероятностями $pi\; \{\backslash \; displaystyle\; p\_\; \{i\}\}$для $i\; =\; 1,\dots ,\; n\; \{\backslash \; displaystyle\; i\; =\; 1,\; \backslash \; ldots,\; n\}$, тогда ковариация

$cov\; \; (X,\; Y)\; знак\; равно\; \sum \; я\; знак\; равно\; 1\; npi\; (xi\; -\; E\; (X))\; (yi\; -\; E\; (Y)).\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{cov\}\; (X,\; Y)\; =\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; p\_\; \{i\}\; (x\_\; \{i\}\; -E\; (X))\; (y\_\; \{i\}\; -E\; (Y)).\}$

Пример

Геометрическая интерпретация примера ковариации. Каждый детеныш oid - это ограничивающая рамка его точки (x, y, f (x, y)), а значения X и Y (пурпурная точка). Ковариация - это сумма объемов красных кубоидов минус синие кубоиды.

Предположим, что $X\; \{\backslash \; displaystyle\; X\}$и $Y\; \{\backslash \; displaystyle\; Y\}$имеют следующую функцию совместной вероятности, в которой шесть центральных ячеек дают дискретные совместные вероятности $f\; (x,\; y)\; \{\backslash \; displaystyle\; f\; (x,\; y)\}$шести гипотетических реализаций $(x,\; y)\; \in \; S\; =\; \{(5,\; 8),\; (6,\; 8),\; (7,\; 8),\; (5,\; 9),\; (6,\; 9),\; (\; 7,\; 9)\}\; \{\backslash \; Displaystyle\; (х,\; у)\; \backslash \; в\; S\; =\; \backslash \; влево\; \backslash \; \{(5,8),\; (6,8),\; (7,8),\; (5,9),\; (6,9),\; (7,9)\; \backslash \; right\; \backslash \}\}$:

$е\; (х,\; y)\; \{\backslash \; displaystyle\; f\; (x,\; y)\}$		x				$е\; Y\; (y)\; \{\backslash \; displaystyle\; f\_\; \{Y\}\; (y)\}$
		5	6	7
y	8	0	0,4 ​​	0,1		0,5
	9	0,3	0	0,2		0,5
$f\; X\; (x)\; \{\backslash \; displaystyle\; f\_\; \{X\}\; (x)\; \}$		0,3	0,4 ​​	0,3	1

$X\; \{\backslash \; displaystyle\; X\}$может принимать три значения (5, 6 и 7), а $Y\; \{\backslash \; displaystyle\; Y\}$может принимать два (8 и 9). Их средние значения равны $\mu \; X\; =\; 5\; (0,3)\; +\; 6\; (0,4)\; +\; 7\; (0,1\; +\; 0,2)\; =\; 6\; \{\backslash \; displaystyle\; \backslash \; mu\; \_\; \{X\}\; =\; 5\; (0,3)\; +6\; (0,4)\; +7\; (0,1\; +0,2)\; =\; 6\}$и $\mu \; Y\; =\; 8\; (0,4\; +\; 0,1)\; +\; 9\; (0,3\; +\; 0,2)\; =\; 8,5\; \{\backslash \; displaystyle\; \backslash \; mu\; \_\; \{Y\}\; =\; 8\; (0,4\; +\; 0,1)\; +9\; (0,3\; +\; 0,2)\; =\; 8,5\}$. Тогда

$cov\; \; (X,\; Y)\; =\; \sigma \; XY\; =\; \sum \; (x,\; y)\; \in \; S\; f\; (x,\; y)\; (x\; -\; \mu \; X)\; (y\; -\; \mu \; Y)\; =\; (0)\; (5-6)\; (8\; -\; 8,5)\; +\; (0,4)\; (6\; -\; 6)\; (8\; -\; 8,5)\; +\; (0,1)\; (7\; -\; 6)\; (8\; -\; 8,5)\; +\; (0,3)\; (5\; -\; 6)\; (9\; -\; 8,5)\; +\; (\; 0)\; (6\; -\; 6)\; (9\; -\; 8,5)\; +\; (0,2)\; (7\; -\; 6)\; (9\; -\; 8,5)\; =\; -\; 0,1.\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{align\}\; \backslash \; operatorname\; \{cov\}\; (X,\; Y)\; =\; \{\}\; \backslash \; sigma\; \_\; \{XY\}\; =\; \backslash \; sum\; \_\; \{(x,\; y)\; \backslash \; in\; S\}\; f\; (x,\; y)\; \backslash \; left\; (x-\; \backslash \; mu\; \_\; \{X\}\; \backslash \; right)\; \backslash \; left\; (y-\; \backslash \; mu\; \_\; \{Y\}\; \backslash \; right)\; \backslash \backslash \; [4pt]\; =\; \{\}\; (0)\; (5-6)\; (8-8.5)\; +\; (0,4)\; (6-6)\; (8-8,5)\; +\; (0,1)\; (7-6)\; (8-8,5)\; +\; \{\}\; \backslash \backslash \; [4pt]\; (0,3)\; (5-6)\; (9-8,5)\; +\; (0)\; (6-6)\; (9-8,5)\; +\; (0,2)\; (7-6)\; (9-8,5)\; \backslash \backslash \; [4pt]\; =\; \{\}\; \{-\; 0,1\}\; \backslash ;.\; \backslash \; End\; \{выровнено\}\}\}$

Свойства

Ковариация с самим собой

Дисперсия - это особый случай ковариации, при котором две переменные идентичны (то есть, когда одна переменная всегда принимает то же значение, что и другое):

$cov\; \; (X,\; X)\; =\; var\; \; (X)\; \equiv \; \sigma \; 2\; (X)\; \equiv \; \sigma \; X\; 2.\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{cov\}\; (X,\; X)\; =\; \backslash \; operatorname\; \{var\}\; (X)\; \backslash \; Equiv\; \backslash \; sigma\; ^\; \{2\}\; (X)\; \backslash \; Equiv\; \backslash \; sigma\; \_\; \{X\}\; ^\; \{2\}.\}$

Ковариация линейных комбинаций

Если $X\; \{\backslash \; displaystyle\; X\}$, $Y\; \{\backslash \; displaystyle\; Y\}$, $W\; \{\backslash \; displaystyle\; W\}$и $V\; \{\backslash \; displaystyle\; V\}$- случайные величины с действительным знаком, а $a,\; b,\; c,\; d\; \{\backslash \; displaystyle\; a,\; b,\; c,\; d\}$- константы с действительным знаком., то следующие факты являются следствием определения ковариации:

$cov\; \; (X,\; a)\; =\; 0\; cov\; \; (X,\; X)\; =\; var\; \; (X)\; cov\; \; (X,\; Y)\; =\; cov\; \; (\; Y,\; X)\; cov\; \; (a\; X,\; b\; Y)\; =\; ab\; cov\; \; (X,\; Y)\; cov\; \; (X\; +\; a,\; Y\; +\; b)\; =\; cov\; \; (X,\; Y)\; cov\; \; (a\; X\; +\; b\; Y,\; c\; W\; +\; d\; V)\; знак\; равно\; ac\; cov\; \; (X,\; W)\; +\; ad\; cov\; \; (X,\; V)\; +\; bc\; cov\; \; (Y,\; W)\; +\; bd\; cov\; \; (Y,\; V)\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{выровнено\; \}\; \backslash \; operatorname\; \{cov\}\; (X,\; a)\; =\; 0\; \backslash \backslash \backslash \; operatorname\; \{cov\}\; (X,\; X)\; =\; \backslash \; operatorname\; \{var\}\; (X)\; \backslash \backslash \backslash \; operatorname\; \{cov\}\; (X,\; Y)\; =\; \backslash \; operatorname\; \{cov\}\; (Y,\; X)\; \backslash \backslash \backslash \; operatorname\; \{cov\}\; (aX,\; bY)\; =\; ab\; \backslash ,\; \backslash \; operatorname\; \{cov\}\; (X,\; Y)\; \backslash \; \backslash \backslash \; operatorname\; \{cov\}\; (X\; +\; a,\; Y\; +\; b)\; =\; \backslash \; operatorname\; \{cov\}\; (X,\; Y)\; \backslash \backslash \backslash \; operatorname\; \{cov\}\; (aX\; +\; bY,\; cW\; +\; dV)\; =\; ac\; \backslash ,\; \backslash \; operatorname\; \{cov\}\; (X,\; W)\; +\; ad\; \backslash ,\; \backslash \; operatorname\; \{cov\}\; (X,\; V)\; +\; bc\; \backslash ,\; \backslash \; operatorname\; \{cov\}\; (Y,\; W)\; +\; bd\; \backslash ,\; \backslash \; operatorname\; \{cov\}\; (Y,\; V)\; \backslash \; end\; \{align\}\}\}$

Для последовательности $X\; 1,\dots ,\; X\; n\; \{\backslash \; displaystyle\; X\_\; \{1\},\; \backslash \; ldots,\; X\_\; \{n\}\}$случайных величин в реальном -значное и константы $a\; 1,\dots ,\; an\; \{\backslash \; displaystyle\; a\_\; \{1\},\; \backslash \; ldots,\; a\_\; \{n\}\}$, мы имеем

тождество ковариации Хёффдинга

Полезное тождество для вычисления ковариации между двумя случайными величинами $X,\; Y\; \{\backslash \; displaystyle\; X,\; Y\}$- тождество ковариации Хёффдинга:

$cov\; \; (X,\; Y)\; =\; \int \; R\; \int \; R\; (F\; (X,\; Y)\; (x,\; y)\; -\; FX\; (x)\; FY\; (y))\; dxdy\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{cov\}\; (X,\; Y)\; =\; \backslash \; int\; \_\; \{\backslash \; mathbb\; \{R\}\}\; \backslash \; int\; \_\; \{\backslash \; mathbb\; \{R\}\}\; \backslash \; left\; (F\; \_\; \{(\; X,\; Y)\}\; (x,\; y)\; -F\_\; \{X\}\; (x)\; F\_\; \{Y\}\; (y)\; \backslash \; right)\; \backslash ,\; dx\; \backslash ,\; dy\}$

где $F\; (X,\; Y)\; (x,\; у)\; \{\backslash \; Displaystyle\; F\; \_\; \{(X,\; Y)\}\; (x,\; y)\}$- совместная кумулятивная функция распределения случайного вектора $(X,\; Y)\; \{\backslash \; displaystyle\; (X,\; Y)\}$и $FX.\; (x),\; FY\; (y)\; \{\backslash \; displaystyle\; F\_\; \{X\}\; (x),\; F\_\; \{Y\}\; (y)\}$- это маргиналы.

Некоррелированность и независимость

Случайные переменные, ковариация которых равна нулю, называются некоррелированными. Точно так же компоненты случайных векторов, ковариационная матрица которых равна нулю в каждой записи за пределами главной диагонали, также называются некоррелированными.

Если $X\; \{\backslash \; displaystyle\; X\}$и $Y\; \{\backslash \; displaystyle\; Y\}$являются независимыми случайными величинами, тогда их ковариация равна нулю. Это следует потому, что при независимости

$E\; \; [X\; Y]\; =\; E\; \; [X]\; \cdot \; E\; \; [Y].\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{E\}\; [XY]\; =\; \backslash \; operatorname\; \{E\}\; [X]\; \backslash \; cdot\; \backslash \; operatorname\; \{E\}\; [Y].\}$

Обратное, однако, обычно неверно. Например, пусть $X\; \{\backslash \; displaystyle\; X\}$равномерно распределен в $[-\; 1,\; 1]\; \{\backslash \; displaystyle\; [-1,1]\}$и пусть $Y\; =\; X\; 2\; \{\backslash \; displaystyle\; Y\; =\; X\; ^\; \{2\}\}$. Очевидно, что $X\; \{\backslash \; displaystyle\; X\}$и $Y\; \{\backslash \; displaystyle\; Y\}$не являются независимыми, но

$cov\; \; (X,\; Y)\; =\; cov\; \; (X,\; X\; 2)\; =\; E\; \; [X\; \cdot \; X\; 2]\; -\; E\; \; [X]\; \cdot \; E\; \; [X\; 2]\; =\; E\; \; [X\; 3]\; -\; E\; \; [X]\; E\; \; [X\; 2]\; =\; 0\; -\; 0\; \cdot \; E\; \; [X\; 2]\; =\; 0.\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{align\}\; \backslash \; operatorname\; \{cov\}\; (X,\; Y)\; =\; \backslash \; operatorname\; \{cov\}\; \backslash \; left\; (X,\; X\; ^\; \{2\}\; \backslash \; right)\; \backslash \backslash \; =\; \backslash \; operatorname\; \{E\}\; \backslash \; left\; [X\; \backslash \; cdot\; X\; ^\; \{2\}\; \backslash \; right]\; -\; \backslash \; operatorname\; \{E\}\; [X]\; \backslash \; cdot\; \backslash \; operatorname\; \{E\}\; \backslash \; left\; [X\; ^\; \{2\}\; \backslash \; right\; ]\; \backslash \backslash \; =\; \backslash \; operatorname\; \{E\}\; \backslash \; left\; [X\; ^\; \{3\}\; \backslash \; right]\; -\; \backslash \; operatorname\; \{E\}\; [X]\; \backslash \; operatorname\; \{E\}\; \backslash \; left\; [X\; ^\; \{2\}\; \backslash \; right]\; \backslash \backslash \; =\; 0-0\; \backslash \; cdot\; \backslash \; operatorname\; \{E\}\; [X\; ^\; \{2\}]\; \backslash \backslash \; =\; 0.\; \backslash \; end\; \{align\}\}\}$

В этом случае связь между $Y\; \{\backslash \; displaystyle\; Y\}$и $X\; \{\backslash \; displaystyle\; X\}$является нелинейным, а корреляция и ковариация - это меры линейной зависимости между двумя случайными величинами. Этот пример показывает, что если две случайные величины некоррелированы, это, как правило, не означает, что они независимы. Однако, если две переменные совместно нормально распределены (но не если они просто индивидуально нормально распределены ), некоррелированность подразумевает независимость.

Связь с внутренними продуктами

Многие свойства ковариации можно элегантно выделить, наблюдая, что она удовлетворяет свойствам, аналогичным свойствам внутреннего продукта :

1. билинейной : для констант $a\; \{\backslash \; displaystyle\; a\}$и $b\; \{\backslash \; displaystyle\; b\}$и случайных величин $X,\; Y,\; Z\; \{\backslash \; displaystyle\; X,\; Y\; Z\}$, $cov\; \; (a\; X\; +\; b\; Y,\; Z)\; =\; a\; cov\; \; (X,\; Z)\; +\; b\; cov\; \; (Y,\; Z)\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{cov\}\; (aX\; +\; bY,\; Z)\; =\; a\; \backslash \; operatorname\; \{cov\}\; (X,\; Z)\; +\; b\; \backslash \; operatorname\; \{cov\}\; (Y,\; Z)\}$
2. симметричный: $cov\; \; (X,\; Y)\; =\; cov\; \; (Y,\; X)\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{cov\}\; (X,\; Y)\; =\; \backslash \; operatorname\; \{cov\}\; (Y,\; X)\}$
3. положительный полуопределенный : $\sigma \; 2\; (X)\; =\; cov\; \; (X,\; X)\; \ge \; 0\; \{\backslash \; displaystyle\; \backslash \; sigma\; ^\; \{2\}\; (X)\; =\; \backslash \; operatorname\; \{cov\}\; (X,\; X)\; \backslash \; geq\; 0\}$для всех случайных величин $X\; \{\backslash \; displaystyle\; X\}$и $cov\; \; (X,\; X)\; =\; 0\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{cov\}\; (X,\; X)\; =\; 0\}$означает, что $X\; \{\backslash \; displaystyle\; X\; \}$- это константа nt почти наверняка.

На самом деле эти свойства подразумевают, что ковариация определяет внутренний продукт по векторному пространству, полученному путем взятия подпространства случайных величин с конечным вторым моментом и идентификации любых двух, которые отличаются на константу. (Это отождествление превращает положительную полуопределенность, приведенную выше, в положительную определенность.) Это фактор-векторное пространство изоморфно подпространству случайных величин с конечным вторым моментом и средним нулем; в этом подпространстве ковариация - это в точности внутреннее произведение L функций с действительными значениями в пространстве выборки.

В результате для случайных величин с конечной дисперсией неравенство

$|\; cov\; \; (X,\; Y)\; |\; \le \; \sigma \; 2\; (Икс)\; \sigma \; 2\; (Y)\; \{\backslash \; Displaystyle\; |\; \backslash \; Operatorname\; \{cov\}\; (X,\; Y)\; |\; \backslash \; Leq\; \{\backslash \; sqrt\; \{\backslash \; sigma\; ^\; \{2\}\; (X)\; \backslash \; sigma\; ^\; \{2\}\; (Y)\; \}\}\}$

выполняется с помощью неравенства Коши – Шварца.

Доказательство: Если $\sigma \; 2\; (Y)\; =\; 0\; \{\backslash \; displaystyle\; \backslash \; sigma\; ^\; \{2\}\; (Y)\; =\; 0\}$, то тривиально. В противном случае пусть случайная величина

$Z\; =\; X\; -\; cov\; \; (X,\; Y)\; \sigma \; 2\; (Y)\; Y.\; \{\backslash \; displaystyle\; Z\; =\; X\; -\; \{\backslash \; frac\; \{\backslash \; operatorname\; \{cov\}\; (X,\; Y)\}\; \{\backslash \; sigma\; ^\; \{2\}\; (Y)\}\}\; Y.\}$

Тогда мы имеем

$0\; \le \; \sigma \; 2\; (Z)\; =\; cov\; \; (X\; -\; cov\; \; (X,\; Y)\; \sigma \; 2\; (Y)\; Y,\; X\; -\; cov\; \; (X,\; Y)\; \sigma \; 2\; (Y)\; Y)\; =\; \sigma \; 2\; (X)\; -\; (cov\; \; (\; X,\; Y))\; 2\; \sigma \; 2\; (Y).\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{align\}\; 0\; \backslash \; leq\; \backslash \; sigma\; ^\; \{2\}\; (Z)\; =\; \backslash \; operatorname\; \{cov\}\; \backslash \; left\; (X\; -\; \{\backslash \; frac\; \{\backslash \; operatorname\; \{cov\}\; (X,\; Y)\}\; \{\backslash \; sigma\; ^\; \{2\}\; (Y)\}\}\; Y,\; \backslash ;\; X\; -\; \{\backslash \; frac\; \{\backslash \; operatorname\; \{cov\}\; (X,\; Y)\}\; \{\backslash \; sigma\; ^\; \{2\}\; (Y)\}\}\; Y\; \backslash \; right)\; \backslash \backslash \; [\; 12pt]\; =\; \backslash \; sigma\; ^\; \{2\}\; (X)\; -\; \{\backslash \; frac\; \{(\backslash \; operatorname\; \{cov\}\; (X,\; Y))\; ^\; \{2\}\}\; \{\backslash \; sigma\; ^\; \{2\}\; (Y)\}\}.\; \backslash \; End\; \{выравнивается\}\}\}$

Вычисление выборочной ковариации

Выборочные ковариации среди $K\; \{\backslash \; displaystyle\; K\}$переменных на основе $N\; \{\backslash \; displaystyle\; N\}$наблюдений за каждым из них, взятых из ненаблюдаемой популяции, даются с помощью $K\; \times \; K\; \{\backslash \; displaystyle\; K\; \backslash \; times\; K\}$матрицы $q\; ¯\; =\; [qjk]\; \{\backslash \; displaystyle\; \backslash \; textstyle\; \{\backslash \; overline\; \{\backslash \; mathbf\; \{q\}\}\}\; =\; \backslash \; left\; [q\_\; \{jk\}\; \backslash \; right]\}$с записями

$qjk\; =\; 1\; N\; -\; 1\; \sum \; i\; =\; 1\; N\; (Икс\; ij\; -\; Икс\; ¯\; j)\; (Икс\; ik\; -\; X\; ¯\; k),\; \{\backslash \; displaystyle\; q\_\; \{jk\}\; =\; \{\backslash \; frac\; \{1\}\; \{N-1\}\}\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{N\}\; \backslash \; left\; (X\_\; \{ij\}\; -\; \{\backslash \; bar\; \{X\}\}\; \_\; \{j\}\; \backslash \; right)\; \backslash \; left\; (X\_\; \{ik\}\; -\; \{\backslash \; bar\; \{X\}\}\; \_\; \{k\}\; \backslash \; right),\}$

который это оценка ковариации между переменной $j\; \{\backslash \; displaystyle\; j\; \}$и переменная $k\; \{\backslash \; displaystyle\; k\}$.

Выборочное среднее и выборочная ковариационная матрица - это несмещенные оценки для среднего и ковариационная матрица случайного вектора $X\; \{\backslash \; displaystyle\; \backslash \; textstyle\; \backslash \; mathbf\; \{X\}\}$, вектора, j-й элемент которого $(j\; =\; 1,\dots ,\; K)\; \{\backslash \; displaystyle\; (j\; =\; 1,\; \backslash ,\; \backslash \; ldots,\; \backslash ,\; K)\}$- одна из случайных величин. Причина, по которой образец ковариационной матрицы имеет в знаменателе $N\; -\; 1\; \{\backslash \; displaystyle\; \backslash \; textstyle\; N-1\}$, а не $N\; \{\backslash \; displaystyle\; \backslash \; textstyle\; N\}$по сути, среднее значение генеральной совокупности $E\; \; (X)\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{E\}\; (X)\}$неизвестно и заменяется выборочным средним $X\; ¯\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{\backslash \; bar\; \{X\}\}\}$. Если известно среднее значение генеральной совокупности $E\; \; (X)\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{E\}\; (X)\}$, аналогичная несмещенная оценка дается как

$qjk\; =\; 1\; N\; \sum \; i\; =\; 1\; N\; (Икс\; ij\; -\; E\; \; (X\; j))\; (X\; ik\; -\; E\; \; (X\; k))\; \{\backslash \; displaystyle\; q\_\; \{jk\}\; =\; \{\backslash \; frac\; \{1\}\; \{N\}\}\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{N\}\; \backslash \; left\; (X\_\; \{ij\}\; -\; \backslash \; operatorname\; \{E\}\; \backslash \; left\; (X\_\; \{j\}\; \backslash \; right)\; \backslash \; right)\; \backslash \; left\; (X\_\; \{ik\}\; -\; \backslash \; operatorname\; \{E\}\; \backslash \; left\; (X\_\; \{k\}\; \backslash \; right)\; \backslash \; right)\}$.

Обобщения

Матрица автоковариации вещественных случайных векторов

Для вектора $X\; =\; [X\; 1\; X\; 2\dots \; X\; m]\; T\; \{\; \backslash \; displaystyle\; \backslash \; mathbf\; \{X\}\; =\; \{\backslash \; begin\; \{bmatrix\}\; X\_\; \{1\}\; X\_\; \{2\}\; \backslash \; dots\; X\_\; \{m\}\; \backslash \; end\; \{bmatrix\}\}\; ^\; \{\backslash \; mathrm\; \{T\}\}\}$из $m\; \{\backslash \; displaystyle\; m\}$совместно распределенных случайных величин с конечными секундами, его матрица автоковариации (также известная как матрица дисперсии-ковариации или просто ковариационная матрица ) $KXX\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{K\}\; \_\; \{\backslash \; mathbf\; \{X\}\; \backslash \; mathbf\; \{X\}\}\}$(также обозначается $\Sigma \; (Икс)\; \{\backslash \; Displaystyle\; \backslash \; Sigma\; (\backslash \; mathbf\; \{X\; \})\}$) определяется как

$KXX\; =\; cov\; \; (X,\; X)\; =\; E\; \; [(X\; -\; E\; \; [X])\; (X\; -\; E\; \; [X])\; T]\; =\; E\; \; [XXT]\; -\; E\; \; [X]\; E\; \; [X]\; T.\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{align\}\; \backslash \; operatorname\; \{K\}\; \_\; \{\backslash \; mathbf\; \{XX\}\}\; =\; \backslash \; operatorname\; \{cov\}\; (\backslash \; mathbf\; \{X\},\; \backslash \; mathbf\; \{X\})\; =\; \backslash \; operatorname\; \{E\}\; \backslash \; left\; [(\backslash \; mathbf\; \{X\}\; -\; \backslash \; operatorname\; \{E\}\; [\backslash \; mathbf\; \{X\}])\; (\backslash \; mathbf\; \{X\}\; -\; \backslash \; operatorname\; \{E\}\; [\backslash \; mathbf\; \{X\}])\; ^\; \{\backslash \; mathrm\; \{T\}\}\; \backslash \; right]\; \backslash \backslash \; =\; \backslash \; operatorname\; \{E\}\; \backslash \; left\; [\backslash \; mathbf\; \{XX\}\; ^\; \{\backslash \; mathrm\; \{T\}\}\; \backslash \; right]\; -\; \backslash \; operatorname\; \{E\}\; [\backslash \; mathbf\; \{X\}]\; \backslash \; operatorname\; \{E\}\; [\backslash \; mathbf\; \{X\}]\; ^\; \{\backslash \; mathrm\; \{T\}\}.\; \backslash \; end\; \{align\}\}\}$

Пусть $X\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{X\}\}$будет случайным вектор с ковариационной матрицей Σ, и пусть A будет матрицей, которая может воздействовать на $X\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{X\}\}$слева. Ковариационная матрица произведения матрица-вектор A X имеет вид:

$\Sigma \; (A\; X)\; =\; E\; \; [A\; X\; X\; T\; A\; T]\; -\; E\; \; [A\; X]\; E\; \; [X\; T\; A\; T]\; =\; A\; \Sigma \; A\; T.\; \{\backslash \; displaystyle\; \backslash \; Sigma\; (\backslash \; mathbf\; \{AX\})\; =\; \backslash \; operatorname\; \{E\}\; \backslash \; left\; [\backslash \; mathbf\; \{AXX\}\; ^\; \{\backslash \; mathrm\; \{T\}\}\; \backslash \; mathbf\; \{A\}\; ^\; \{\backslash \; mathrm\; \{T\}\}\; \backslash \; right]\; -\; \backslash \; operatorname\; \{E\}\; [\backslash \; mathbf\; \{AX\}]\; \backslash \; operatorname\; \{E\}\; \backslash \; left\; [\backslash \; mathbf\; \{X\}\; ^\; \{\backslash \; mathrm\; \{T\}\}\; \backslash \; mathbf\; \{A\}\; ^\; \{\backslash \; mathrm\; \{T\}\}\; \backslash \; right]\; =\; \backslash \; mathbf\; \{A\}\; \backslash \; Sigma\; \backslash \; mathbf\; \{A\}\; ^\; \{\backslash \; mathrm\; \{T\}\}.\}$

Это прямой результат линейности математического ожидания и полезен при применении линейное преобразование, такое как преобразование отбеливания, в вектор.

Матрица кросс-ковариации вещественных случайных векторов

Для реальных случайных векторов $X\; \in \; R\; m\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{X\}\; \backslash \; in\; \backslash \; mathbb\; \{\; R\}\; ^\; \{m\}\}$и $Y\; \in \; R\; n\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{Y\}\; \backslash \; in\; \backslash \; mathbb\; \{R\}\; ^\; \{n\}\}$, $m\; \times \; n\; \{\backslash \; displaystyle\; m\; \backslash \; times\; n\}$матрица кросс-ковариаций равна

$KXY\; =\; cov\; \; (X,\; Y)\; =\; E\; \; [(X\; -\; E\; \; [X])\; (Y\; -\; E\; \; [Y])\; T]\; знак\; равно\; E\; \; [XYT]\; -\; E\; \; [X]\; E\; \; [Y]\; T\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{align\}\; \backslash \; operatorname\; \{K\}\; \_\; \{\backslash \; mathbf\; \{X\; \}\; \backslash \; mathbf\; \{Y\}\}\; =\; \backslash \; operatorname\; \{cov\}\; (\backslash \; mathbf\; \{X\},\; \backslash \; mathbf\; \{Y\})\; =\; \backslash \; operatorname\; \{E\}\; \backslash \; left\; [(\backslash \; mathbf\; \{X\}\; -\; \backslash \; operatorname\; \{E\}\; [\backslash \; mathbf\; \{X\}])\; (\backslash \; mathbf\; \{Y\}\; -\; \backslash \; operatorname\; \{E\}\; [\backslash \; mathbf\; \{Y\}])\; ^\; \{\backslash \; mathrm\; \{T\}\}\; \backslash \; right]\; \backslash \backslash \; =\; \backslash \; operatorname\; \{E\}\; \backslash \; left\; [\backslash \; mathbf\; \{X\}\; \backslash \; mathbf\; \{Y\}\; ^\; \{\backslash \; mathrm\; \{T\}\}\; \backslash \; right]\; -\; \backslash \; operatorname\; \{E\}\; [\backslash \; mathbf\; \{X\}]\; \backslash \; operatorname\; \{E\}\; [\backslash \; mathbf\; \{Y\}]\; ^\; \{\backslash \; mathrm\; \{\; T\}\}\; \backslash \; end\; \{align\}\}\}$

(Eq.2)

где $YT\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{Y\}\; ^\; \{\backslash \; mathrm\; \{T\}\}\}$- транспонировать из t вектор (или матрица) $Y\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{Y\}\}$.

The $(i,\; j)\; \{\backslash \; displaystyle\; (i,\; j)\}$-й элемент эта матрица равна ковариации $cov\; \; (X\; i,\; Y\; j)\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{cov\}\; (X\_\; \{i\},\; Y\_\; \{j\})\}$между i-м скалярный компонент $X\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{X\}\}$и j-й скалярный компонент $Y\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{Y\}\}$. В частности, $cov\; \; (Y,\; X)\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{cov\}\; (\backslash \; mathbf\; \{Y\},\; \backslash \; mathbf\; \{X\})\}$- это транспонирование of $cov\; \; (X,\; Y)\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{cov\}\; (\backslash \; mathbf\; \{X\},\; \backslash \; mathbf\; \{Y\})\}$.

Числовое вычисление

Когда $E\; \; [XY]\; \approx \; E\; \; [X]\; E\; \; [Y]\; \{\backslash \; displaystyle\; \backslash \; OperatorName\; \{E\}\; [XY]\; \backslash \; ок.\; \backslash \; OperatorName\; \{E\}\; [X]\; \backslash \; operatorname\; \{E\}\; [Y]\}$, уравнение $cov\; \; (X,\; Y)\; =\; E\; \; [XY]\; -\; E\; \; [X]\; E\; \; [Y]\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{cov\}\; (X,\; Y)\; =\; \backslash \; operatorname\; \{E\}\; \backslash \; left\; [XY\; \backslash \; right]\; -\; \backslash \; operatorname\; \{E\}\; \backslash \; left\; [X\; \backslash \; right]\; \backslash \; operatorname\; \{E\}\; \backslash \; left\; [Y\; \backslash \; right]\}$подвержен катастрофической отмене, когда вычисляется с помощью арифметики с плавающей запятой, поэтому этого следует избегать в компьютерных программах, когда данные не были центрированы ранее. В этом случае следует отдавать предпочтение численно стабильным алгоритмам. Комментарии

Ковариацию иногда называют мерой «линейной зависимости» между двумя параметрами. ndom переменные. Это не означает то же самое, что и в контексте линейной алгебры (см. линейная зависимость ). Когда ковариация нормализована, получается коэффициент корреляции Пирсона, который дает степень согласия для наилучшей возможной линейной функции, описывающей связь между переменными. В этом смысле ковариация - это линейная мера зависимости.

Приложения

В генетике и молекулярной биологии

Ковариация - важный показатель в биологии. Определенные последовательности ДНК более консервативны среди видов, чем другие, поэтому для изучения вторичных и третичных структур белков или структур РНК последовательности сравнивают в близкородственные виды. Если изменения последовательности обнаружены или не обнаружены вообще никаких изменений в некодирующей РНК (такой как микроРНК ), обнаруживается, что последовательности необходимы для общих структурных мотивов, таких как петля РНК. В генетике ковариация служит основой для вычисления матрицы генетических родств (GRM) (также известной как матрица родства), позволяя делать выводы о структуре популяции на основе выборки без известных близких родственников, а также делать выводы об оценке наследуемости сложных признаков.

В теории эволюции и естественного отбора уравнение Прайса описывает, как генетический признак частота меняется со временем. В уравнении используется ковариация между признаком и пригодностью, чтобы дать математическое описание эволюции и естественного отбора. Это дает возможность понять влияние передачи генов и естественного отбора на долю генов в каждом новом поколении популяции. Уравнение Прайса было выведено Джорджем Р. Прайсом, чтобы заново вывести W.D. Работа Гамильтона над родственной селекцией. Примеры уравнения Прайса были построены для различных эволюционных случаев.

В финансовой экономике

Ковариации играют ключевую роль в финансовой экономике, особенно в современной теории портфелей и в ценообразовании основных средств. модель. Ковариации между доходностью различных активов используются для определения, при определенных допущениях, относительных сумм различных активов, которые инвесторы должны (в нормативном анализе ) или которые прогнозируются (в положительном анализе ) выберите сохранение в контексте диверсификации.

при ассимиляции метеорологических и океанографических данных

Ковариационная матрица важна для оценки начальных условий, необходимых для запуска моделей прогноза погоды, процедуры, известной как усвоение данных. «Ковариационная матрица ошибок прогноза» обычно строится между возмущениями вокруг среднего состояния (климатологического или ансамблевого). «Ковариационная матрица ошибок наблюдения» построена для представления величины объединенных ошибок наблюдений (по диагонали) и коррелированных ошибок между измерениями (по диагонали). Это пример его широко распространенного применения для фильтрации Калмана и более общего оценки состояния для изменяющихся во времени систем.

В микрометеорологии

Метод ковариации завихрений - это ключевой метод измерения атмосферных воздействий, при котором определяется ковариация между мгновенным отклонением вертикальной скорости ветра от среднего значения и мгновенным отклонением концентрации газа. является основой для расчета вертикальных турбулентных потоков.

При извлечении признаков

Ковариационная матрица используется для определения спектральной изменчивости сигнала.

В машинном обучении

Ковариационная матрица используется в анализ главных компонентов для уменьшения размерности функций при предварительной обработке данных.

См. Также

• Алгоритмы вычисления ковариации
• Анализ ковариации
• Автоковариация
• Корреляция и зависимость
• Функция ковариации
• Матрица ковариации
• Оператор ковариации
• Расстояние ковариация, или броуновская ковариация.
• Вихревая ковариация
• Закон общей ковариации
• Распространение неопределенности

Ссылки