Корреляция и зависимость

Статистическая концепция Несколько наборов точек (x, y) с коэффициентом корреляции Пирсона x и y для каждой задавать. Корреляция отражает шумность и направление линейной связи (верхний ряд), но не наклон этой связи (середина) и многие аспекты нелинейных отношений (внизу). NB: фигура в центре имеет наклон 0, но в этом случае коэффициент корреляции не определен, потому что дисперсия Y равна нулю.

В статистике, корреляция или зависимость - это любая статистическая взаимосвязь, причинная или нет, между двумя случайными величинами или двумерными данными. В самом широком смысле корреляция - это любая статистическая ассоциация, хотя обычно она относится к степени, в которой пара переменных линейно связана. Знакомые примеры зависимых явлений включают корреляцию между ростом родителей и их потомков, а также корреляцию между ценой товара и количеством, которое потребители готовы купить, как это изображено в так так называемая кривая спроса.

Корреляции полезны, потому что они могут указывать на прогнозирующую взаимосвязь, которую можно использовать на практике. Например, электроэнергетическая компания может производить меньше электроэнергии в мягкий день из-за корреляции между спросом на электроэнергию и погодой. В этом примере существует причинно-следственная связь, потому что экстремальные погодные условия заставляют людей использовать больше электроэнергии для обогрева или охлаждения. Однако, как правило, наличия корреляции недостаточно, чтобы сделать вывод о наличии причинно-следственной связи (т. Е. корреляция не подразумевает причинную связь ).

Формально случайные величины являются зависимыми, если они не удовлетворяют математическому свойству вероятностной независимости. Выражаясь неформальным языком, корреляция является синонимом зависимости. Однако при использовании в техническом смысле корреляция относится к любому из нескольких конкретных типов математических операций между тестируемыми переменными и их соответствующими ожидаемыми значениями. По сути, корреляция - это мера того, как две или более переменных связаны друг с другом. Существует несколько коэффициентов корреляции, часто обозначаемых $\rho \; \{\backslash \; displaystyle\; \backslash \; rho\}$или $r\; \{\backslash \; displaystyle\; r\}$, измеряющих степень корреляции. Наиболее распространенным из них является коэффициент корреляции Пирсона, который чувствителен только к линейной зависимости между двумя переменными (которая может присутствовать, даже если одна переменная является нелинейной функцией другой). Другие коэффициенты корреляции, такие как ранговая корреляция Спирмена, были разработаны так, чтобы быть более надежными, чем коэффициенты Пирсона, то есть более чувствительными к нелинейным отношениям. Взаимная информация также может применяться для измерения зависимости между двумя переменными.

Содержание

• 1 Коэффициент произведения-момента Пирсона
  • 1.1 Определение
  • 1.2 Свойство симметрии
  • 1.3 Корреляция и независимость
  • 1.4 Выборочный коэффициент корреляции
• 2 Пример
• 3 Ранговые коэффициенты корреляции
• 4 Другие меры зависимости между случайными величинами
• 5 Чувствительность к распределению данных
• 6 Корреляционные матрицы
• 7 Некоррелированность и независимость случайных процессов
• 8 Распространенные заблуждения
  • 8.1 Корреляция и причинная связь
  • 8.2 Простые линейные корреляции
• 9 Двумерное нормальное распределение
• 10 См. Также
• 11 Ссылки
• 12 Дополнительная литература
• 13 Внешние ссылки

Коэффициент произведения-момента Пирсона

Примеры диаграмм рассеяния различные наборы данных с различными коэффициентами корреляции.

Определение

Наиболее известной мерой зависимости между двумя величинами является коэффициент корреляции продукта-момента Пирсона (PPMCC), или «коэффициент корреляции Пирсона», обычно называемый просто "коэффициент корреляции fficient ". Математически это определяется как качество подгонки наименьших квадратов к исходным данным. Он получается путем принятия отношения ковариации двух рассматриваемых переменных в нашем наборе числовых данных, нормированного на квадратный корень из их дисперсий. С математической точки зрения, можно просто разделить ковариацию двух переменных на произведение их стандартных отклонений. Карл Пирсон разработал коэффициент на основе похожей, но немного другой идеи, предложенной Фрэнсисом Гальтоном.

Коэффициент корреляции произведения-момента Пирсона пытается установить линию наилучшего соответствия на основе набора данных двух переменных по существу Отображение ожидаемых значений и результирующего коэффициента корреляции Пирсона указывает, насколько далеко фактический набор данных находится от ожидаемых значений. В зависимости от знака коэффициента корреляции нашего Пирсона мы можем получить либо отрицательную, либо положительную корреляцию, если существует какая-либо связь между переменными нашего набора данных.

Коэффициент корреляции населения $\rho \; X,\; Y\; \{\backslash \; displaystyle\; \backslash \; rho\; \_\; \{X,\; Y\}\}$между двумя случайными величинами $X\; \{\; \backslash \; displaystyle\; X\}$и $Y\; \{\backslash \; displaystyle\; Y\}$с ожидаемыми значениями $\mu \; X\; \{\backslash \; displaystyle\; \backslash \; mu\; \_\; \{X\}\}$и $\mu \; Y\; \{\backslash \; displaystyle\; \backslash \; mu\; \_\; \{Y\}\}$и стандартные отклонения $\sigma \; X\; \{\backslash \; displaystyle\; \backslash \; sigma\; \_\; \{X\; \}\}$и $\sigma \; Y\; \{\backslash \; displaystyle\; \backslash \; sigma\; \_\; \{Y\}\}$определяется как

$\rho \; X,\; Y\; =\; corr\; \; (X,\; Y)\; =\; cov\; \; (Икс,\; Y)\; \sigma \; Икс\; \sigma \; Y\; знак\; равно\; Е\; \; [(X\; -\; \mu \; X)\; (Y\; -\; \mu \; Y)]\; \sigma \; X\; \sigma \; Y\; \{\backslash \; Displaystyle\; \backslash \; rho\; \_\; \{X,\; Y\}\; =\; \backslash \; operatorname\; \{corr\}\; (X,\; Y)\; =\; \{\backslash \; operatorname\; \{cov\}\; (X,\; Y)\; \backslash \; over\; \backslash \; sigma\; \_\; \{X\}\; \backslash \; sigma\; \_\; \{Y\}\}\; =\; \{\backslash \; operatorname\; \{E\}\; [(X-\; \backslash \; mu\; \_\; \{X\})\; (Y\; -\; \backslash \; mu\; \_\; \{Y\})]\; \backslash \; over\; \backslash \; sigma\; \_\; \{X\}\; \backslash \; sigma\; \_\; \{Y\}\}\}$

где $E\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{E\}\}$- это ожидаемое значение оператор, $cov\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{cov\}\}$означает ковариацию, а $corr\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{corr\; \}\}$- широко используемое альтернативное обозначение коэффициента корреляции. Корреляция Пирсона определяется, только если оба стандартных отклонения конечны и положительны. Альтернативная формула исключительно в терминах моментов:

$\rho \; X,\; Y\; =\; E\; \; (XY)\; -\; E\; \; (X)\; E\; \; (Y)\; E\; \; (X\; 2)\; -\; E\; \; (X)\; 2\; \cdot \; E\; \; (\; Y\; 2)\; -\; Е\; \; (Y)\; 2\; \{\backslash \; displaystyle\; \backslash \; rho\; \_\; \{X,\; Y\}\; =\; \{\backslash \; operatorname\; \{E\}\; (XY)\; -\; \backslash \; operatorname\; \{E\}\; (X)\; \backslash \; operatorname\; \{E\}\; (Y)\; \backslash \; over\; \{\backslash \; sqrt\; \{\backslash \; operatorname\; \{E\}\; (X\; ^\; \{2\})\; -\; \backslash \; operatorname\; \{E\}\; (X)\; ^\; \{2\}\}\}\; \backslash \; cdot\; \{\backslash \; sqrt\; \{\backslash \; operatorname\; \{E\}\; (Y\; ^\; \{2\})\; -\; \backslash \; operatorname\; \{E\}\; (Y)\; ^\; \{2\}\}\}\}\}$

Свойство симметрии

Коэффициент корреляции симметричный: $corr\; \; (X,\; Y)\; =\; corr\; \; (Y,\; X)\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{corr\}\; (X,\; Y)\; =\; \backslash \; operatorname\; \{corr\}\; (Y,\; X)\}$. Это подтверждается коммутативным свойством умножения.

Корреляция и независимость

Следствием неравенства Коши – Шварца является то, что абсолютное значение коэффициента корреляции Пирсона не превышает 1. Следовательно, значение коэффициента корреляции находится в диапазоне от -1 до +1. Коэффициент корреляции равен +1 в случае идеальной прямой (возрастающей) линейной зависимости (корреляции), -1 в случае идеальной обратной (убывающей) линейной зависимости (антикорреляция ) и некоторое значение в открытый интервал $(-\; 1,\; 1)\; \{\backslash \; displaystyle\; (-1,1)\}$во всех остальных случаях, указывающий на степень линейной зависимости между переменными. По мере приближения к нулю взаимосвязь уменьшается (ближе к некоррелированной). Чем ближе коэффициент к -1 или 1, тем сильнее корреляция между переменными.

Если переменные независимы, коэффициент корреляции Пирсона равен 0, но обратное неверно, поскольку коэффициент корреляции обнаруживает только линейные зависимости между двумя переменными.

$X,\; Y\; независимый\; \Rightarrow \; \rho \; X,\; Y\; =\; 0\; (X,\; Y\; некоррелированный)\; \rho \; X,\; Y\; =\; 0\; (X,\; Y\; некоррелированный)\; \nRightarrow \; X,\; Y\; независимый\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{выровненный\}\; X,\; Y\; \{\; \backslash \; text\; \{independent\}\}\; \backslash \; quad\; \backslash \; Rightarrow\; \backslash \; quad\; \backslash \; rho\; \_\; \{X,\; Y\}\; =\; 0\; \backslash \; quad\; (X,\; Y\; \{\backslash \; text\; \{uncorrelated\}\})\; \backslash \backslash \backslash \; rho\; \_\; \{X,\; Y\}\; =\; 0\; \backslash \; quad\; (X,\; Y\; \{\backslash \; text\; \{uncorrelated\}\})\; \backslash \; quad\; \backslash \; nRightarrow\; \backslash \; quad\; X,\; Y\; \{\backslash \; text\; \{independent\}\}\; \backslash \; end\; \{выравнивается\}\}\}$

Например, предположим, что случайная величина $X\; \{\backslash \; displaystyle\; X\}$симметрично распределено относительно нуля, а $Y\; =\; X\; 2\; \{\backslash \; displaystyle\; Y\; =\; X\; ^\; \{2\}\}$. Тогда $Y\; \{\backslash \; displaystyle\; Y\}$полностью определяется $X\; \{\backslash \; displaystyle\; X\}$, так что $X\; \{\backslash \; displaystyle\; X\}$и $Y\; \{\backslash \; displaystyle\; Y\}$полностью зависимы, но их корреляция равна нулю; они некоррелированы. Однако в особом случае, когда $X\; \{\backslash \; displaystyle\; X\}$и $Y\; \{\backslash \; displaystyle\; Y\}$являются вместе нормально, некоррелированность эквивалент независимости.

Несмотря на то, что некоррелированные данные не обязательно подразумевают независимость, можно проверить независимость случайных величин, если их взаимная информация равна 0.

Выборочный коэффициент корреляции

Дана серия измерений $n\; \{\backslash \; displaystyle\; n\}$пары $(X\; i,\; Y\; i)\; \{\backslash \; displaystyle\; (X\_\; \{i\},\; Y\_\; \{i\})\}$проиндексировано по $i\; =\; 1,\dots ,\; n\; \{\backslash \; displaystyle\; i\; =\; 1,\; \backslash \; ldots,\; n\}$, коэффициент корреляции выборки может использоваться для оценки корреляции Пирсона для совокупности $\rho \; X,\; Y\; \{\backslash \; displaystyle\; \backslash \; rho\; \_\; \{X,\; Y\}\}$между $X\; \{\backslash \; displaystyle\; X\}$и $Y\; \{\backslash \; displaystyle\; Y\; \}$. Коэффициент корреляции выборки определяется как

$rxy\; =\; def\; \sum \; i\; =\; 1\; n\; (xi\; -\; x\; ¯)\; (yi\; -\; y\; ¯)\; (n\; -\; 1)\; sxsy\; =\; \sum \; i\; =\; 1\; n\; (xi\; -\; x\; ¯)\; (yi\; -\; y\; ¯)\; \sum \; я\; знак\; равно\; 1\; N\; (xi\; -\; x\; ¯)\; 2\; \sum \; я\; =\; 1\; n\; (yi\; -\; y\; ¯)\; 2,\; \{\backslash \; displaystyle\; r\_\; \{xy\}\; \backslash \; quad\; \{\backslash \; overset\; \{\backslash \; underset\; \{\backslash \; mathrm\; \{def\}\; \}\; \{\}\}\; \{=\}\}\; \backslash \; quad\; \{\backslash \; frac\; \{\backslash \; sum\; \backslash \; limits\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; (x\_\; \{i\}\; -\; \{\backslash \; bar\; \{x\}\})\; (y\_\; \{i\}\; -\; \{\backslash \; bar\; \{y\}\})\}\; \{(n-1)\; s\_\; \{x\}\; s\_\; \{y\}\}\}\; =\; \{\backslash \; frac\; \{\backslash \; sum\; \backslash \; limits\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; (x\_\; \{i\}\; -\; \{\backslash \; bar\; \{x\}\})\; (y\_\; \{i\}\; -\; \{\backslash \; bar\; \{y\}\})\}\; \{\backslash \; sqrt\; \{\backslash \; sum\; \backslash \; limits\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; (x\_\; \{i\}\; -\; \{\backslash \; bar\; \{x\; \}\})\; ^\; \{2\}\; \backslash \; sum\; \backslash \; limits\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; (y\_\; \{i\}\; -\; \{\backslash \; bar\; \{y\}\})\; ^\; \{2\}\}\}\},\}$

где $x\; ¯\; \{\backslash \; displaystyle\; \{\backslash \; overline\; \{x\}\}\}$и $y\; ¯\; \{\backslash \; displaystyle\; \{\backslash \; overline\; \{y\}\}\}$- это образец означает из $X\; \{\backslash \; displaystyle\; X\}$и $Y\; \{\backslash \; displaystyle\; Y\}$и $sx\; \{\backslash \; displaystyle\; s\_\; \{x\}\}$и $sy\; \{\backslash \; displaystyle\; s\_\; \{y\}\}$- скорректированные стандартные отклонения выборки из $X\; \{\backslash \; displaystyle\; X\}$и $Y\; \{\backslash \; displaystyle\; Y\}$.

Эквивалентное выражение Эсси для $rxy\; \{\backslash \; displaystyle\; r\_\; \{xy\}\}$равны

$rxy\; =\; \sum \; xiyi\; -\; nx\; ¯\; y\; ¯\; nsx\; \prime \; sy\; \prime \; =\; n\; \sum \; xiyi\; -\; \sum \; xi\; \sum \; yin\; \sum \; xi\; 2\; -\; (\sum \; xi)\; 2\; n\; \sum \; yi\; 2\; -\; (\sum \; yi)\; 2.\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{align\}\; r\_\; \{xy\}\; =\; \{\backslash \; frac\; \{\backslash \; sum\; x\_\; \{i\}\; y\_\; \{i\}\; -n\; \{\backslash \; bar\; \{x\}\}\; \{\backslash \; bar\; \{y\}\}\}\; \{ns\text{'}\_\; \{x\}\; s\; \text{'}\_\; \{y\}\}\}\; \backslash \backslash \; [5pt]\; =\; \{\backslash \; frac\; \{n\; \backslash \; sum\; x\_\; \{i\}\; y\_\; \{i\}\; -\; \backslash \; sum\; x\_\; \{i\}\; \backslash \; sum\; y\_\; \{i\}\}\; \{\{\backslash \; sqrt\; \{n\; \backslash \; sum\; x\_\; \{i\}\; ^\; \{2\}\; -\; (\backslash \; sum\; x\_\; \{i\})\; ^\; \{2\}\}\}\; ~\; \{\backslash \; sqrt\; \{n\; \backslash \; sum\; y\_\; \{i\}\; ^\; \{2\}\; -\; (\backslash \; sum\; y\_\; \{\; i\})\; ^\; \{2\}\}\}\}\}.\; \backslash \; end\; \{align\}\}\}$

где $sx\; \prime \; \{\backslash \; displaystyle\; s\; \text{'}\_\; \{x\}\}$и $sy\; \prime \; \{\backslash \; displaystyle\; s\; \text{'}\_\; \{y\}\}$- нескорректированные стандартные отклонения выборки из $X\; \{\backslash \; displaystyle\; X\}$и $Y\; \{\; \backslash \; displaystyle\; Y\}$.

Если $x\; \{\backslash \; displaystyle\; x\}$и $y\; \{\backslash \; displaystyle\; y\}$являются результатами измерений, которые содержат ошибку измерения, реалистичный ограничения на коэффициент корреляции не от -1 до +1, а в меньшем диапазоне. Для случая линейной модели с одной независимой переменной коэффициент детерминации (R в квадрате) является квадратом $rxy\; \{\backslash \; displaystyle\; r\_\; \{xy\}\}$, Коэффициент произведения-момента Пирсона.

Пример

Рассмотрим совместное распределение вероятностей $X\; \{\backslash \; displaystyle\; X\}$и $Y\; \{\backslash \; displaystyle\; Y\}$приведено в таблице ниже.

$п\; \; (X\; =\; x,\; Y\; =\; y)\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{P\}\; (X\; =\; x,\; Y\; =\; y)\}$	$y\; =\; -\; 1\; \{\backslash \; displaystyle\; y\; =\; -1\}$	$y\; =\; 0\; \{\backslash \; displaystyle\; y\; =\; 0\}$	$y\; =\; 1\; \{\backslash \; displaystyle\; y\; =\; 1\}$
$x\; =\; 0\; \{\backslash \; displaystyle\; x\; =\; 0\}$	$0\; \{\backslash \; displaystyle\; 0\}$	$1\; /\; 3\; \{\backslash \; displaystyle\; 1/3\}$	$0\; \{\backslash \; displaystyle\; 0\}$
$x\; =\; 1\; \{\backslash \; displaystyle\; x\; =\; 1\}$	$1/3\; \{\backslash \; displaystyle\; 1/3\}$	$0\; \{\backslash \; displaystyle\; 0\}$	$1/3\; \{\backslash \; displaystyle\; 1/3\}$

Для этого совместного распределения предельные распределения равны:

$P\; \; (X\; =\; x)\; =\; \{1/3\; для\; x\; =\; 0\; 2/3\; для\; x\; =\; 1\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{P\}\; (X\; =\; x)\; =\; \{\backslash \; begin\; \{cases\}\; 1/3\; \backslash \; quad\; \{\backslash \; text\; \{for\}\}\; x\; =\; 0\; \backslash \backslash \; 2/3\; \backslash \; quad\; \{\backslash \; text\; \{\; for\}\}\; x\; =\; 1\; \backslash \; end\; \{cases\}\}\}$

$P\; \; (Y\; =\; y)\; =\; \{1/3\; для\; y\; =\; -\; 1\; 1/3\; для\; y\; =\; 0\; 1/3\; для\; y\; =\; 1\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{P\}\; (Y\; =\; y)\; =\; \{\backslash \; begin\; \{cases\}\; 1/3\; \backslash \; quad\; \{\backslash \; text\; \{for\}\}\; y\; =\; -1\; \backslash \backslash \; 1/3\; \backslash \; quad\; \{\backslash \; text\; \{for\}\}\; y\; =\; 0\; \backslash \backslash \; 1/3\; \backslash \; quad\; \{\backslash \; text\; \{for\}\}\; y\; =\; 1\; \backslash \; end\; \{cases\}\}\}$

Это дает следующие ожидания и отклонения:

$\mu \; X\; =\; 2/3\; \{\backslash \; displaystyle\; \backslash \; mu\; \_\; \{X\}\; =\; 2/3\}$

$\mu \; Y\; =\; 0\; \{\backslash \; displaystyle\; \backslash \; mu\; \_\; \{Y\}\; =\; 0\}$

$\sigma \; Икс\; 2\; =\; 2/9\; \{\backslash \; Displaystyle\; \backslash \; sigma\; \_\; \{X\}\; ^\; \{2\}\; =\; 2/9\}$

$\sigma \; Y\; 2\; =\; 2/3\; \{\backslash \; Displaystyle\; \backslash \; sigma\; \_\; \{Y\}\; ^\; \{2\}\; =\; 2/3\}$

Следовательно:

$\rho \; X,\; Y\; =\; 1\; \sigma \; X\; \sigma \; YE\; \; [(X\; -\; \mu \; X)\; (Y\; -\; \mu \; Y)]\; =\; 1\; \sigma \; X\; \sigma \; Y\; \sum \; x,\; y\; (x\; -\; \mu \; X)\; (y\; -\; \mu \; Y)\; P\; \; (X\; =\; x,\; Y\; =\; y)\; =\; (1\; -\; 2/3)\; (-\; 1\; -\; 0)\; 1\; 3\; +\; (0\; -\; 2\; /\; 3)\; (0–0)\; 1\; 3\; +\; (1–2/3)\; (1–0)\; 1\; 3\; =\; 0.\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{align\}\; \backslash \; rho\; \_\; \{X,\; Y\}\; =\; \{\backslash \; frac\; \{\; 1\}\; \{\backslash \; sigma\; \_\; \{X\}\; \backslash \; sigma\; \_\; \{Y\}\}\}\; \backslash \; operatorname\; \{E\}\; [(X-\; \backslash \; mu\; \_\; \{X\})\; (Y-\; \backslash \; mu\; \_\; \{Y\})]\; \backslash \backslash \; [5pt]\; =\; \{\backslash \; frac\; \{1\}\; \{\backslash \; sigma\; \_\; \{X\}\; \backslash \; sigma\; \_\; \{Y\}\}\}\; \backslash \; sum\; \_\; \{x,\; y\}\; \{(x-\; \backslash \; mu\; \_\; \{X\})\; (y-\; \backslash \; mu\; \_\; \{Y\})\; \backslash \; operatorname\; \{P\}\; (X\; =\; x,\; Y\; =\; y)\}\; \backslash \backslash \; [5pt]\; =\; (1-2\; /\; 3)\; (-\; 1-0)\; \{\backslash \; frac\; \{1\}\; \{3\}\}\; +\; (0-\; 2/3)\; (0-0)\; \{\backslash \; frac\; \{1\}\; \{3\}\}\; +\; (1-2\; /\; 3)\; (1-0)\; \{\backslash \; frac\; \{1\}\; \{3\}\}\; =\; 0.\; \backslash \; end\; \{выровнено\}\; \}\}$

Коэффициенты ранговой корреляции

Коэффициенты ранговой корреляции, такие как коэффициент ранговой корреляции Спирмена и коэффициент ранговой корреляции Кендалла (τ) измеряют степень, в которой, по мере увеличения одной переменной другая переменная имеет тенденцию к увеличению, не требуя этого увеличения должны быть представлены линейной зависимостью. Если по мере увеличения одной переменной другая уменьшается, коэффициенты ранговой корреляции будут отрицательными. Обычно эти коэффициенты ранговой корреляции рассматриваются как альтернативы коэффициенту Пирсона, используемому либо для уменьшения объема вычислений, либо для того, чтобы сделать коэффициент менее чувствительным к ненормальности в распределениях. Однако у этого взгляда мало математического обоснования, поскольку коэффициенты ранговой корреляции измеряют другой тип взаимосвязи, чем коэффициент корреляции продукта-момента Пирсона, и их лучше всего рассматривать как меры другого типа ассоциации, а не как альтернативный показатель коэффициента корреляции населения.

Чтобы проиллюстрировать природу ранговой корреляции и ее отличие от линейной корреляции, рассмотрим следующие четыре пары чисел $(x,\; y)\; \{\backslash \; displaystyle\; (x,\; y)\}$:

(0, 1), (10, 100), (101, 500), (102, 2000).

При переходе от каждой пары к следующей паре $x\; \{\backslash \; displaystyle\; x\}$увеличивается, как и $y\; \{\backslash \; displaystyle\; y\}$. Эта связь идеальна в том смысле, что увеличение $x\; \{\backslash \; displaystyle\; x\}$всегда сопровождается увеличением $y\; \{\backslash \; displaystyle\; y\}$. Это означает, что у нас есть идеальная ранговая корреляция, и коэффициенты корреляции Спирмена и Кендалла равны 1, тогда как в этом примере коэффициент корреляции произведение-момент Пирсона равен 0,7544, что указывает на то, что точки находятся далеко от прямой линии. Таким же образом, если $y\; \{\backslash \; displaystyle\; y\}$всегда уменьшается, когда $x\; \{\backslash \; displaystyle\; x\}$увеличивается, коэффициенты ранговой корреляции будут равны -1, а коэффициент корреляции произведение-момент Пирсона может быть или не быть близким к -1, в зависимости от того, насколько близки точки к прямой. Хотя в крайних случаях идеальной ранговой корреляции оба коэффициента равны (оба +1 или оба -1), обычно это не так, и поэтому значения двух коэффициентов не могут быть осмысленно сравнены. Например, для трех пар (1, 1) (2, 3) (3, 2) коэффициент Спирмена равен 1/2, а коэффициент Кендалла равен 1/3.

Другие меры зависимости между случайными величинами

Информация, предоставляемая коэффициентом корреляции, недостаточна для определения структуры зависимости между случайными величинами. Коэффициент корреляции полностью определяет структуру зависимости только в очень частных случаях, например, когда распределение является многомерным нормальным распределением . (См. Диаграмму выше.) В случае эллиптических распределений он характеризует (гипер-) эллипсы одинаковой плотности; однако он не полностью характеризует структуру зависимости (например, многомерное t-распределение , степени свободы определяют уровень хвостовой зависимости).

Корреляция расстояния была введена для устранения недостатка корреляции Пирсона, заключающейся в том, что она может быть нулевой для зависимых случайных величин; корреляция нулевого расстояния подразумевает независимость.

Рандомизированный коэффициент зависимости - это эффективная с вычислительной точки зрения мера зависимости между многомерными случайными величинами, основанная на копуле. RDC инвариантен по отношению к нелинейным вычислениям случайных величин, способен обнаруживать широкий спектр функциональных паттернов ассоциации и принимает нулевое значение при независимости.

Для двух двоичных переменных отношение шансов измеряет их зависимость и принимает диапазон неотрицательных чисел, возможно бесконечность: $[0,\; +\; \infty ]\; \{\backslash \; displaystyle\; [0,\; +\; \backslash \; infty]\}$. Связанная статистика, такая как Y Юла и Q Юла, нормализует это до корреляционного диапазона $[-\; 1,\; 1]\; \{\backslash \; displaystyle\; [-1,1]\}$. Отношение шансов обобщается с помощью логистической модели для моделирования случаев, когда зависимые переменные являются дискретными и могут быть одна или несколько независимых переменных.

коэффициент корреляции, энтропийный взаимная информация, общая корреляция, двойная общая корреляция и полихорическая корреляция также способны обнаруживать более общие зависимости, как и рассмотрение связки между ними, в то время как коэффициент детерминации обобщает корреляцию коэффициент к множественной регрессии.

Чувствительность к распределению данных

Степень зависимости между переменными $X\; \{\backslash \; displaystyle\; X\}$и $Y\; \{\backslash \; displaystyle\; Y\}$не зависит от масштаба, в котором выражены переменные. То есть, если мы анализируем взаимосвязь между $X\; \{\backslash \; displaystyle\; X\}$и $Y\; \{\backslash \; displaystyle\; Y\}$, на большинство показателей корреляции преобразование $X\; \{\backslash \; displaystyle\; X\}$до a + bX и $Y\; \{\backslash \; displaystyle\; Y\}$до c + dY, где a, b, c и d - константы (b и d положительные). Это верно как для некоторых статистических данных по корреляции, так и для их популяционных аналогов. Некоторые статистические данные корреляции, такие как коэффициент ранговой корреляции, также инвариантны для монотонных преобразований предельных распределений $X\; \{\backslash \; displaystyle\; X\}$и / или $Y\; \{\backslash \; displaystyle\; Y\}$.

Пирсон / Spearman коэффициенты корреляции между $X\; \{\backslash \; displaystyle\; X\}$и $Y\; \{\backslash \; displaystyle\; Y\}$отображаются, когда диапазоны двух переменных не ограничены, и когда диапазон $X\; \{\backslash \; displaystyle\; X\}$ограничен интервалом (0,1).

Большинство Меры корреляции чувствительны к способу выборки $X\; \{\backslash \; displaystyle\; X\}$и $Y\; \{\backslash \; displaystyle\; Y\}$. Зависимости становятся сильнее, если рассматривать их в более широком диапазоне значений. Таким образом, если мы рассмотрим коэффициент корреляции между ростом отцов и их сыновей по всем взрослым мужчинам и сравним его с тем же коэффициентом корреляции, вычисленным, когда отцы выбраны ростом от 165 до 170 см, корреляция будет слабее в последнем случае. Было разработано несколько методов, которые пытаются исправить ограничение диапазона в одной или обеих переменных, и обычно используются в метаанализе; наиболее распространенными являются уравнения Торндайка для случая II и случая III.

Различные используемые меры корреляции могут быть неопределенными для некоторых совместных распределений X и Y. Например, коэффициент корреляции Пирсона определяется в терминах моменты, и, следовательно, будет неопределенным, если моменты не определены. Всегда определяются показатели зависимости на основе квантилей . Статистика на основе выборки, предназначенная для оценки показателей зависимости совокупности, может иметь или не иметь желательные статистические свойства, такие как несмещенная или асимптотическая согласованность, в зависимости от пространственной структуры совокупности, из которой данные были отобраны.

Чувствительность к распределению данных может быть использована с пользой. Например, масштабированная корреляция предназначена для использования чувствительности к диапазону, чтобы выбрать корреляции между быстрыми компонентами временного ряда. Контролируемое сокращение диапазона значений позволяет отфильтровать корреляции в долгой шкале времени, и выявляются только корреляции в короткой шкале времени.

Корреляционные матрицы

Корреляционная матрица $n\; \{\backslash \; displaystyle\; n\}$случайных величин $X\; 1,\dots ,\; X\; n\; \{\backslash \; displaystyle\; X\_\; \{\; 1\},\; \backslash \; ldots,\; X\_\; \{n\}\}$- это матрица $n\; \times \; n\; \{\backslash \; displaystyle\; n\; \backslash \; times\; n\}$, $(i,\; j)\; \{\; \backslash \; displaystyle\; (i,\; j)\}$запись: $corr\; \; (X\; i,\; X\; j)\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{corr\}\; (X\_\; \{i\},\; X\_\; \{j\})\}$. Если используемые меры корреляции являются коэффициентами продукта-момента, матрица корреляции такая же, как ковариационная матрица для стандартизованных случайных величин $X\; i\; /\; \sigma \; (X\; i)\; \{\backslash \; displaystyle\; X\_\; \{i\}\; /\; \backslash \; sigma\; (X\_\; \{i\})\}$для $i\; =\; 1,\dots ,\; n\; \{\backslash \; displaystyle\; i\; =\; 1,\; \backslash \; dots,\; n\}$. Это применимо как к матрице корреляций совокупности (в этом случае $\sigma \; \{\backslash \; displaystyle\; \backslash \; sigma\}$- стандартное отклонение совокупности), так и к матрице корреляций выборки (в этом случае $\sigma \; \{\backslash \; displaystyle\; \backslash \; sigma\}$обозначает стандартное отклонение выборки). Следовательно, каждая обязательно является положительно-полуопределенной матрицей. Более того, корреляционная матрица строго положительно определена, если ни одна переменная не может иметь все свои значения, точно сгенерированные как линейная функция значений других.

Матрица корреляции симметрична, поскольку корреляция между $X\; i\; \{\backslash \; displaystyle\; X\_\; \{i\}\}$и $X\; j\; \{\backslash \; displaystyle\; X\_\; \{j\}\}$совпадает с корреляцией между $X\; j\; \{\backslash \; displaystyle\; X\_\; \{j\}\}$и $X\; i\; \{\backslash \; displaystyle\; X\_\; \{i\}\}$.

матрицей корреляции появляется, например, в одной формуле для коэффициента множественной детерминации, меры согласия в множественной регрессии.

В статистическом моделировании, корреляционные матрицы, представляющие отношения между переменными подразделяются на различные структуры корреляции, которые различаются такими факторами, как количество параметров, необходимых для их оценки. Например, в заменяемой корреляционной матрице все пары переменных моделируются как имеющие одинаковую корреляцию, поэтому все недиагональные элементы матрицы равны друг другу. С другой стороны, авторегрессионная матрица часто используется, когда переменные представляют собой временной ряд, поскольку корреляции, вероятно, будут больше, когда измерения ближе по времени. Другие примеры включают независимый, неструктурированный, M-зависимый и Toeplitz.

Некоррелированность и независимость случайных процессов

Аналогично для двух случайных процессов $\{X\; t\}\; t\; \in \; T\; \{\backslash \; displaystyle\; \backslash \; left\; \backslash \; \{X\_\; \{t\}\; \backslash \; right\; \backslash \}\; \_\; \{\; t\; \backslash \; in\; \{\backslash \; mathcal\; \{T\}\}\}\}$и $\{Y\; t\}\; t\; \in \; T\; \{\backslash \; displaystyle\; \backslash \; left\; \backslash \; \{Y\_\; \{t\}\; \backslash \; right\; \backslash \}\; \_\; \{t\; \backslash \; in\; \{\; \backslash \; mathcal\; \{T\}\}\}\}$: если они независимы, то они некоррелированы.

Распространенные заблуждения

Корреляция и причинно-следственная связь

Обычные изложение, что «корреляция не подразумевает причинно-следственную связь » означает, что корреляция не может использоваться сама по себе для вывода причинно-следственной связи между переменными. Это изречение не следует понимать как то, что корреляции не могут указывать на возможное существование причинно-следственных связей. Однако причины, лежащие в основе корреляции, если таковые имеются, могут быть косвенными и неизвестными, а высокие корреляции также перекрываются с отношениями идентичность (тавтологиями ), где причинно-следственный процесс не существует. Следовательно, корреляция между двумя переменными не является достаточным условием для установления причинной связи (в любом направлении).

Корреляция между возрастом и ростом у детей довольно очевидна с точки зрения причинно-следственной связи, но корреляция между настроением и здоровьем людей менее очевидна. Приводит ли улучшение настроения к улучшению здоровья, или хорошее здоровье приводит к хорошему настроению, или и то, и другое? Или в основе обоих лежит какой-то другой фактор? Другими словами, корреляция может рассматриваться как свидетельство возможной причинной связи, но не может указывать на то, какой может быть причинная связь, если таковая имеется.

Простые линейные корреляции

Четыре набора данных с одинаковой корреляцией 0,816

Коэффициент корреляции Пирсона указывает на силу линейной взаимосвязи между двумя переменными, но его значение обычно не полностью характеризует их взаимосвязь. В частности, если условное среднее для $Y\; \{\backslash \; displaystyle\; Y\}$задано $X\; \{\backslash \; displaystyle\; X\}$, обозначается $E\; \; (Y\; \mid \; X)\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{E\}\; (Y\; \backslash \; mid\; X)\}$, не является линейным в $X\; \{\backslash \; displaystyle\; X\}$, коэффициент корреляции не полностью определяет форму $E\; \; (Y\; \mid \; X)\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{E\}\; (Y\; \backslash \; mid\; X)\}$.

На соседнем изображении показаны диаграммы разброса квартет Анскомба, набор из четырех разных пар переменных, созданный Фрэнсисом Анскомб. Четыре переменных $y\; \{\backslash \; displaystyle\; y\}$имеют одинаковое среднее значение (7,5), дисперсию (4,12), корреляцию (0,816) и линию регрессии (y = 3 + 0,5x). Однако, как видно на графиках, распределение переменных сильно отличается. Первый (вверху слева), кажется, распределен нормально и соответствует тому, что можно было бы ожидать, рассматривая две коррелированные переменные и следуя предположению о нормальности. Второй (вверху справа) не распространяется нормально; Хотя можно наблюдать очевидную связь между двумя переменными, она не является линейной. В этом случае коэффициент корреляции Пирсона не указывает на то, что существует точная функциональная связь: только степень, в которой эта связь может быть аппроксимирована линейной зависимостью. В третьем случае (внизу слева) линейная зависимость идеальна, за исключением одного выброса , который оказывает достаточное влияние, чтобы снизить коэффициент корреляции с 1 до 0,816. Наконец, четвертый пример (внизу справа) показывает другой пример, когда одного выброса достаточно для получения высокого коэффициента корреляции, даже если связь между двумя переменными не является линейной.

Эти примеры показывают, что коэффициент корреляции, как сводная статистика, не может заменить визуальный анализ данных. Иногда говорят, что примеры демонстрируют, что корреляция Пирсона предполагает, что данные следуют нормальному распределению, но это неверно.

Двумерное нормальное распределение

Если пара $(X,\; Y)\; \{\backslash \; displaystyle\; (X,\; Y)\}$случайных величин следует двумерному нормальному распределению, условному среднему $E\; \; (X\; \mid \; Y)\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{E\}\; (X\; \backslash \; mid\; Y)\}$является линейной функцией от $Y\; \{\backslash \; displaystyle\; Y\}$и условного среднего $E\; \; (Y\; \mid \; X)\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{E\}\; (Y\; \backslash \; mid\; X)\}$- линейная функция от $X\; \{\backslash \; displaystyle\; X\}$. Коэффициент корреляции $\rho \; X,\; Y\; \{\backslash \; displaystyle\; \backslash \; rho\; \_\; \{X,\; Y\}\}$между $X\; \{\backslash \; displaystyle\; X\}$и $Y\; \{\; \backslash \; displaystyle\; Y\}$вместе с маргинальным средним значением и дисперсией $X\; \{\backslash \; displaystyle\; X\}$и $Y\; \{\backslash \; displaystyle\; Y\}$, определяет эту линейную зависимость:

$E\; \; (Y\; \mid \; X)\; =\; E\; \; (Y)\; +\; \rho \; X,\; Y\; \cdot \; \sigma \; YX\; -\; E\; \; (X)\; \sigma \; X,\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{E\}\; (Y\; \backslash \; mid\; X)\; =\; \backslash \; operatorname\; \{E\}\; (Y)\; +\; \backslash \; rho\; \_\; \{X,\; Y\}\; \backslash \; cdot\; \backslash \; sigma\; \_\; \{Y\}\; \{\backslash \; frac\; \{X-\; \backslash \; operatorname\; \{E\}\; (X)\}\; \{\backslash \; sigma\; \_\; \{X\}\}\},\}$

где $E\; \; (X)\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{E\}\; (X)\}$и $E\; \; (Y)\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{E\}\; (Y)\}$- ожидаемые значения для $X\; \{\backslash \; displaystyle\; X\}$и соответственно, и $\sigma \; X\; \{\backslash \; displaystyle\; \backslash \; sigma\; \_\; \{X\}\}$и $\sigma \; Y\; \{\backslash \; displaystyle\; \backslash \; sigma\; \_\; \{Y\}\}$- стандартные отклонения $X\; \{\backslash \; displaystyle\; X\}$и $Y\; \{\backslash \; displaystyle\; Y\}$, соответственно тивно.

См. Также

• Портал математики

• Автокорреляция
• Каноническая корреляция
• Коэффициент детерминации
• Коинтеграция
• Коэффициент корреляции согласованности
• Кофенетическая корреляция
• Функция корреляции
• Корреляционный разрыв
• Ковариация
• Ковариация и корреляция
• Кросс-корреляция
• Экологическая корреляция
• Неопределенная доля дисперсии
• Генетическая корреляция
• Лямбда Гудмана и Крускала
• Иллюзорная корреляция
• Межклассовая корреляция
• Внутриклассовая корреляция
• Подъем (интеллектуальный анализ данных)
• Средняя зависимость
• Модифицируемая проблема площадных единиц
• Множественная корреляция
• Коэффициент точечной-бисериальной корреляции
• Отношение числа квадрантов
• Ложная корреляция
• Статистический арбитраж
• Субзависимость

Ссылки

Дополнительная литература

• Cohen, J.; Cohen P.; Вест, С.Г. Айкен, Л.С. (2002). Применял множественный регрессионный / корреляционный анализ для поведенческих наук (3-е изд.). Психология Press. ISBN 978-0-8058-2223-6.
• , Энциклопедия математики, EMS Press, 2001 [1994]
• Oestreicher, J. DR (26 февраля 2015 г.). Plague of Equals: научный триллер о международных болезнях, политике и открытиях лекарств. Калифорния: Omega Cat Press. п. 408. ISBN 978-0963175540.

Внешние ссылки

Искать корреляция или зависимость в Викисловаре, бесплатном словаре.

Викискладе есть материалы, связанные с корреляцией.

Викиверситет имеет учебные ресурсы по корреляции

• страница MathWorld на (перекрестный-) коэффициент корреляции / с выборки
• Вычислить значимость между двумя корреляциями для сравнения двух значений корреляции.
• Набор инструментов MATLAB для вычисления взвешенных коэффициентов корреляции
• [1] Доказательство- that-the-Sample-Bivariate-Correlation-has-limits-plus-or-minus-1
• Interactive Flash simulation on the correlation of two normally distributed variables by Juha Puranen.
• Correlation analysis. Biomedical Statistics
• R-Psychologist Correlation visualization of correlation between two numeric variables