В теории вероятностей и статистике математические концепции ковариация и корреляция очень похожи. Оба описывают степень, в которой две случайные величины или наборы случайных величин имеют тенденцию сходным образом отклоняться от своих ожидаемых значений.
Если X и Y - две случайные величины, с означает (ожидаемые значения) μ X и μ Y и стандартные отклонения σ X и σ Y соответственно, то их ковариация и корреляция будут следующими:
так, чтобы
где E - оператор ожидаемого значения. Примечательно, что корреляция безразмерная, тогда как ковариация выражается в единицах, полученных путем умножения единиц двух переменных.
Если Y всегда принимает те же значения, что и X, мы имеем ковариацию переменной с самой собой (например, ), которая называется дисперсией и чаще обозначается как квадрат стандартное отклонение. Корреляция переменной с самой собой всегда равна 1 (за исключением вырожденного случая, где две дисперсии равны нулю, потому что X всегда принимает одно и то же единственное значение, и в этом случае корреляция не существует, поскольку ее вычисление включают деление на 0 ). В более общем плане корреляция между двумя переменными равна 1 (или –1), если одна из них всегда принимает значение, которое точно задается линейной функцией другой с соответственно положительным (или отрицательным) наклон.
Хотя значения теоретических ковариаций и корреляций связаны указанным выше способом, распределения вероятностей выборочных оценок этих величин не связаны каким-либо простым способом, и их обычно необходимо рассматривать отдельно.
При любом количестве случайных величин, превышающем 1, переменные могут быть сложены в случайный вектор, элемент i которого является случайной величиной i. Затем дисперсии и ковариации можно поместить в ковариационную матрицу , в которой элемент (i, j) представляет собой ковариацию между случайной величиной i и переменной j. Точно так же корреляции могут быть помещены в матрицу корреляции .
В случае временных рядов, которые стационарны в в широком смысле, как средние, так и дисперсии постоянны во времени (E (X n + m) = E (X n) = μ X и var ( X n + m) = var (X n) и аналогично для переменной Y). В этом случае кросс-ковариация и взаимная корреляция являются функциями разницы во времени:
Если Y - та же переменная, что и X, приведенные выше выражения называются автоковариацией и автокорреляцией: