Расстояние Махаланобиса

редактировать

Расстояние Махаланобиса является мерой расстояния между точкой Р и распределениями D, введенным П. С. Махаланобиса в 1936 г. Это многомерное обобщение идеи измерения, сколько стандартных отклонения расстояния Р находится от среднего значения из D. Это расстояние равно нулю для P при среднем значении D и увеличивается по мере удаления P от среднего значения вдоль каждой оси главного компонента. Если каждая из этих осей масштабируется, чтобы иметь единичную дисперсию, то расстояние Махаланобиса соответствует стандартному евклидову расстоянию в преобразованном пространстве. Махаланобиса расстояние, таким образом, безразмерное, масштабно-инвариантный, и принимает во внимание корреляции на наборе данных.

СОДЕРЖАНИЕ

1 Определение и свойства
2 Интуитивное объяснение
3 Нормальные распределения
4 Связь с нормальными случайными величинами
5 Связь с кредитным плечом
6 приложений
7 Программные реализации
8 См. Также
9 ссылки
10 Внешние ссылки

Определение и свойства

Расстояние Махаланобиса для наблюдения из набора наблюдений со средним значением и ковариационной матрицей S определяется как ${\ displaystyle {\ vec {x}} = (x_ {1}, x_ {2}, x_ {3}, \ dots, x_ {N}) ^ {\ mathsf {T}}}$ ${\ displaystyle {\ vec {x}} = (x_ {1}, x_ {2}, x_ {3}, \ dots, x_ {N}) ^ {\ mathsf {T}}}$ ${\ displaystyle {\ vec {\ mu}} = (\ mu _ {1}, \ mu _ {2}, \ mu _ {3}, \ dots, \ mu _ {N}) ^ {\ mathsf {T }}}$ ${\ displaystyle {\ vec {\ mu}} = (\ mu _ {1}, \ mu _ {2}, \ mu _ {3}, \ dots, \ mu _ {N}) ^ {\ mathsf {T }}}$

{\ displaystyle D_ {M} ({\ vec {x}}) = {\ sqrt {({\ vec {x}} - {\ vec {\ mu}}) ^ {\ mathsf {T}} \ mathbf { S} ^ {- 1} ({\ vec {x}} - {\ vec {\ mu}})}}.}

{\ displaystyle D_ {M} ({\ vec {x}}) = {\ sqrt {({\ vec {x}} - {\ vec {\ mu}}) ^ {\ mathsf {T}} \ mathbf { S} ^ {- 1} ({\ vec {x}} - {\ vec {\ mu}})}}.}

Расстояние Махаланобиса (или «обобщенный квадрат межточечного расстояния» для его значения в квадрате) также можно определить как меру несходства между двумя случайными векторами и одного и того же распределения с ковариационной матрицей : ${\ displaystyle {\ vec {x}}}$ ${\ vec {x}}$ ${\ displaystyle {\ vec {y}}}$ ${\ vec {y}}$ ${\ displaystyle \ mathbf {S}}$ $\ mathbf {S}$

{\ displaystyle d ({\ vec {x}}, {\ vec {y}}) = {\ sqrt {({\ vec {x}} - {\ vec {y}}) ^ {\ mathsf {T} } \ mathbf {S} ^ {- 1} ({\ vec {x}} - {\ vec {y}})}}.}.

{\ displaystyle d ({\ vec {x}}, {\ vec {y}}) = {\ sqrt {({\ vec {x}} - {\ vec {y}}) ^ {\ mathsf {T} } \ mathbf {S} ^ {- 1} ({\ vec {x}} - {\ vec {y}})}}.}.

Как и ковариационная матрица, она является положительно полуопределенной, и обратная к положительной полуопределенной матрице также является положительно полуопределенной, у нас она также является положительно полуопределенной. Это объясняет, почему можно извлечь квадратный корень, поскольку все значения положительны. ${\ displaystyle \ mathbf {S}}$ $\ mathbf {S}$ ${\ displaystyle \ mathbf {S} ^ {- 1}}$ ${\ mathbf {S}} ^ {{- 1}}$

Если ковариационная матрица является единичной матрицей, расстояние Махаланобиса сокращается до евклидова расстояния. Если ковариационная матрица диагональна, то полученная мера расстояния называется стандартизированным евклидовым расстоянием:

{\ displaystyle d ({\ vec {x}}, {\ vec {y}}) = {\ sqrt {\ sum _ {i = 1} ^ {N} {\ frac {(x_ {i} -y_ { i}) ^ {2}} {s_ {i} ^ {2}}}}},}

{\ displaystyle d ({\ vec {x}}, {\ vec {y}}) = {\ sqrt {\ sum _ {i = 1} ^ {N} {\ frac {(x_ {i} -y_ { i}) ^ {2}} {s_ {i} ^ {2}}}}},}

где s i - стандартное отклонение значений x i и y i по набору образцов.

Расстояние Махаланобиса сохраняется при линейных преобразованиях полного ранга пространства, охватываемого данными. Это означает, что если данные имеют нетривиальное нулевое пространство, расстояние Махаланобиса можно вычислить после проецирования данных (невырожденным образом) вниз на любое пространство соответствующего измерения для данных.

Мы можем найти полезные разложения квадрата расстояния Махаланобиса, которые помогают объяснить некоторые причины исключительности многомерных наблюдений, а также предоставляют графический инструмент для выявления выбросов.

Интуитивное объяснение

Рассмотрим задачу оценки вероятности того, что контрольная точка в N -мерном евклидовом пространстве принадлежит множеству, где нам даны выборочные точки, которые определенно принадлежат этому набору. Нашим первым шагом было бы найти центроид или центр масс точек выборки. Интуитивно понятно, что чем ближе рассматриваемая точка к этому центру масс, тем больше вероятность, что она принадлежит множеству.

Однако нам также необходимо знать, распространяется ли набор на большой или малый диапазон, чтобы мы могли решить, заслуживает внимания данное расстояние от центра. Упрощенный подход заключается в оценке стандартного отклонения расстояний между точками отбора проб от центра масс. Если расстояние между контрольной точкой и центром масс меньше одного стандартного отклонения, то мы можем сделать вывод, что весьма вероятно, что контрольная точка принадлежит набору. Чем дальше он находится, тем больше вероятность того, что контрольную точку не следует классифицировать как принадлежащую к набору.

Этот интуитивный подход может быть сделан количественным путем определения нормализованного расстояния между контрольной точкой и множеством, чтобы быть, который гласит:. Подключив это к нормальному распределению, мы можем получить вероятность того, что контрольная точка принадлежит набору. ${\ displaystyle {\ frac {\ lVert x- \ mu \ rVert _ {2}} {\ sigma}}}$ ${\ displaystyle {\ frac {\ lVert x- \ mu \ rVert _ {2}} {\ sigma}}}$ ${\ displaystyle {\ frac {{\ text {testpoint}} - {\ text {sample mean}}} {\ text {стандартное отклонение}}}}$ ${\ displaystyle {\ frac {{\ text {testpoint}} - {\ text {sample mean}}} {\ text {стандартное отклонение}}}}$

Недостатком описанного выше подхода было то, что мы предположили, что точки выборки распределены вокруг центра масс сферически. Если бы распределение было явно несферическим, например эллипсоидальным, то можно было бы ожидать, что вероятность того, что контрольная точка принадлежит набору, будет зависеть не только от расстояния от центра масс, но и от направления. В тех направлениях, где эллипсоид имеет короткую ось, контрольная точка должна быть ближе, а в тех, где ось длинная, контрольная точка может быть дальше от центра.

Рассматривая это на математической основе, эллипсоид, который лучше всего представляет распределение вероятностей набора, может быть оценен путем построения ковариационной матрицы выборок. Расстояние Махаланобиса - это расстояние между контрольной точкой от центра масс, деленное на ширину эллипсоида в направлении контрольной точки.

Нормальные распределения

Для нормального распределения в любом количестве измерений плотность вероятности наблюдения однозначно определяется расстоянием Махаланобиса: ${\ displaystyle {\ vec {x}}}$ ${\ vec {x}}$ ${\ displaystyle d}$ $d$

{\ displaystyle \ Pr [{\ vec {x}}] \, d {\ vec {x}} = {\ frac {1} {\ sqrt {\ det (2 \ pi \ mathbf {S})}}} \ exp \ left (- {\ frac {({\ vec {x}} - {\ vec {\ mu}}) ^ {\ mathsf {T}} \ mathbf {S} ^ {- 1} ({\ vec {x}} - {\ vec {\ mu}})} {2}} \ right) \, d {\ vec {x}} = {\ frac {1} {\ sqrt {\ det (2 \ pi \ mathbf {S})}}} \ exp (-d ^ {2} / 2) \, d {\ vec {x}}.}

{\ displaystyle \ Pr [{\ vec {x}}] \, d {\ vec {x}} = {\ frac {1} {\ sqrt {\ det (2 \ pi \ mathbf {S})}}} \ exp \ left (- {\ frac {({\ vec {x}} - {\ vec {\ mu}}) ^ {\ mathsf {T}} \ mathbf {S} ^ {- 1} ({\ vec {x}} - {\ vec {\ mu}})} {2}} \ right) \, d {\ vec {x}} = {\ frac {1} {\ sqrt {\ det (2 \ pi \ mathbf {S})}}} \ exp (-d ^ {2} / 2) \, d {\ vec {x}}.}

В частности, следует распределение хи-квадрат со степенями свободы, где - количество измерений нормального распределения. Например, если количество измерений равно 2, вероятность того, что конкретное вычисленное значение меньше некоторого порогового значения, равна. Чтобы определить порог для достижения определенной вероятности, используйте, для 2 измерений. Для количества измерений, отличных от 2, следует обращаться к кумулятивному распределению хи-квадрат. ${\ displaystyle d ^ {2}}$ $г ^ {2}$ ${\ displaystyle n}$ $п$ ${\ displaystyle n}$ $п$ ${\ displaystyle d}$ $d$ ${\ displaystyle t}$ $т$ ${\ Displaystyle 1-е ^ {- т ^ {2} / 2}}$ ${\ Displaystyle 1-е ^ {- т ^ {2} / 2}}$ ${\ displaystyle p}$ $п$ ${\ displaystyle t = {\ sqrt {-2 \ ln (1-p)}}}$ ${\ displaystyle t = {\ sqrt {-2 \ ln (1-p)}}}$

В нормальном распределении область, где расстояние Махаланобиса меньше единицы (то есть область внутри эллипсоида на расстоянии один), как раз является областью, где распределение вероятности вогнуто.

Расстояние Махаланобиса для нормального распределения пропорционально квадратному корню из отрицательного логарифмического правдоподобия (после добавления константы, чтобы минимум был равен нулю).

Связь с нормальными случайными величинами

В общем, учитывая нормальную ( гауссовскую ) случайную величину с дисперсией и средним значением, любую другую нормальную случайную величину (со средним значением и дисперсией) можно определить в терминах уравнения. И наоборот, для восстановления нормализованной случайной величины из любой нормальной случайной величины, обычно можно решить. Если возвести обе стороны в квадрат и извлечь квадратный корень, мы получим уравнение для метрики, которое очень похоже на расстояние Махаланобиса: ${\ displaystyle X}$ $Икс$ ${\ displaystyle S = 1}$ $S = 1$ ${\ displaystyle \ mu = 0}$ $\ mu = 0$ ${\ displaystyle R}$ $р$ ${\ displaystyle \ mu _ {1}}$ $\ mu _ {1}$ ${\ displaystyle S_ {1}}$ $S_ {1}$ ${\ displaystyle X}$ $Икс$ ${\ displaystyle R = \ mu _ {1} + {\ sqrt {S_ {1}}} X.}$ $R = \ mu_1 + \ sqrt {S_1} X.$ ${\ displaystyle X = (R- \ mu _ {1}) / {\ sqrt {S_ {1}}}}$ $X = (R - \ mu_1) / \ sqrt {S_1}$

{\ displaystyle D = {\ sqrt {X ^ {2}}} = {\ sqrt {(R- \ mu _ {1}) ^ {2} / S_ {1}}} = {\ sqrt {(R- \ mu _ {1}) S_ {1} ^ {- 1} (R- \ mu _ {1})}}.}

{\ displaystyle D = {\ sqrt {X ^ {2}}} = {\ sqrt {(R- \ mu _ {1}) ^ {2} / S_ {1}}} = {\ sqrt {(R- \ mu _ {1}) S_ {1} ^ {- 1} (R- \ mu _ {1})}}.}

Результирующая величина всегда неотрицательна и изменяется в зависимости от расстояния данных от среднего, атрибутов, которые удобны при попытке определить модель для данных.

Отношение к кредитному плечу

Основная статья: Кредитное плечо (статистика) § Расстояние Махаланобиса

Расстояние Махаланобиса тесно связано с рычажной статистики,, но имеет другой масштаб: ${\ displaystyle h}$ $час$

{\ displaystyle D ^ {2} = (N-1) (h - {\ tfrac {1} {N}}).}

{\ displaystyle D ^ {2} = (N-1) (h - {\ tfrac {1} {N}}).}

Приложения

Определение Махаланобиса было вызвано проблемой выявления сходства черепов на основе измерений в 1927 году.

Расстояние Махаланобиса широко используется в методах кластерного анализа и классификации. Он тесно связан с распределением Т-квадрата Хотеллинга, используемым для многомерного статистического тестирования, и линейным дискриминантным анализом Фишера, который используется для контролируемой классификации.

Чтобы использовать расстояние Махаланобиса для классификации контрольной точки как принадлежащей к одному из N классов, сначала оценивается ковариационная матрица каждого класса, обычно на основе выборок, принадлежащих каждому классу. Затем по тестовой выборке вычисляется расстояние Махаланобиса до каждого класса и классифицируется тестовая точка как принадлежащая к тому классу, для которого расстояние Махаланобиса минимально.

Расстояние Махаланобиса и плечо часто используются для обнаружения выбросов, особенно при разработке моделей линейной регрессии. Точка, которая имеет большее расстояние Махаланобиса от остальной части выборочной совокупности точек, считается имеющей более высокий рычаг, поскольку она имеет большее влияние на наклон или коэффициенты уравнения регрессии. Расстояние Махаланобиса также используется для определения многомерных выбросов. Для определения того, является ли конкретный случай в выборочной совокупности выбросом, можно использовать методы регрессии с помощью комбинации двух или более переменных оценок. Даже для нормальных распределений точка может быть многомерным выбросом, даже если это не одномерный выброс для какой-либо переменной (например, рассмотрим плотность вероятности, сосредоточенную вдоль линии), что делает расстояние Махаланобиса более чувствительной мерой, чем индивидуальная проверка размеров. ${\ displaystyle x_ {1} = x_ {2}}$ $х_ {1} = х_ {2}$

Программные реализации

Многие программы и статистические пакеты, такие как R, Python и т. Д., Включают реализации расстояния Махаланобиса.

Язык / программа	Функция	Ref.
р	`mahalanobis(x, center, cov, inverted = FALSE,...)`	[1]
SciPy ( Python )	`mahalanobis(u, v, VI)`	[2]
Юля	`mahalanobis(x, y, Q)`	[3]

Смотрите также

Дивергенция Брегмана (расстояние Махаланобиса является примером дивергенции Брегмана)
Связанное расстояние Бхаттачарьи, для измерения сходства между наборами данных (а не между точкой и набором данных)
Расстояние Хэмминга идентифицирует побитовое различие двух строк.
Расстояние Хеллингера, также мера расстояния между наборами данных
Обучение схожести для других подходов к изучению метрики расстояния на примерах.

использованная литература

внешние ссылки

«Расстояние Махаланобиса», Математическая энциклопедия, EMS Press, 2001 [1994]
Дистанционное обучение Махаланобиса - интерактивная онлайн-программа и вычисления в электронных таблицах
Расстояние Махаланобиса (17 ноября 2006 г.) - обзор расстояния Махаланобиса, включая код MATLAB
Что такое расстояние Махаланобиса? - интуитивно понятное иллюстрированное объяснение от Рика Виклина на blogs.sas.com