Статистическое расстояние

В статистике, теории вероятностей и теории информации, статистическое расстояние количественно определяет расстояние между двумя статистическими объектами, которое может быть двумя случайными величинами или двумя распределениями вероятностей или выборки, или расстояние может быть между отдельной точкой выборки и генеральной совокупностью или более широкой выборкой точек.

Расстояние между популяциями можно интерпретировать как измерение расстояния между двумя распределениями вероятностей, и, следовательно, они по существу являются мерой расстояний между мерами вероятности. Если меры статистического расстояния связаны с различиями между случайными величинами, они могут иметь статистическую зависимость, и, следовательно, эти расстояния не связаны напрямую с измерениями расстояний между мерами вероятности. Опять же, мера расстояния между случайными величинами может относиться к степени зависимости между ними, а не к их индивидуальным значениям.

Статистические меры расстояния в большинстве случаев не являются метриками, и они не обязательно должны быть симметричными. Некоторые типы мер расстояния называются (статистическими) расхождениями.

• 1 Терминология
• 2 Расстояния как метрики
  • 2.1 Метрики
  • 2.2 Обобщенные метрики
• 3 Примеры
• 4 См. Также
• 5 Примечания
• 6 Внешние ссылки
• 7 Ссылки

Многие термины используются для обозначения различных понятий расстояния; они часто до степени смешения схожи и могут непоследовательно использоваться авторами и с течением времени, либо вольно, либо с точным техническим значением. Помимо «расстояния», аналогичные термины включают отклонение, отклонение, несоответствие, дискриминацию и расхождение, а также другие подобные как функция контраста и метрическая. Термины из теории информации включают в себя перекрестную энтропию, относительную энтропию, информацию о различении и получение информации.

Метрики

A метрика на множестве X - это функция (называемая функцией расстояния или просто расстояние )

d: X × X → R (где R - это набор неотрицательных действительных чисел ). Для всех x, y, z в X эта функция требуется, чтобы удовлетворять следующим условиям:

1. d (x, y) ≥ 0 (неотрицательность )
2. d (x, y) = 0 тогда и только тогда, когда x = y (идентичность неразличимых. Обратите внимание, что условие 1 и 2 вместе дают положительную определенность )
3. d (x, y) = d (y, x) (симметрия )
4. d (x, z) ≤ d (x, y) + d ( y, z) (субаддитивность / неравенство треугольника ).

Обобщенные показатели

Многие статистические расстояния не являются метриками, потому что им не хватает одного или нескольких свойств правильные показатели. Например, псевдометрия нарушает «положительную определенность » (alte rnative, "идентичность неразличимых объектов" ) свойство (1 и 2 выше); квазиметрики нарушают свойство симметрии (3); и полуметрики нарушают неравенство треугольника (4). Статистические расстояния, удовлетворяющие (1) и (2), называются расхождениями.

Некоторые важные статистические расстояния включают следующее:

• f-расхождение : включает
  • Дивергенция Кульбака – Лейблера
  • Расстояние Хеллингера
  • Расстояние полной вариации (иногда просто «статистическое расстояние»)
• Дивергенция Реньи
• Дивергенция Дженсена – Шеннона
• Метрика Леви – Прохорова
• Расстояние Бхаттачарьи
• метрика Вассерштейна : также известная как метрика Канторовича или расстояние землечерпалки
• Статистика Колмогорова – Смирнова представляет собой расстояние между двумя распределениями вероятностей, определенными на единственная действительная переменная
• максимальное среднее расхождение, которое определяется в терминах встраивания распределений в ядро ​​

Другие подходы

• Отношение сигнал / шум расстояние
• расстояние Махаланобиса
• Энергетическое расстояние
  • Корреляция расстояний - это мера зависимости между двумя случайными величинами, она равна нулю, если и только если случайные величины независимы.
• Непрерывный ранжированный показатель вероятности измеряет, насколько хорошо прогнозы, выраженные в виде распределений вероятностей, соответствуют наблюдаемым результатам. Как местоположение, так и разброс прогнозного распределения учитываются при оценке того, насколько близко распределение является наблюдаемым значением: см. вероятностное прогнозирование.
• метрика Лукашика – Кармовского - это функция, определяющая расстояние между двумя случайные величины или два случайных вектора. Он не удовлетворяет условию тождества неразличимых метрики и равен нулю тогда и только тогда, когда оба его аргумента являются определенными событиями, описываемыми дельта Дирака плотность функции распределения вероятностей.

• Вероятностное метрическое пространство

• Меры расстояния и сходства (Wolfram Alpha)

• Dodge, Y. (2003) Oxford Dictionary of Statistical Условия, ОУП. ISBN 0-19-920613-9