Расстояние Хеллингера

В вероятности и статистике, расстояние Хеллингера (тесно связано, хотя и отличается от Расстояние Бхаттачарьи ) используется для количественной оценки сходства между двумя распределениями вероятностей. Это разновидность f-дивергенции. Расстояние Хеллингера определяется в терминах интеграла Хеллингера, который был введен Эрнстом Хеллингером в 1909 году.

• 1 Определение
  • 1.1 Теория меры
  • 1.2 Теория вероятностей с использованием меры Лебега
  • 1.3 Дискретные распределения
• 2 Свойства
• 3 Связь с полным изменением расстояния
• 4 См. Также
• 5 Примечания
• 6 Ссылки

Теория меры

Чтобы определить расстояние Хеллингера в терминах теории меры, пусть P и Q обозначают две вероятностные меры, которые абсолютно непрерывны относительно третьей вероятностной меры λ. Квадрат расстояния Хеллингера между P и Q определяется как величина

$H\; 2\; (P,\; Q)\; =\; 1\; 2\; \int \; (d\; P\; d\; \lambda \; -\; d\; Q\; d\; \lambda )\; 2\; d\; \lambda .\; \{\backslash \; displaystyle\; H\; ^\; \{2\}\; (P,\; Q)\; =\; \{\backslash \; frac\; \{1\}\; \{2\}\}\; \backslash \; displaystyle\; \backslash \; int\; \backslash \; left\; (\{\backslash \; sqrt\; \{\backslash \; frac\; \{dP\}\; \{d\; \backslash \; lambda\}\}\}\; -\; \{\backslash \; sqrt\; \{\backslash \; frac\; \{dQ\}\; \{d\; \backslash \; lambda\}\}\}\; \backslash \; right)\; ^\; \{2\}\; d\; \backslash \; lambda.\}$

Здесь dP / dλ и dQ / dλ - производные Радона – Никодима из P и Q соответственно. Это определение не зависит от λ, поэтому расстояние Хеллингера между P и Q не изменится, если λ заменить другой вероятностной мерой, относительно которой P и Q абсолютно непрерывны. Для компактности приведенная выше формула часто записывается как

$H\; 2\; (P,\; Q)\; =\; 1\; 2\; \int \; (d\; P\; -\; d\; Q)\; 2.\; \{\backslash \; displaystyle\; H\; ^\; \{2\}\; (P,\; Q)\; =\; \{\backslash \; frac\; \{1\}\; \{2\}\}\; \backslash \; int\; \backslash \; left\; (\{\backslash \; sqrt\; \{dP\}\}\; -\; \{\backslash \; sqrt\; \{dQ\}\}\; \backslash \; right)\; ^\; \{2\; \}.\}$

Теория вероятностей с использованием меры Лебега

Чтобы определить расстояние Хеллингера в терминах элементарной теории вероятностей, мы берем λ как меру Лебега, так что dP / dλ и dQ / dλ - это просто функции плотности вероятности. Если обозначить плотности как f и g, соответственно, квадрат расстояния Хеллингера можно выразить в виде стандартного интеграла исчисления

$H\; 2\; (f,\; g)\; =\; 1\; 2\; \int \; (f\; (x)\; -\; g\; (x))\; 2\; dx\; =\; 1\; -\; \int \; е\; (x)\; g\; (x)\; dx,\; \{\backslash \; displaystyle\; H\; ^\; \{2\}\; (f,\; g)\; =\; \{\backslash \; frac\; \{1\}\; \{2\}\}\; \backslash \; int\; \backslash \; left\; (\{\backslash \; sqrt\; \{f\; (\; x)\}\}\; -\; \{\backslash \; sqrt\; \{g\; (x)\}\}\; \backslash \; right)\; ^\; \{2\}\; \backslash ,\; dx\; =\; 1-\; \backslash \; int\; \{\backslash \; sqrt\; \{f\; (x)\; g\; (x)\}\}\; \backslash ,\; dx,\}$

, где вторая форма может быть получена путем расширения квадрата и использования того факта, что интеграл плотности вероятности по его области равен 1.

Расстояние Хеллингера H (P, Q) удовлетворяет свойству (выводимое из неравенства Коши – Шварца )

$0\; \le \; H\; (P,\; Q)\; \le \; 1.\; \{\backslash \; displaystyle\; 0\; \backslash \; leq\; H\; (P,\; Q)\; \backslash \; leq\; 1.\}$

Дискретные распределения

Для двух дискретных распределений вероятностей $P\; =\; (p\; 1,\dots ,\; pk)\; \{\backslash \; displaystyle\; P\; =\; (p\_\; \{1\},\; \backslash \; ldots,\; p\_\; \{k\})\}$и $Q\; =\; (q\; 1,\dots ,\; qk)\; \{\backslash \; displaystyle\; Q\; =\; (q\_\; \{1\},\; \backslash \; ldots,\; q\_\; \{k\})\}$, их расстояние Хеллингера определяется как

$H\; (P,\; Q)\; =\; 1\; 2\; \sum \; i\; =\; 1\; k\; (pi\; -\; qi)\; 2,\; \{\backslash \; displaystyle\; H\; (P,\; Q)\; =\; \{\backslash \; frac\; \{1\}\; \{\backslash \; sqrt\; \{2\}\}\}\; \backslash ;\; \{\backslash \; sqrt\; \{\backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{k\}\; (\{\backslash \; sqrt\; \{p\_\; \{i\}\}\}\; -\; \{\backslash \; sqrt\; \{q\_\; \{i\}\}\})\; ^\; \{2\}\}\},\}$

который напрямую связан с евклидовой нормой разности векторов квадратного корня, т.е.

$H\; (P,\; Q)\; =\; 1\; 2\; \Vert \; P\; -\; Q\; \Vert \; 2.\; \{\backslash \; displaystyle\; H\; (P,\; Q)\; =\; \{\backslash \; frac\; \{1\}\; \{\backslash \; sqrt\; \{2\}\}\}\; \backslash ;\; \{\backslash \; bigl\; \backslash \; |\}\; \{\backslash \; sqrt\; \{P\}\}\; -\; \{\backslash \; sqrt\; \{Q\}\}\; \{\backslash \; bigr\; \backslash \; |\}\; \_\; \{2\}.\}$

Кроме того, $1\; -\; H\; 2\; (P,\; Q)\; =\; \sum \; i\; =\; 1\; kpiqi.\; \{\backslash \; displaystyle\; 1-H\; ^\; \{2\}\; (P,\; Q)\; =\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{k\}\; \{\backslash \; sqrt\; \{p\_\; \{i\}\; q\_\; \{i\}\}\}.\}$

Расстояние Хеллингера образует ограниченную метрику на пространстве вероятностных распределений в заданном вероятностном пространстве.

Максимальное расстояние 1 достигается, когда P присваивает нулевую вероятность каждому набору, которому Q присваивает положительную вероятность, и наоборот.

Иногда множитель $1/2\; \{\backslash \; displaystyle\; 1\; /\; \{\backslash \; sqrt\; \{2\}\}\}$перед интегралом опускается, и в этом случае расстояние Хеллингера варьируется от от нуля до квадратного корня из двух.

Расстояние Хеллингера связано с коэффициентом Бхаттачарьи $BC\; (P,\; Q)\; \{\backslash \; displaystyle\; BC\; (P,\; Q)\}$как это может быть определяется как

$H\; (P,\; Q)\; =\; 1\; -\; BC\; (P,\; Q).\; \{\backslash \; displaystyle\; H\; (P,\; Q)\; =\; \{\backslash \; sqrt\; \{1-BC\; (P,\; Q)\}\}.\}$

расстояния Хеллингера используются в теории последовательной и асимптотической статистики..

Квадрат расстояния Хеллингера между двумя нормальными распределениями $P\; \sim \; N\; (\mu \; 1,\; \sigma \; 1\; 2)\; \{\backslash \; displaystyle\; \backslash \; scriptstyle\; P\; \backslash ,\; \backslash \; sim\; \backslash ,\; \{\backslash \; mathcal\; \{N\}\}\; (\backslash \; му\; \_\; \{1\},\; \backslash \; sigma\; \_\; \{1\}\; ^\; \{2\})\}$и $Q\; \sim \; N\; (\mu \; 2,\; \sigma \; 2\; 2)\; \{\backslash \; displaystyle\; \backslash \; scriptstyle\; Q\; \backslash ,\; \backslash \; sim\; \backslash ,\; \{\backslash \; mathcal\; \{N\}\}\; (\backslash \; mu\; \_\; \{2\},\; \backslash \; sigma\; \_\; \{2\}\; ^\; \{2\})\}$is:

$H\; 2\; (P,\; Q)\; =\; 1\; -\; 2\; \sigma \; 1\; \sigma \; 2\; \sigma \; 1\; 2\; +\; \sigma \; 2\; 2\; e\; -\; 1\; 4\; (\mu \; 1\; -\; \mu \; 2)\; 2\; \sigma \; 1\; 2\; +\; \sigma \; 2\; 2.\; \{\backslash \; displaystyle\; H\; ^\; \{2\}\; (P,\; Q)\; =\; 1\; -\; \{\backslash \; sqrt\; \{\backslash \; frac\; \{2\; \backslash \; sigma\; \_\; \{1\}\; \backslash \; sigma\; \_\; \{2\}\}\; \{\backslash \; sigma\; \_\; \{1\}\; ^\; \{2\}\; +\; \backslash \; sigma\; \_\; \{2\}\; ^\; \{2\}\}\}\}\; \backslash ,\; e\; ^\; \{-\; \{\backslash \; frac\; \{1\}\; \{4\}\}\; \{\backslash \; frac\; \{(\backslash \; mu\; \_\; \{1\}\; -\; \backslash \; mu\; \_\; \{2\})\; ^\; \{2\; \}\}\; \{\backslash \; sigma\; \_\; \{1\}\; ^\; \{2\}\; +\; \backslash \; sigma\; \_\; \{2\}\; ^\; \{2\}\}\}\}.\}$

Квадрат расстояния Хеллингера между двумя многомерными нормальными распределениями $П\; \sim \; N\; (\mu \; 1,\; \sum \; 1)\; \{\backslash \; Displaystyle\; \backslash \; scriptstyle\; P\; \backslash ,\; \backslash \; sim\; \backslash ,\; \{\backslash \; mathcal\; \{N\}\}\; (\backslash \; mu\; \_\; \{1\},\; \backslash \; sum\; \_\; \{1\})\}$и $Q\; \sim \; N\; (\mu \; 2,\; \sum \; 2)\; \{\backslash \; displaystyle\; \backslash \; scriptstyle\; Q\; \backslash ,\; \backslash \; sim\; \backslash ,\; \{\backslash \; mathcal\; \{N\}\}\; (\backslash \; mu\; \_\; \{2\},\; \backslash \; sum\; \_\; \{2\})\}$равно:

$H\; 2\; (P,\; Q)\; =\; 1\; -\; det\; (\sum \; 1)\; 1/4\; det\; (\sum \; 2)\; 1/4\; det\; (det\; 1\; +\; \sum \; 2\; 2)\; 1/2\; exp\; \; \{-\; 1\; 8\; (\mu \; 1\; -\; \mu \; 2)\; T\; (\sum \; 1\; +\; \sum \; 2\; 2)\; -\; 1\; (\mu \; 1\; -\; \mu \; 2)\}\; \{\backslash \; displaystyle\; H\; ^\; \{2\}\; (P,\; Q)\; =\; 1\; -\; \{\backslash \; frac\; \{\backslash \; det\; (\backslash \; sum\; \_\; \{1\})\; ^\; \{1/4\}\; \backslash \; det\; (\backslash \; sum\; \_\; \{2\})\; ^\; \{1/4\}\}\; \{\backslash \; det\; \backslash \; left\; (\{\backslash \; frac\; \{\backslash \; sum\; \_\; \{1\})\; +\; \backslash \; sum\; \_\; \{2\}\}\; \{2\}\}\; \backslash \; right)\; ^\; \{1/2\}\}\}\; \backslash \; exp\; \backslash \; left\; \backslash \; \{-\; \{\backslash \; frac\; \{1\}\; \{8\}\}\; (\backslash \; mu\; \_\; \{1\}\; -\; \backslash \; mu\; \_\; \{2\})\; ^\; \{T\}\; \backslash \; left\; (\{\backslash \; frac\; \{\backslash \; sum\; \_\; \{1\}\; +\; \backslash \; sum\; \_\; \{2\}\}\; \{2\}\}\; \backslash \; right)\; ^\; \{-\; 1\}\; (\backslash \; mu\; \_\; \{1\}\; -\; \backslash \; mu\; \_\; \{2\})\; \backslash \; right\; \backslash \}\}$

Квадрат расстояния Хеллингера между двумя экспоненциальным распределением ns $P\; \sim \; E\; xp\; (\alpha )\; \{\backslash \; displaystyle\; \backslash \; scriptstyle\; P\; \backslash ,\; \backslash \; sim\; \backslash ,\; \{\backslash \; rm\; \{\{Exp\}\; (\backslash \; alpha)\}\}\}$и $Q\; \sim \; E\; xp\; (\beta )\; \{\backslash \; displaystyle\; \backslash \; scriptstyle\; Q\; \backslash ,\; \backslash \; sim\; \backslash ,\; \{\backslash \; rm\; \{\{Exp\}\; (\backslash \; beta)\}\}\}$это:

$H\; 2\; (P,\; Q)\; =\; 1-2\; \alpha \; \beta \; \alpha \; +\; \beta .\; \{\backslash \; displaystyle\; H\; ^\; \{2\}\; (P,\; Q)\; =\; 1\; -\; \{\backslash \; frac\; \{2\; \{\backslash \; sqrt\; \{\backslash \; alpha\; \backslash \; beta\}\}\}\; \{\backslash \; alpha\; +\; \backslash \; beta\}\}.\}$

Квадрат расстояния Хеллингера между два распределения Вейбулла $P\; \sim \; W\; (k,\; \alpha )\; \{\backslash \; displaystyle\; \backslash \; scriptstyle\; P\; \backslash ,\; \backslash \; sim\; \backslash ,\; \{\backslash \; rm\; \{\{W\}\; (k,\; \backslash \; alpha)\}\}\}$и $Q\; \sim \; W\; (k,\; \beta )\; \{\backslash \; displaystyle\; \backslash \; scriptstyle\; Q\; \backslash ,\; \backslash \; sim\; \backslash ,\; \{\backslash \; rm\; \{\{W\}\; (k,\; \backslash \; beta)\}\}\}$(где $k\; \{\backslash \; displaystyle\; k\}$- общий параметр формы, а $\alpha ,\; \beta \; \{\backslash \; displaystyle\; \backslash \; alpha\; \backslash ,,\; \backslash \; beta\}$- параметры масштаба соответственно):

$H\; 2\; (P,\; Q)\; =\; 1-2\; (\alpha \; \beta )\; k\; /\; 2\; \alpha \; k\; +\; \beta \; k.\; \{\backslash \; displaystyle\; H\; ^\; \{2\}\; (P,\; Q)\; =\; 1\; -\; \{\backslash \; frac\; \{2\; (\backslash \; alpha\; \backslash \; beta)\; ^\; \{k\; /\; 2\}\}\; \{\backslash \; alpha\; ^\; \{k\}\; +\; \backslash \; beta\; ^\; \{k\}\}\}.\}$

Квадрат расстояния Хеллингера между двумя распределениями Пуассона с параметрами скорости $\alpha \; \{\backslash \; displaystyle\; \backslash \; alpha\}$и $\beta \; \{\backslash \; displaystyle\; \backslash \; beta\}$, так что $P\; \sim \; P\; oisson\; (\alpha )\; \{\backslash \; displaystyle\; \backslash \; scriptstyle\; P\; \backslash ,\; \backslash \; sim\; \backslash ,\; \{\backslash \; rm\; \{\{Poisson\}\; (\backslash \; alpha)\}\}\}$и $Q\; \sim \; P\; oisson\; (\beta )\; \{\backslash \; displaystyle\; \backslash \; scriptstyle\; Q\; \backslash ,\; \backslash \; sim\; \backslash ,\; \{\backslash \; rm\; \{\{Poisson\}\; (\backslash \; beta)\}\}\}$, это:

$H\; 2\; (P,\; Q)\; =\; 1\; -\; e\; -\; 1\; 2\; (\alpha \; -\; \beta )\; 2.\; \{\backslash \; displaystyle\; H\; ^\; \{2\}\; (P,\; Q)\; =\; 1-e\; ^\; \{-\; \{\backslash \; frac\; \{1\}\; \{2\}\}\; (\{\backslash \; sqrt\; \{\backslash \; alpha\}\}\; -\; \{\backslash \; sqrt\; \{\backslash \; beta\}\})\; ^\; \{2\}\}.\}$

Квадрат расстояния Хеллингера между двумя бета-распределениями $P\; \sim \; Beta\; (a\; 1,\; b\; 1)\; \{\backslash \; displaystyle\; \backslash \; scriptstyle\; P\; \backslash ,\; \backslash \; sim\; \backslash ,\; \{\backslash \; текст\; \{бета\}\}\; (a\_\; \{1\},\; b\_\; \{1\})\}$и $Q\; \sim \; Beta\; (a\; 2,\; b\; 2)\; \{\backslash \; displaystyle\; \backslash \; scriptstyle\; Q\; \backslash ,\; \backslash \; sim\; \backslash ,\; \{\; \backslash \; text\; \{Beta\}\}\; (a\_\; \{2\},\; b\_\; \{2\})\}$равно:

$H\; 2\; (P,\; Q)\; =\; 1\; -\; B\; (a\; 1\; +\; a\; 2\; 2,\; b\; 1\; +\; b\; 2\; 2)\; B\; (a\; 1,\; b\; 1)\; B\; (a\; 2,\; b\; 2)\; \{\backslash \; displaystyle\; H\; ^\; \{2\}\; (P,\; Q)\; =\; 1\; -\; \{\backslash \; frac\; \{B\; \backslash \; left\; (\{\backslash \; frac\; \{a\_\; \{1\}\; +\; a\_\; \{2\}\}\; \{2\}\},\; \{\backslash \; frac\; \{b\_\; \{1\}\; +\; b\_\; \{2\}\}\; \{2\}\}\; \backslash \; right)\}\; \{\backslash \; sqrt\; \{B\; (a\_\; \{1\},\; b\_\; \{1\; \})\; B\; (a\_\; \{2\},\; b\_\; \{2\})\}\}\}\}$

где $B\; \{\backslash \; displaystyle\; B\}$- это бета-функция.

расстояние Хеллингера $H\; (P,\; Q)\; \{\backslash \; displaystyle\; H\; (P,\; Q)\}$и общее расстояние вариации (или статистическое расстояние) $\delta \; (P,\; Q)\; \{\backslash \; displaystyle\; \backslash \; delta\; (P,\; Q)\}$связаны следующим образом:

$H\; 2\; (P,\; Q)\; \le \; \delta \; (P,\; Q)\; \le \; 2\; H\; (P,\; Q).\; \{\backslash \; displaystyle\; H\; ^\; \{2\}\; (P,\; Q)\; \backslash \; leq\; \backslash \; delta\; (P,\; Q)\; \backslash \; leq\; \{\backslash \; sqrt\; \{2\}\}\; H\; (P,\; Q)\; \backslash ,.\}$

Эти неравенства непосредственно следуют из неравенства между 1-нормой и 2-нормой.

• Статистическое расстояние
• Дивергенция Кульбака – Лейблера
• Расстояние Бхаттачарьи
• Общее расстояние вариации
• Информационная метрика Fisher

• Ян, Грейс Ло ; Ле Кам, Люсьен М. (2000). Асимптотика в статистике: некоторые основные понятия. Берлин: Springer. ISBN 0-387-95036-2.
• Vaart, A. W. van der. Асимптотическая статистика (Кембриджские серии по статистической и вероятностной математике). Кембридж, Великобритания: Издательство Кембриджского университета. ISBN 0-521-78450-6.
• Поллард, Дэвид Э. (2002). Руководство пользователя для измерения теоретической вероятности. Кембридж, Великобритания: Издательство Кембриджского университета. ISBN 0-521-00289-3.