Теорема Гливенко – Кантелли

В теории вероятностей, Гливенко –Теорема Кантелли, названная в честь Валерия Ивановича Гливенко и Франческо Паоло Кантелли, определяет асимптотическое поведение эмпирической функции распределения как число независимых и одинаково распределенных наблюдений растет.

• 1 Утверждение
• 2 Доказательство
• 3 Эмпирические измерения
• 4 Класс Гливенко – Кантелли
• 5 Примеры
• 6 См. также
• 7 Ссылки
• 8 Дополнительная литература

Равномерная сходимость более общих эмпирических показателей становится важным свойством классов Гливенко – Кантелли функций или наборов. Классы Гливенко – Кантелли возникают в теории Вапника – Червоненкиса с приложениями к машинному обучению. В эконометрике можно найти приложения с использованием M-оценок.

Предположим, что $X\; 1,\; X\; 2,\dots \; \{\backslash \; displaystyle\; X\_\; \{1\},\; X\_\; \{2\},\; \backslash \; точки\}$- независимые и одинаково распределенные случайные величины в $R\; \{\backslash \; displaystyle\; \backslash \; mathbb\; \{R\}\}$с общей кумулятивной функцией распределения $F\; (x)\; \{\backslash \; displaystyle\; F\; (x)\}$. эмпирическая функция распределения для $X\; 1,\dots ,\; X\; n\; \{\backslash \; displaystyle\; X\_\; \{1\},\; \backslash \; dots,\; X\_\; \{n\}\}$определяется как

$F\; n\; (x)\; =\; 1\; n\; \sum \; i\; =\; 1\; n\; I\; [X\; i,\; \infty )\; (x)\; =\; 1\; n\; |\; \{1\; \le \; i\; \le \; n\; |\; X\; i\; \le \; x\}\; |\; \{\backslash \; displaystyle\; F\_\; \{n\}\; (x)\; =\; \{\backslash \; frac\; \{1\}\; \{n\}\}\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; I\; \_\; \{[X\_\; \{i\},\; \backslash \; infty)\}\; (x)\; =\; \{\; \backslash \; frac\; \{1\}\; \{n\}\}\; \backslash \; left\; |\; \backslash \; left\; \backslash \; \{1\; \backslash \; leq\; i\; \backslash \; leq\; n\; |\; X\_\; \{i\}\; \backslash \; leq\; x\; \backslash \; right\; \backslash \}\; \backslash \; right\; |\}$

где $IC\; \{\backslash \; displaystyle\; I\_\; \{C\}\}$- это индикаторная функция набора $C\; \{\backslash \; displaystyle\; C\}$. Для каждого (фиксированного) $x\; \{\backslash \; displaystyle\; x\}$, $F\; n\; (x)\; \{\backslash \; displaystyle\; F\_\; \{n\}\; (x)\}$представляет собой последовательность случайных величин, которые сходятся к $F\; (x)\; \{\backslash \; displaystyle\; F\; (x)\}$почти наверняка по строгому закону больших чисел, то есть $F\; n\; \{\backslash \; displaystyle\; F\_\; \{n\}\; \}$сходится к $F\; \{\backslash \; displaystyle\; F\}$точечно. Гливенко и Кантелли усилили этот результат, доказав равномерную сходимость $F\; n\; \{\backslash \; displaystyle\; F\_\; \{n\}\}$к $F\; \{\backslash \; displaystyle\; F\}$.

Теорема

$\Vert \; F\; n\; -\; F\; \Vert \; \infty \; =\; sup\; x\; \in \; R\; |\; F\; n\; (x)\; -\; F\; (x)\; |\; ⟶\; 0\; \{\backslash \; displaystyle\; \backslash \; |\; F\_\; \{n\}\; -F\; \backslash \; |\; \_\; \{\backslash \; infty\}\; =\; \backslash \; sup\; \_\; \{x\; \backslash \; in\; \backslash \; mathbb\; \{R\}\}\; |\; F\_\; \{n\}\; (x)\; -F\; (x)\; |\; \backslash \; longrightarrow\; 0\}$почти наверняка.

Эта теорема берет свое начало от Валерия Гливенко и Франческо Кантелли в 1933 году.

Замечания

• Если $Икс\; n\; \{\backslash \; displaystyle\; X\_\; \{n\}\}$- стационарный эргодический процесс, тогда $F\; n\; (x)\; \{\backslash \; displaystyle\; F\_\; \{n\}\; (x)\}$почти наверняка сходится к $F\; (x)\; =\; E\; (1\; X\; 1\; \le \; x)\; \{\backslash \; displaystyle\; F\; (x)\; =\; E\; (1\_\; \{X\_\; \{1\}\; \backslash \; leq\; x\})\}$. Теорема Гливенко – Кантелли дает более сильный способ сходимости, чем этот в случае iid.
• Еще более сильный результат равномерной сходимости для эмпирической функции распределения доступен в форме расширенного типа закона повторного логарифма. См. асимптотические свойства эмпирической функции распределения для получения этих и связанных результатов.

Для простоты рассмотрим случай непрерывной случайной величины $X\; \{\backslash \; displaystyle\; X\}$. Исправьте так, чтобы $F\; (xj)\; -\; F\; (xj\; -\; 1)\; =\; 1\; m\; \{\backslash \; displaystyle\; F\; (x\_\; \{j\})\; -\; F\; (x\_\; \{j-1\}))\; =\; \{\backslash \; frac\; \{1\}\; \{m\}\}\}$для $j\; =\; 1,\dots ,\; m\; \{\backslash \; displaystyle\; j\; =\; 1,\; \backslash \; dots,\; m\}$. Теперь для всех $x\; \in \; R\; \{\backslash \; displaystyle\; x\; \backslash \; in\; \backslash \; mathbb\; \{R\}\}$существует $j\; \in \; \{1,\dots ,\; m\}\; \{\backslash \; displaystyle\; j\; \backslash \; in\; \backslash \; \{1,\; \backslash \; точки,\; m\; \backslash \}\}$такие, что $x\; \in \; [xj\; -\; 1,\; xj]\; \{\backslash \; displaystyle\; x\; \backslash \; in\; [x\_\; \{j-1\},\; x\_\; \{j\}]\}$. Обратите внимание, что

$F\; n\; (x)\; -\; F\; (x)\; \le \; F\; n\; (xj)\; -\; F\; (xj\; -\; 1)\; =\; F\; n\; (xj)\; -\; F\; (xj)\; +\; 1\; /\; m,\; F\; n\; (x)\; -\; F\; (x)\; \ge \; F\; n\; (xj\; -\; 1)\; -\; F\; (xj)\; =\; F\; n\; (xj\; -\; 1)\; -\; F\; (xj\; -\; 1)\; -\; 1\; /\; m.\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{align\}\; F\_\; \{n\}\; (x)\; -F\; (x)\; \backslash \; leq\; F\_\; \{n\}\; (x\_\; \{j\})\; -\; F\; (x\_\; \{j-1\})\; =\; F\_\; \{n\}\; (\; x\_\; \{j\})\; -\; F\; (x\_\; \{j\})\; +\; 1\; /\; m,\; \backslash \backslash \; F\_\; \{n\}\; (x)\; -F\; (x)\; \backslash \; geq\; F\_\; \{n\}\; (x\_\; \{j-1\})\; -\; F\; (\; x\_\; \{j\})\; =\; F\_\; \{n\}\; (x\_\; \{j-1\})\; -\; F\; (x\_\; \{j-1\})\; -\; 1\; /\; m.\; \backslash \; end\; \{align\}\}\}$

Следовательно, почти наверняка

$|\; |\; F\; n\; -\; F\; |\; |\; \infty \; =\; sup\; x\; \in \; R\; |\; F\; n\; (x)\; -\; F\; (x)\; |\; \le \; max\; j\; \in \; \{1,\dots ,\; m\}\; |\; F\; n\; (x\; j)\; -\; F\; (x\; j)\; |\; +\; 1\; /\; м.\; \{\backslash \; displaystyle\; ||\; F\_\; \{n\}\; -F\; ||\; \_\; \{\backslash \; infty\}\; =\; \backslash \; sup\; \_\; \{x\; \backslash \; in\; \backslash \; mathbb\; \{R\}\}\; |\; F\_\; \{n\}\; (x)\; -F\; (x)\; |\; \backslash \; leq\; \backslash \; max\; \_\; \{j\; \backslash \; in\; \backslash \; \{1,\; \backslash \; dots,\; m\; \backslash \}\}\; |\; F\_\; \{n\}\; (x\_\; \{j\})\; -\; F\; (x\_\; \{j\})\; |\; +\; 1\; /\; m.\}$

Поскольку $макс.\; j\; \in \; \{1,\dots ,\; m\}\; |\; F\; n\; (x\; j)\; -\; F\; (x\; j)\; |\; \to \; 0\; п.н.\; \{\backslash \; textstyle\; \backslash \; max\; \_\; \{j\; \backslash \; in\; \backslash \; \{1,\; \backslash \; dots,\; m\; \backslash \}\}\; |\; F\_\; \{n\}\; (x\_\; \{j\})\; -\; F\; (x\_\; \{j\})\; |\; \backslash \; to\; 0\; \{\backslash \; text\; \{as\}\; \}\}$по строгому закону больших чисел мы можем гарантировать, что для любого целого числа $m\; \{\backslash \; textstyle\; m\}$мы найдем $N\; \{\backslash \; textstyle\; N\}$так, что для всех $n\; \ge \; N\; \{\backslash \; displaystyle\; n\; \backslash \; geq\; N\}$

$|\; |\; F\; n\; -\; F\; |\; |\; \infty \; \le \; 1\; /\; м\; п.н.\; \{\backslash \; displaystyle\; ||\; F\_\; \{n\}\; -F\; ||\; \_\; \{\backslash \; infty\}\; \backslash \; leq\; 1\; /\; m\; \{\backslash \; text\; \{a.s.\}\}\}$,

, что является определением почти надежной сходимости.

Можно обобщить эмпирическую функцию распределения, заменив набор $(-\; \infty ,\; x]\; \{\backslash \; displaystyle\; (-\; \backslash \; infty,\; x]\}$произвольным набором C из класса наборов $C\; \{\backslash \; displaystyle\; \{\backslash \; mathcal\; \{C\}\}\}$для получения эмпирической меры, индексированной наборами $C\; \in \; С.\; \{\backslash \; Displaystyle\; С\; \backslash \; in\; \{\backslash \; mathcal\; \{C\}\}.\}$

$п\; n\; (C)\; =\; 1\; n\; \sum \; я\; =\; 1\; n\; IC\; (X\; i),\; C\; \in \; C\; \{\backslash \; displaystyle\; P\_\; \{n\}\; (C)\; =\; \{\backslash \; frac\; \{1\}\; \{n\}\}\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; I\_\; \{C\}\; (X\_\; \{i\}),\; C\; \backslash \; in\; \{\backslash \; mathcal\; \{C\}\}\}$

Где $IC\; (x)\; \{\backslash \; displaystyle\; I\_\; \{C\}\; (x)\}$- это индикаторная функция каждого набора $C\; \{\backslash \; displaystyle\; C\}$.

Дальнейшее обобщение - это отображение, индуцированное $P\; n\; \{\backslash \; displaystyle\; P\_\; \{n\}\}$на измеримых вещественнозначных функциях f, которое задается как

$f\; \mapsto \; P\; nf\; =\; \int \; S\; fd\; П\; N\; знак\; равно\; 1\; N\; \sum \; я\; знак\; равно\; 1\; NF\; (Икс\; я),\; е\; е\; F.\; \{\backslash \; Displaystyle\; F\; \backslash \; mapsto\; P\_\; \{п\}\; е\; =\; \backslash \; int\; \_\; \{S\}\; е\; \backslash ,\; dP\_\; \{п\}\; =\; \{\backslash \; гидроразрыва\; \{1\; \}\; \{n\}\}\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; f\; (X\_\; \{i\}),\; f\; \backslash \; in\; \{\backslash \; mathcal\; \{F\}\}.\}$

Тогда это становится важным свойством е классы, которые строгий закон больших чисел равномерно выполняется на $F\; \{\backslash \; displaystyle\; \{\backslash \; mathcal\; \{F\}\}\}$или $C\; \{\backslash \; displaystyle\; \{\backslash \; mathcal\; \{C\}\}\}$.

Рассмотрим набор $S\; \{\backslash \; displaystyle\; \{\backslash \; mathcal\; \{S\}\}\}$с сигма-алгеброй Борелевские подмножества A и вероятностная мера P. Для класса подмножеств

$C\; \subset \; \{C:\; C\; -\; измеримое\; подмножество\; S\}\; \{\backslash \; displaystyle\; \{\backslash \; mathcal\; \{C\}\}\; \backslash \; subset\; \backslash \; \{C:\; C\; \{\backslash \; t\_dv\; \{-\; измеримое\; подмножество\}\}\; \{\backslash \; mathcal\; \{S\}\}\; \backslash \}\}$

и класс функций

$F\; \subset \; \{f:\; S\; \to \; R,\; f\; измеримо\}\; \{\backslash \; displaystyle\; \{\backslash \; mathcal\; \{F\}\}\; \backslash \; subset\; \backslash \; \{f:\; \{\backslash \; mathcal\; \{S\}\}\; \backslash \; to\; \backslash \; mathbb\; \{R\},\; f\; \{\backslash \; t\_dv\; \{измеримо\}\}\; \backslash ,\; \backslash \}\}$

определяют случайные величины

$\Vert \; P\; n\; -\; P\; \Vert \; C\; =\; sup\; C\; \in \; C\; |\; P\; n\; (C)\; -\; P\; (C)\; |\; \{\backslash \; displaystyle\; \backslash \; |\; P\_\; \{n\}\; -P\; \backslash \; |\; \_\; \{\backslash \; mathcal\; \{C\}\}\; =\; \backslash \; sup\; \_\; \{C\; \backslash \; in\; \{\backslash \; mathcal\; \{C\}\}\}\; |\; P\_\; \{n\}\; (C)\; -P\; (C)\; |\}$

$\Vert \; P\; n\; -\; P\; \Vert \; F\; =\; sup\; f\; \in \; F\; |\; P\; n\; f\; -\; P\; f\; |\; \{\backslash \; displaystyle\; \backslash \; |\; P\_\; \{n\}\; -P\; \backslash \; |\; \_\; \{\backslash \; mathcal\; \{F\}\}\; =\; \backslash \; sup\; \_\; \{f\; \backslash \; in\; \{\backslash \; mathcal\; \{F\}\}\}\; |\; P\_\; \{n\}\; f-Pf\; |\}$

где $P\; n\; (C)\; \{\backslash \; displaystyle\; P\_\; \{n\}\; (C)\}$- эмпирическая мера, $P\; nf\; \{\backslash \; displaystyle\; P\_\; \{n\}\; f\}$- соответствующая карта, а

$E\; f\; =\; \int \; S\; fd\; P\; =\; P\; f\; \{\backslash \; displaystyle\; \backslash \; mathbb\; \{E\}\; f\; =\; \backslash \; int\; \_\; \{\backslash \; mathcal\; \{S\}\}\; f\; \backslash ,\; dP\; =\; Pf\}$, при условии, что он существует.

Определения

• Класс $C\; \{\backslash \; displaystyle\; \{\backslash \; mathcal\; \{C\}\}\}$называется классом Гливенко – Кантелли (или класс GC) по отношению к вероятностной мере P, если верно любое из следующих эквивалентных утверждений.

1. $\Vert \; P\; n\; -\; P\; \Vert \; C\; \to \; 0\; \{\backslash \; displaystyle\; \backslash \; |\; P\_\; \{n\}\; -P\; \backslash \; |\; \_\; \{\backslash \; mathcal\; \{C\}\}\; \backslash \; to\; 0\}$почти наверняка как $n\; \to \; \infty \; \{\backslash \; Displaystyle\; п\; \backslash \; к\; \backslash \; infty\}$.

2. $\Vert \; P\; n\; -\; P\; \Vert \; C\; \to \; 0\; \{\backslash \; displaystyle\; \backslash \; |\; P\_\; \{n\}\; -P\; \backslash \; |\; \_\; \{\backslash \; mathcal\; \{C\}\}\; \backslash \; to\; 0\}$с вероятностью как $n\; \to \; \infty \; \{\backslash \; Displaystyle\; п\; \backslash \; к\; \backslash \; infty\}$.

3. $E\; \Vert \; P\; n\; -\; P\; \Vert \; C\; \to \; 0\; \{\backslash \; displaystyle\; \backslash \; mathbb\; \{E\}\; \backslash \; |\; P\_\; \{n\}\; -P\; \backslash \; |\; \_\; \{\backslash \; mathcal\; \{C\}\}\; \backslash \; to\; 0\}$, как $n\; \to \; \infty \; \{\backslash \; displaystyle\; n\; \backslash \; to\; \backslash \; infty\}$(сходимость в среднем).

Классы функций Гливенко – Кантелли определяются аналогично.

• Класс называется универсальный класс Гливенко – Кантелли, если он является классом GC относительно любой вероятностной меры P на (S, A).
• Класс называется равномерно Гливенко – Кантелли, если сходимость происходит равномерно по всем вероятностным мерам P на (S, A):

$sup\; P\; \in \; P\; (S,\; A)\; E\; \Vert \; P\; n\; -\; P\; \Vert \; C\; \to \; 0;\; \{\backslash \; displaystyle\; \backslash \; sup\; \_\; \{P\; \backslash \; in\; \{\backslash \; mathcal\; \{P\}\}\; (S,\; A)\}\; \backslash \; mathbb\; \{E\}\; \backslash \; |\; P\_\; \{n\}\; -P\; \backslash \; |\; \_\; \{\backslash \; mathcal\; \{C\}\}\; \backslash \; to\; 0;\; \}$

$sup\; P\; \in \; P\; (S,\; A)\; E\; \Vert \; P\; n\; -\; P\; \Vert \; F\; \to \; 0.\; \{\backslash \; displaystyle\; \backslash \; sup\; \_\; \{P\; \backslash \; in\; \{\backslash \; mathcal\; \{P\}\}\; (S,\; A)\}\; \backslash \; mathbb\; \{\; E\}\; \backslash \; |\; P\_\; \{n\}\; -P\; \backslash \; |\; \_\; \{\backslash \; mathcal\; \{F\}\}\; \backslash \; to\; 0.\}$

Теорема (Вапник и Червоненкис, 1968 г.)

Класс наборов $C\; \{\backslash \; displaystyle\; \{\backslash \; mathcal\; \{C\}\}\}$является однородно GC тогда и только тогда, когда это класс Вапника – Червоненкиса.

• Пусть $S\; =\; R\; \{\backslash \; displaystyle\; S\; =\; \backslash \; mathbb\; \{R\}\}$и $C\; =\; \{(-\; \infty ,\; t]:\; t\; \in \; R\}\; \{\backslash \; displaystyle\; \{\backslash \; mathcal\; \{C\}\}\; =\; \backslash \; \{(-\; \backslash \; infty,\; t]:\; t\; \backslash \; in\; \{\backslash \; mathbb\; \{R\}\}\; \backslash \}\}$. Классическая теорема Гливенко – Кантелли означает, что этот класс является универсальным GC Кроме того, по теореме Колмогорова,

$sup\; P\; \in \; P\; (S,\; A)\; \Vert \; P\; n\; -\; P\; \Vert \; C\; \sim \; n\; -\; 1/2\; \{\backslash \; displaystyle\; \backslash \; sup\; \_\; \{P\; \backslash \; in\; \{\backslash \; mathcal\; \{P\; \}\}\; (S,\; A)\}\; \backslash \; |\; P\_\; \{n\}\; -P\; \backslash \; |\; \_\; \{\backslash \; mathcal\; \{C\}\}\; \backslash \; sim\; n\; ^\; \{-\; 1/2\}\}$, то есть $C\; \{\backslash \; displaystyle\; \{\backslash \; mathcal\; \{C\}\}\}$является равномерно классом Гливенко – Кантелли.

• Пусть P неатомарная вероятностная мера на S и $C\; \{\backslash \; displaystyle\; \{\backslash \; mathcal\; \{C\}\}\}$класс всех конечных подмножеств в S. Поскольку $A\; п\; =\; \{Икс\; 1,\dots ,\; Икс\; n\}\; \in \; С\; \{\backslash \; Displaystyle\; A\_\; \{n\}\; =\; \backslash \; \{X\_\; \{1\},\; \backslash \; ldots,\; X\_\; \{n\}\; \backslash \}\; \backslash \; in\; \{\backslash \; mathcal\; \{C\}\}\}$, $П\; (A\; n)\; знак\; равно\; 0\; \{\backslash \; displaystyle\; P\; (A\_\; \{n\})\; =\; 0\}$, $P\; n\; (A\; n)\; =\; 1\; \{\backslash \; displaystyle\; P\_\; \{n\}\; (A\_\; \{n\})\; =\; 1\}$, мы имеем, что $\Vert \; P\; n\; -\; P\; \Vert \; C\; =\; 1\; \{\backslash \; displaystyle\; \backslash \; |\; P\_\; \{n\}\; -P\; \backslash \; |\; \_\; \{\backslash \; mathcal\; \{C\}\}\; =\; 1\}$и поэтому $C\; \{\backslash \; displaystyle\; \{\backslash \; mathcal\; \{C\}\}\}$не является классом GC по отношению к P.

• теорема Донскера
• Дворецкого – Кифера – Вольфовица неравенство - усиливает теорему Гливенко – Кантелли путем количественной оценки скорости сходимости.

• Дадли, Р.М. (1999). Равномерные центральные предельные теоремы. Издательство Кембриджского университета. ISBN 0-521-46102-2.
• Питман, Э. Дж. Г. (1979). «Функция распределения выборки». Некоторая основная теория статистических выводов. Лондон: Чепмен и Холл. п. 79–97. ISBN 0-470-26554-X.
• Shorack, G.R.; Веллнер, Дж. А. (1986). Эмпирические процессы с приложениями к статистике. Вайли. ISBN 0-471-86725-X.
• ван дер Ваарт, А. В. ; Веллнер, Дж. А. (1996). Слабая конвергенция и эмпирические процессы. Springer. ISBN 0-387-94640-3.
• van der Vaart, Aad W.; Веллнер, Джон А. (1996). Теоремы Гливенко-Кантелли. Springer
• van der Vaart, Aad W.; Веллнер, Джон А. (2000). Теоремы сохранения для классов Гливенко-Кантелли и равномерных классов Гливенко-Кантелли. Springer.