Сходимость случайных величин

редактировать

Понятия вероятностной сходимости, применяемые к оценке и асимптотическому анализу

В теории вероятностей существует несколько различных понятий сходимости случайных величин . сходимость последовательностей случайных величин к некоторой предельной случайной величине является важным понятием в теории вероятностей и ее приложениями к статистика и случайных процессов. Те же самые концепции известны в более общей математике как стохастическая сходимость, и они формализуют идею о том, что иногда можно ожидать, что последовательность существенно случайных или непредсказуемых событий приведет к такому поведению. по существу не меняется, когда элементы изучаются достаточно далеко в последовательности. Различные возможные понятия конвергенции относятся к тому, как можно охарактеризовать такое поведение: два легко понимаемых поведения заключаются в том, что последовательность в конечном итоге принимает постоянное значение и что значения в последовательности продолжают изменяться, но могут быть описаны неизменным распределением вероятностей.

Содержание

1 Предпосылки
2 Сходимость в распределении
- 2.1 Определение
- 2.2 Свойства
3 Сходимость по вероятности
- 3.1 Определение
- 3.2 Свойства
4 Почти надежная сходимость
- 4.1 Определение
- 4.2 Свойства
5 Гарантированная сходимость или поточечная сходимость
6 Сходимость в среднем
7 Свойства
8 См. Также
9 Примечания
10 Ссылки

Предпосылки

«Стохастическая конвергенция» формализует идею о том, что иногда можно ожидать, что последовательность существенно случайных или непредсказуемых событий превратится в шаблон. Шаблон может, например, быть

Конвергенцией в классическом смысле к фиксированному значению, возможно, само происходящим от случайного события
Возрастающее сходство результатов с тем, что произвела бы чисто детерминированная функция
Возрастающее предпочтение определенного результата
Растущее «отвращение» к тому, чтобы далеко отклоняться от определенного результата
То, что распределение вероятностей, описывающее следующий исход, может становиться все более похожим на определенное распределение

Некоторые менее очевидные, более теоретические закономерности могут быть такими:

То, что ряд, сформированный путем вычисления ожидаемого значения расстояния результата до определенного значения, может сходиться к 0
Что дисперсия случайной величины, описывающей следующее событие, становится все меньше и меньше.

Эти другие типы шаблонов, которые могут возникнуть, отражены в различных типах стохастической конвергенции, которые были изучены.

Хотя вышеупомянутое обсуждение относилось к сходимости одного ряда к предельному значению, понятие сходимости двух рядов по отношению друг к другу также важно, но с этим легко справиться, изучив последовательность, определяемую как либо разница, либо соотношение двух серий.

Например, если среднее значение n независимых случайных величин Y i, i = 1,..., n, все имеют одинаковые конечные среднее значение и дисперсия, определяется как

X n = 1 n ∑ i = 1 n Y i, {\ displaystyle X_ {n} = {\ frac {1} {n}} \ sum _ {i = 1} ^ {n} Y_ {i} \,,}

X_{n}={\frac {1}{n}}\sum _{i=1}^{n}Y_{i}\,,

тогда, когда n стремится к бесконечности, X n сходится по вероятности (см. ниже) к обычному означает, μ, случайных величин Y i. Этот результат известен как слабый закон больших чисел. Другие формы сходимости важны в других полезных теоремах, в том числе в центральной предельной теореме .

Далее мы предполагаем, что (X n) является последовательностью случайных величин, а X - случайная величина, и все они определены в одном и том же вероятностном пространстве $(Ω, F, Pr) {\ displaystyle (\ Omega, {\ mathcal {F}}, \ operatorname {Pr})}$ $(\Omega,{\mathcal {F}},\operatorname {Pr})$ .

Конвергенция в распределении

Примеры конвергенции в распределении
Фабрика игральных костей
Предположим, что только что построена новая фабрика игральных костей. Первые несколько игральных костей получаются довольно предвзятыми из-за несовершенства производственного процесса. Результат подбрасывания любого из них будет следовать распределению, заметно отличающемуся от желаемого равномерного распределения... По мере совершенствования фабрики игральные кости становятся все менее и менее загруженными, а результаты подбрасывания вновь произведенного кубика будут соответствовать равномерное распределение все ближе и ближе.
Подбрасывание монет
Пусть X n будет долей орлов после подбрасывания несмещенной монеты n раз. Тогда X 1 имеет распределение Бернулли с ожидаемым значением μ = 0,5 и дисперсией σ = 0,25. Последующие случайные величины X 2, X 3,... все будут распределяться биномиально... По мере увеличения n это распределение будет постепенно принимать более форму. и более похожа на колоколообразную кривую нормального распределения. Если мы сдвинем и изменим масштаб X n соответствующим образом, тогда $Z n = n σ (X n - μ) {\ displaystyle \ scriptstyle Z_ {n} = {\ frac {\ sqrt {n}} {\ sigma}} (X_ {n} - \ mu)}$ $\scriptstyle Z_{n}={\frac {\sqrt {n}}{\sigma }}(X_{n}-\mu)$ будет сходиться по распределению к стандартной нормали, результат, который следует из знаменитой центральной предельной теоремы .
Графический пример
Предположим, что {X i } представляет собой последовательность iid из однородных U (-1, 1) случайных величин. Пусть $Z n = 1 n ∑ i = 1 n X i {\ displaystyle \ scriptstyle Z_ {n} = {\ scriptscriptstyle {\ frac {1} {\ sqrt {n}}}} \ sum _ {i = 1} ^ {n} X_ {i}}$ $\scriptstyle Z_{n}={\scriptscriptstyle {\frac {1}{\sqrt {n}}}}\sum _{i=1}^{n}X_{i}$ - их (нормализованные) суммы. Тогда согласно центральной предельной теореме распределение Z n приближается к нормальному распределению N (0, 1/3). Эта сходимость показана на рисунке: с увеличением n форма функции плотности вероятности приближается к гауссовой кривой.

При таком способе сходимости мы все больше ожидаем увидеть следующий результат в последовательности случайных экспериментов, становящихся все лучше и лучше моделируемых заданным распределением вероятностей.

Сходимость в распределении - это самая слабая форма сходимости, обычно обсуждаемая, поскольку это подразумевается всеми другими типами сходимости, упомянутыми в этой статье. Однако на практике очень часто используется конвергенция распределения; чаще всего возникает из применения центральной предельной теоремы.

Определение

Последовательность X 1, X 2,... действительных- Говорят, что значения случайных величин сходятся по распределению, или сходятся слабо, или сходятся по закону к случайной величине X, если

lim n → ∞ F n (x) = F (x), {\ displaystyle \ lim _ {n \ to \ infty} F_ {n} (x) = F (x),}

\lim _{n\to \infty }F_{n}(x)=F(x),

для каждого числа $x ∈ R {\ displaystyle x \ in \ mathbb {R}}$ $x \in \mathbb{R}$ , при котором F непрерывно. Здесь F n и F - кумулятивные функции распределения случайных величин X n и X соответственно.

Требование учитывать только точки непрерывности F является существенным. Например, если X n распределены равномерно на интервалах (0, 1 / n), то эта последовательность сходится по распределению к вырожденной случайной величине X = 0. Действительно, F n (x) = 0 для всех n, когда x ≤ 0, и F n (x) = 1 для всех x ≥ 1 / n, когда n>0. Однако для этой предельной случайной величины F (0) = 1, даже если F n (0) = 0 для всех n. Таким образом, сходимость cdfs не выполняется в точке x = 0, где F разрывной.

Сходимость по распределению может быть обозначена как

X n → d X, X n → DX, X n → LX, X n → d LX, X n ⇝ X, X n ⇒ X, L ( Икс n) → L (X), {\ Displaystyle {\ begin {align} {} \\ X_ {n} \ {\ xrightarrow {d}} \ X, \ \ X_ {n} \ {\ xrightarrow {\ mathcal {D}}} \ X, \ \ X_ {n} \ {\ xrightarrow {\ mathcal {L}}} \ X, \ \ X_ {n} \ {\ xrightarrow {d}} \ {\ mathcal {L} } _ {X}, \\ X_ {n} \ rightsquigarrow X, \ \ X_ {n} \ Rightarrow X, \ \ {\ mathcal {L}} (X_ {n}) \ to {\ mathcal {L}} (X), \\\\\ конец {выровнено}}}

{\begin{aligned}{}\\X_{n}\ {\xrightarrow {d}}\ X,\ \ X_{n}\ {\xrightarrow {\mathcal {D}}}\ X,\ \ X_{n}\ {\xrightarrow {\mathcal {L}}}\ X,\ \ X_{n}\ {\xrightarrow {d}}\ {\mathcal {L}}_{X},\\X_{n}\rightsquigarrow X,\ \ X_{n}\Rightarrow X,\ \ {\mathcal {L}}(X_{n})\to {\mathcal {L}}(X),\\\\\end{aligned}}

(1)

где $LX {\ displaystyle \ scriptstyle {\ mathcal {L}} _ {X}}$ $\scriptstyle {\mathcal {L}}_{X}$ - закон (распределение вероятностей) X. Например, если X является стандартным нормальным, мы можем написать $X n → d N (0, 1) {\ displaystyle X_ {n} \, {\ xrightarrow {d }} \, {\ mathcal {N}} (0, \, 1)}$ $X_{n}\,{\xrightarrow {d}}\,{\mathcal {N}}(0,\,1)$ .

Для случайных векторов {X1, X 2,...} ⊂ R сходимость по распределению определяется аналогично. Мы говорим, что эта последовательность сходится в распределении к случайному k-вектору X, если

lim n → ∞ Pr ⁡ (X n ∈ A) = Pr ⁡ (X ∈ A) {\ displaystyle \ lim _ {n \ to \ infty} \ operatorname {Pr} (X_ {n} \ in A) = \ operatorname {Pr} (X \ in A)}

\lim _{n\to \infty }\operatorname {Pr} (X_{n}\in A)=\operatorname {Pr} (X\in A)

для каждого A ⊂ R, который представляет собой набор непрерывности X.

Определение сходимости в распределении может быть расширено от случайных векторов до более общих случайных элементов в произвольных метрических пространствах, и даже к «случайным величинам», которые не поддаются измерению - ситуация, которая возникает, например, при изучении эмпирических процессов. Это «слабая сходимость законов без определения законов» - кроме асимптотической.

В этом случае предпочтительнее термин слабая сходимость (см. слабая сходимость мер ), и мы говорим, что последовательность случайных элементов {X n } слабо сходится к X (обозначается как X n ⇒ X), если

E ∗ ⁡ h (X n) → E h (X) {\ displaystyle \ operatorname {E} ^ {*} h (X_ {n}) \ to \ operatorname {E} \, h (X)}

\operatorname {E} ^{*}h(X_{n})\to \operatorname {E} \,h(X)

для всех непрерывных ограниченных функций h. Здесь E * обозначает внешнее ожидание, то есть ожидание «наименьшей измеримой функции g, которая доминирует над h (X n)».

Свойства

Поскольку F (a) = Pr (X ≤ a), сходимость в распределении означает, что вероятность для X n находиться в заданном диапазоне приблизительно равна вероятность того, что значение X находится в этом диапазоне, при условии, что n достаточно велико.
В общем, сходимость в распределении не означает, что последовательность соответствующих функций плотности вероятности также будет сходиться. В качестве примера можно рассмотреть случайные величины с плотностями f n (x) = (1 - cos (2πnx)) 1(0,1). Эти случайные величины сходятся по распределению к однородному U (0, 1), тогда как их плотности вообще не сходятся.
- Однако, согласно теореме Шеффе, сходимость функций плотности вероятности подразумевает сходимость в распределении.
лемма Портманто дает несколько эквивалентных определений сходимости в распределении. Хотя эти определения менее интуитивны, они используются для доказательства ряда статистических теорем. Лемма утверждает, что {X n } сходится по распределению к X тогда и только тогда, когда выполняется любое из следующих утверждений:
- $Pr (X n ≤ x) → Pr (X ≤ x) {\ displaystyle \ Pr (X_ {n} \ leq x) \ to \ Pr (X \ leq x)}$ $\Pr(X_{n}\leq x)\to \Pr(X\leq x)$ для всех точек непрерывности $x ↦ Pr (X ≤ x) {\ displaystyle x \ mapsto \ Pr (X \ Leq x)}$ $x\mapsto \Pr(X\leq x)$ ;
- $E ⁡ е (X n) → E ⁡ f (X) {\ displaystyle \ operatorname {E} f (X_ {n}) \ to \ operatorname {E} f (X)}$ $\operatorname {E} f(X_{n})\to \operatorname {E} f(X)$ для всех ограниченных, непрерывных функций $f {\ displaystyle f}$ $f$ (где $E { \ displaystyle \ operatorname {E}}$ $\operatorname {E}$ обозначает оператор ожидаемого значения );
- $E ⁡ f (X n) → E ⁡ f (X) {\ displaystyle \ operatorname { E} f (X_ {n}) \ to \ operatorname {E} f (X)}$ $\operatorname {E} f(X_{n})\to \operatorname {E} f(X)$ для всех ограниченных, функций Липшица $f {\ displaystyle f}$ $f$ ;
- $lim inf E ⁡ е (Икс N) ≥ E ⁡ е (X) {\ Displaystyle \ lim \ inf \ OperatorName {E} f (X_ {n}) \ geq \ operatorname {E} f (X)}$ $\lim \inf \operatorname {E} f(X_{n})\geq \operatorname {E} f(X)$ для всех неотрицательных непрерывных функций $f {\ displaystyle f}$ $f$ ;
- $lim inf Pr (Икс n ∈ G) ≥ Pr (X ∈ G) {\ displaystyle \ lim \ inf \ Pr (X_ {n} \ in G) \ geq \ Pr (X \ in G)}$ $\lim \inf \Pr(X_{n}\in G)\geq \Pr(X\in G)$ для каждого открытого набора $G {\ displaystyle G}$ $G$ ;
- $lim sup Pr (X n ∈ F) ≤ Pr (X ∈ F) {\ displaystyle \ lim \ sup \ Pr (X_ {n} \ in F) \ leq \ Pr (X \ in F)}$ $\lim \sup \Pr(X_{n}\in F)\leq \Pr(X\in F)$ для каждого закрытого множества $F {\ displaystyle F}$ $F$ ;
- $Pr ( Икс n ∈ B) → Pr (X ∈ B) {\ displaystyle \ Pr (X_ {n} \ in B) \ to \ Pr (X \ in B)}$ $\Pr(X_{n}\in B)\to \Pr(X\in B)$ для всех множеств непрерывности $B {\ displaystyle B}$ $B$ случайной величины $X {\ displaystyle X}$ $X$ ;
- $lim sup E ⁡ f (X n) ≤ E ⁡ f (X) { \ displaystyle \ limsup \ operatorname {E} f (X_ {n}) \ leq \ operatorname {E} f (X)}$ $\limsup \operatorname {E} f(X_{n})\leq \operatorname {E} f(X)$ для каждой верхней полунепрерывной функции $е {\ displaystyle f}$ $f$ ограничено сверху;
- $lim inf E ⁡ f (X n) ≥ E ⁡ f (X) {\ displaystyle \ liminf \ operatorname {E} f (X_ {n})) \ geq \ operatorname {E} f (X)}$ $\liminf \operatorname {E} f(X_{n})\geq \operatorname {E} f(X)$ для каждой нижней полунепрерывной функции $f {\ displaystyle f}$ $f$ , ограниченной снизу.
Теорема о непрерывном отображении утверждает, что для непрерывной функции g, если последовательность {X n } сходится по распределению к X, то {g (X n)} сходится по распределению к g (X).
- Однако обратите внимание, что сходимость в распределении {X n } к X и {Y n } к Y, как правило, не подразумевает сходимости в распределении {X n + Y n } до X + Y или от {X nYn} до XY.
Теорема Леви о непрерывности : последовательность {X n } сходится по распределению к X тогда и только тогда, когда последовательность соответствующих характеристических функций {φn} сходится поточечно к характеристической функции φ для X.
Сходимость по распределению метризуемый по метрике Леви – Прохорова.
Естественной связью с сходимостью по распределению является теорема о представлении Скорохода.

Сходимость по вероятности

Примеры сходимости по вероятности
Рост человека
Этот пример не следует понимать буквально. Рассмотрим следующий эксперимент. Сначала выберите случайного человека на улице. Пусть X будет его / ее ростом, который предположительно является случайной величиной. Затем попросите других людей оценить эту высоту на глаз. Пусть X n будет средним значением первых n ответов. Тогда (при отсутствии систематической ошибки ) по закону больших чисел последовательность X n по вероятности сходится к случайной величине X.
Прогнозирование генерации случайных чисел
Предположим, что генератор случайных чисел генерирует псевдослучайное число с плавающей запятой от 0 до 1. Пусть случайная величина X представляет распределение возможных выходных данных алгоритма. Поскольку псевдослучайное число генерируется детерминированно, его следующее значение не является действительно случайным. Предположим, что, наблюдая за последовательностью случайно сгенерированных чисел, вы можете вывести закономерность и делать все более точные прогнозы относительно того, каким будет следующее случайно сгенерированное число. Пусть X n будет вашим предположением о значении следующего случайного числа после наблюдения первых n случайных чисел. По мере того, как вы узнаете шаблон и ваши предположения станут более точными, не только распределение X n будет сходиться к распределению X, но и результаты X n будут сходиться с результатами of X.

Основная идея, лежащая в основе этого типа сходимости, состоит в том, что вероятность «необычного» результата становится все меньше и меньше по мере развития последовательности.

Концепция сходимости по вероятности очень часто используется в статистике. Например, оценщик называется непротиворечивым, если он сходится по вероятности к оцениваемому количеству. Сходимость по вероятности также является типом сходимости, установленным слабым законом больших чисел.

Определение

Последовательность {X n } случайных величин сходится в вероятность к случайной величине X, если для всех ε>0

lim n → ∞ Pr (| X n - X |>ε) = 0. {\ displaystyle \ lim _ {n \ to \ infty} \ Pr {\ big (} | X_ {n} -X |>\ varepsilon {\ big)} = 0.}

$\lim _{n\to \infty }\Pr {\big (}|X_{n}-X|>\ varepsilon {\ big)} = 0.$

Более подробно, пусть P n будет вероятность того, что X n находится вне шара радиуса ε с центром в X. Тогда говорят, что X n сходится по вероятности к X, если для любого ε>0 и любого δ>0 существует число N (которое может зависеть от ε и δ) такое, что для всех n ≥ N, P n< δ (the definition of limit).

Обратите внимание, что для выполнения условия невозможно, чтобы для каждого n случайные величины X и X n независимы (и, следовательно, c сходимость по вероятности - это условие для совместных cdf, в отличие от сходимости в распределении, которое является условием для отдельных cdf), если только X не является детерминированным, как для слабого закона больших чисел. В то же время случай детерминированного X не может, если детерминированное значение является точкой разрыва (не изолированной), обрабатываться сходимостью в распределении, где точки разрыва должны быть явно исключены.

Сходимость по вероятности обозначается добавлением буквы p над стрелкой, указывающей на сходимость, или использованием оператора предела вероятности «plim»:

X n → p X, X n → PX, plim n → ∞ Х п = Х. {\ Displaystyle X_ {n} \ {\ xrightarrow {p}} \ X, \ \ X_ {n} \ {\ xrightarrow {P}} \ X, \ \ {\ underset {n \ to \ infty} {\ operatorname {plim}}} \, X_ {n} = X.}

X_{n}\ {\xrightarrow {p}}\ X,\ \ X_{n}\ {\xrightarrow {P}}\ X,\ \ {\underset {n\to \infty }{\operatorname {plim} }}\,X_{n}=X.

(2)

Для случайных элементов {X n } в разделяемом метрическом пространстве (S, d), сходимость по вероятности определяется аналогично

∀ ε>0, Pr (d (X n, X) ≥ ε) → 0. {\ displaystyle \ forall \ varepsilon>0, \ Pr {\ big ( } d (X_ {n}, X) \ geq \ varepsilon {\ big)} \ до 0.}

\forall \varepsilon>0, \ Pr {\ big (} d (X_ {n}, X) \ geq \ varepsilon {\ big)} \ to 0.

Свойства

Сходимость по вероятности подразумевает сходимость в распределении.
В противоположном направлении сходимость в распределении подразумевает сходимость по вероятности, когда предельная случайная величина X является константой.
Сходимость по вероятности не означает почти гарантированной сходимости.
Теорема о непрерывном отображении утверждает t шляпа для каждой непрерывной функции g (·), если $X n → p X {\ displaystyle \ scriptstyle X_ {n} {\ xrightarrow {p}} X}$ $\scriptstyle X_{n}{\xrightarrow {p}}X$ , то также $g (X n) → pg (X) {\ displaystyle \ scriptstyle g (X_ {n}) {\ xrightarrow {p}} g (X)}$ $\scriptstyle g(X_{n}){\xrightarrow {p}}g(X)$ .
Сходимость по вероятности определяет топологию на пространство случайных величин над фиксированным вероятностным пространством. Эта топология метризуема с помощью метрики Ky Fan :

d (X, Y) = inf {ε>0: Pr (| X - Y |>ε) ≤ ε } {\ displaystyle d (X, Y) = \ inf \! {\ big \ {} \ varepsilon>0: \ \ Pr {\ big (} | XY |>\ varepsilon {\ big)} \ leq \ varepsilon { \ big \}}}

$d(X,Y)=\inf \!{\big \{}\varepsilon>0: \ \ Pr {\ big (} | XY |>\ varepsilon {\ big)} \ leq \ varepsilon {\ big \}}$

или, альтернативно, по этому показателю

d Y) знак равно E [мин (| X - Y |, 1)] {\ displaystyle d (X, Y) = \ mathbb {E} \ left [\ min (| XY |, 1) \ right]}

d(X,Y)=\mathbb {E} \left[\min(|X-Y|,1)\right]

Почти верная сходимость

Примеры почти верной сходимости
Пример 1
Рассмотрим животное, относящееся к некоторым недолговечным видам. Мы записываем количество пищи, которое это животное потребляет за день. Эта последовательность чисел будет непредсказуемой, но мы можем быть совершенно уверены, что в один прекрасный день это число станет нулевым, а потом останется нулевым.
Пример 2
Рассмотрим человека w каждое утро он подбрасывает семь монет. Каждый день он жертвует один фунт на благотворительность за каждую появившуюся голову. Однако в первый раз, когда в результате все решки, он остановится навсегда... Пусть X 1, X 2,… будет ежедневными суммами, полученными от благотворительной помощи. его... Мы можем быть почти уверены, что однажды эта сумма будет равна нулю, а после этого останется нулевой... Однако, когда мы рассматриваем любое конечное количество дней, есть ненулевое значение. вероятность того, что условие завершения не наступит.

Это тип стохастической сходимости, наиболее похожий на точечную сходимость, известный из элементарного реального анализа.

Определение

К говорят, что последовательность X n сходится почти наверняка или почти везде или с вероятностью 1 или сильно к X означает, что

Pr (lim n → ∞ X n = X) = 1. {\ displaystyle \ operatorname {Pr} \! \ left (\ lim _ {n \ to \ infty} \! X_ {n} = X \ right) = 1.}

\operatorname {Pr} \!\left(\lim _{n\to \infty }\!X_{n}=X\right)=1.

Это означает, что значения X n приближаются к значению X в том смысле (см. почти наверняка ) тех событий, для которых X n не сходится к X с вероятностью 0. Использование вероятностного пространства $(Ω, F, Pr) {\ displaystyle (\ Omega, {\ mathcal {F}}, \ operatorname {Pr) })}$ $(\Omega,{\mathcal {F}},\operatorname {Pr})$ и концепции случайной величины как функции от Ω до R, это эквивалентно утверждению

Pr ⁡ (ω ∈ Ω: lim n → ∞ Икс N (ω) знак равно Икс (ω)) = 1. {\ Displaystyle \ Operatorname {Pr} {\ Big (} \ omega \ in \ Omega: \ lim _ {n \ to \ infty} X_ {n} (\ omega) = X (\ omega) {\ Big)} = 1.}

\operatorname {Pr} {\Big (}\omega \in \Omega :\lim _{n\to \infty }X_{n}(\omega)=X(\omega){\Big)}=1.

Используя понятие верхнего предела последовательности множеств, почти наверняка сходимость также может быть определена следующим образом:

Pr ⁡ (lim sup n → ∞ {ω ∈ Ω: | X n (ω) - X (ω) |>ε}) = 0 для всех ε>0. {\ displaystyle \ operatorname {Pr} {\ Big (} \ limsup _ {n \ to \ infty} {\ big \ {} \ omega \ in \ Omega: | X_ {n} (\ omega) -X (\ omega) |>\ varepsilon {\ big \}} {\ Big)} = 0 \ quad {\ text {для всех}} \ quad \ varepsilon>0.}

\operatorname {Pr} {\Big (}\limsup _{n\to \infty }{\big \{}\omega \in \Omega :|X_{n}(\omega)-X(\omega)|>\ varepsilon {\ big \}} {\ Big)} = 0 \ quad {\ text {для всех}} \ quad \ varepsilon>0.

Почти надежная сходимость часто обозначается добавлением букв as над стрелкой, обозначающей сходимость:

X n → a. s. X. {\ displaystyle {\ overset {} {X_ {n} \, {\ xrightarrow {\ mathrm {as}}} \, X.}}}

{\overset {}{X_{n}\,{\xrightarrow {\mathrm {a.s.} }}\,X.}}

(3)

Для общих случайных элементов {Xn} на метрическом пространстве $(S, d) {\ displaystyle (S, d)}$ $(S,d)$ сходимость почти наверняка определяется аналогично:

Pr ⁡ (ω ∈ Ω: d (Икс N (ω), Икс (ω)) ⟶ N → ∞ 0) знак равно 1 {\ Displaystyle \ OperatorName {Pr} {\ Big (} \ omega \ in \ Omega: \, d {\ big ( } X_ {n} (\ omega), X (\ omega) {\ big)} \, {\ underset {n \ to \ i nfty} {\ longrightarrow}} \, 0 {\ Big)} = 1}

\operatorname {Pr} {\Big (}\omega \in \Omega :\,d{\big (}X_{n}(\omega),X(\omega){\big)}\,{\underset {n\to \infty }{\longrightarrow }}\,0{\Big)}=1

Свойства

Почти наверное сходимость подразумевает сходимость по вероятности (согласно лемме Фату ) и, следовательно, сходимость по распределению. Это понятие сходимости используется в строгом законе больших чисел.
. Концепция почти надежной сходимости не происходит из топологии на пространстве случайных величин. Это означает, что в пространстве случайных величин не существует такой топологии, что почти наверное сходящиеся последовательности являются в точности сходящимися последовательностями относительно этой топологии. В частности, не существует метрики почти надежной сходимости.

Несомненная сходимость или поточечная сходимость

Сказать, что последовательность случайных величин (Xn) определена в одном и том же вероятностном пространстве (т.е. случайный процесс ) сходится обязательно или везде или поточечно по направлению к X означает

lim n → ∞ X n (ω) = X (ω), ∀ ω ∈ Ω. {\ displaystyle \ lim _ {n \ to \ infty} X_ {n} (\ omega) = X (\ omega), \, \, \ forall \ omega \ in \ Omega.}

\lim _{n\to \infty }X_{n}(\omega)=X(\omega),\,\,\forall \omega \in \Omega.

где Ω - это выборочное пространство нижележащего вероятностного пространства, в котором определены случайные величины.

Это понятие точечной сходимости последовательности функций, расширенных до последовательности случайных величин. (Обратите внимание, что случайные величины сами по себе являются функциями).

{ω ∈ Ω | lim n → ∞ X n (ω) = X (ω)} = Ω. {\ displaystyle {\ big \ {} \ omega \ in \ Omega \, | \, \ lim _ {n \ to \ infty} X_ {n} (\ omega) = X (\ omega) {\ big \}} = \ Omega.}

{\big \{}\omega \in \Omega \,|\,\lim _{n\to \infty }X_{n}(\omega)=X(\omega){\big \}}=\Omega.

Несомненная сходимость случайной величины подразумевает все другие виды сходимости, указанные выше, но в теории вероятностей нет выгоды от использования уверенной сходимости по сравнению с использованием почти надежной сходимости. Разница между ними существует только на множествах с нулевой вероятностью. Поэтому очень редко используется понятие верной сходимости случайных величин.

Сходимость в среднем

Учитывая действительное число r ≥ 1, мы говорим, что последовательность X n сходится в r-м среднем ( или в L-норме ) к случайной величине X, если r-е абсолютные моменты E (| X n |) и E (| X |) для X n и X существуют, и

lim n → ∞ E ⁡ (| X n - X | r) = 0, {\ displaystyle \ lim _ { n \ to \ infty} \ operatorname {E} \ left (| X_ {n} -X | ^ {r} \ right) = 0,}

\lim _{n\to \infty }\operatorname {E} \left(|X_{n}-X|^{r}\right)=0,

где оператор E обозначает ожидаемое значение. Сходимость по r-му среднему означает, что ожидание r-й степени разницы между $X n {\ displaystyle X_ {n}}$ $X_{n}$ и $X {\ displaystyle X}$ $X$ сходится к нулю.

Этот тип сходимости часто обозначается добавлением буквы L над стрелкой, обозначающей сходимость:

X n → L r X. {\ displaystyle {\ overset {} {X_ {n} \, {\ xrightarrow {L ^ {r}}} \, X.}}}

{\overset {}{X_{n}\,{\xrightarrow {L^{r}}}\,X.}}

(4)

Наиболее важные случаи сходимости по r -е среднее:

Когда X n сходится в r-м среднем к X для r = 1, мы говорим, что X n сходится в среднем к X.
Когда X n сходится в r-м среднем к X для r = 2, мы говорим, что X n сходится в среднем квадрате (или в среднем квадратичном ) к X.

Сходимость в r-м среднем для r ≥ 1 подразумевает сходимость по вероятности (согласно неравенству Маркова ). Кроме того, если r>s ≥ 1, сходимость по r-му среднему означает сходимость по s-му среднему. Следовательно, сходимость в среднем квадрате означает сходимость в среднем.

Также стоит отметить, что если

X n → L r X {\ displaystyle {\ overset {} {X_ {n} {\ xrightarrow {L ^ {r}}} X}}}

{\overset {}{X_{n}{\xrightarrow {L^{r}}}X}}

(4)

, затем

lim n → ∞ E [| X n | r] = E [| X | r] {\ displaystyle \ lim _ {n \ to \ infty} E [| X_ {n} | ^ {r}] = E [| X | ^ {r}]}

\lim _{n\to \infty }E[|X_{n}|^{r}]=E[|X|^{r}]

Свойства

При условии, что вероятностное пространство завершено :

Если $X n → p X {\ displaystyle X_ {n} \ {\ xrightarrow {\ overset {} {p}}} \ X}$ $X_{n}\ {\xrightarrow {\overset {}{p}}}\ X$ и $X n → p Y {\ displaystyle X_ {n} \ {\ xrightarrow {\ overset {} {p}}} \ Y}$ $X_{n}\ {\xrightarrow {\overset {}{p}}}\ Y$ , затем $X = Y {\ displaystyle X = Y}$ $X=Y$ почти наверняка.
Если $X n → as X {\ displaystyle X_ {n} \ {\ xrightarrow {\ overset {} {\ text {a.s.}}}} \ X}$ $X_{n}\ {\xrightarrow {\overset {}{\text{a.s.}}}}\ X$ и $X n → a.s. Y {\ displaystyle X_ {n} \ {\ xrightarrow {\ overset {} {\ text {as}}}} \ Y}$ $X_{n}\ {\xrightarrow {\overset {}{\text{a.s.}}}}\ Y$ , затем $X = Y {\ displaystyle X = Y}$ $X=Y$ почти наверняка.
Если $X n → L r X {\ displaystyle X_ {n} \ {\ xrightarrow {\ overset {} {L ^ {r}}}} \ X}$ $X_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ X$ и $X n → L r Y {\ displaystyle X_ {n} \ {\ xrightarrow {\ overset {} {L ^ {r}}}} \ Y}$ $X_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ Y$ , тогда $X = Y {\ displaystyle X = Y}$ $X=Y$ почти наверняка.
Если $X n → p X {\ displaystyle X_ {n} \ {\ xrightarrow {\ overset {} {p}}} \ X}$ $X_{n}\ {\xrightarrow {\overset {}{p}}}\ X$ и $Y n → p Y {\ displaystyle Y_ {n} \ {\ xrightarrow {\ overset {} {p} }} \ Y}$ $Y_{n}\ {\xrightarrow {\overset {}{p}}}\ Y$ , затем $a X n + b Y n → pa X + b Y {\ displaystyle aX_ {n} + bY_ {n} \ {\ xrightarrow {\ overset {} {p}}} \ aX + bY}$ $aX_{n}+bY_{n}\ {\xrightarrow {\overset {}{p}}}\ aX+bY$ (для любых действительных чисел a и b) и $X n Y n → p XY {\ displaystyle X_ {n} Y_ {n} {\ xrightarrow {\ overset {} {p}}} \ XY}$ $X_{n}Y_{n}{\xrightarrow {\overset {}{p}}}\ XY$ .
Если $X n → как X {\ displaystyle X_ {n} \ {\ xrightarrow {\ overset {} {\ text {a.s.}}}} \ X}$ $X_{n}\ {\xrightarrow {\overset {}{\text{a.s.}}}}\ X$ и $Y n → a.s. Y {\ displaystyle Y_ {n} \ {\ xrightarrow {\ overset {} {\ text {a.s.}}} \ Y}$ $Y_{n}\ {\xrightarrow {\overset {}{\text{a.s.}}}}\ Y$ , затем $a X n + b Y n → a.s. a X + b Y {\ displaystyle aX_ {n} + bY_ {n} \ {\ xrightarrow {\ overset {} {\ text {as}}}} \ aX + bY}$ $aX_{n}+bY_{n}\ {\xrightarrow {\overset {}{\text{a.s.}}}}\ aX+bY$ (для любого реального числа a и b) и $X n Y n → как XY {\ displaystyle X_ {n} Y_ {n} {\ xrightarrow {\ overset {} {\ text {as}}}} \ XY}$ $X_{n}Y_{n}{\xrightarrow {\overset {}{\text{a.s.}}}}\ XY$ .
Если $X n → L r X {\ displaystyle X_ { п} \ {\ xrightarrow {\ overset {} {L ^ {r}}}} \ X}$ $X_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ X$ и $Y n → L r Y {\ displaystyle Y_ {n} \ {\ xrightarrow {\ overset {} {L ^ {r}}}} \ Y}$ $Y_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ Y$ , затем $a X n + b Y n → L ra X + b Y {\ displaystyle aX_ {n} + bY_ {n} \ {\ xrightarrow {\ overset {} {L ^ {r}}}} \ aX + bY}$ $aX_{n}+bY_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ aX+bY$ (для любых действительных чисел a и b).
Нет Приведенные выше утверждения верны для сходимости в распределении.

Цепочка следствий между различными понятиями сходимости отмечена в соответствующих разделах. Они есть, если использовать обозначения стрелок:

→ L s ⇒ s>r ≥ 1 → L r ⇓ → a.s. ⇒ → п ⇒ → d {\ displaystyle {\ begin {matrix} {\ xrightarrow {\ overset {} {L ^ {s}}}} {\ underset {s>r \ geq 1} {\ Rightarrow}} {\ xrightarrow {\ overset {} {L ^ {r}}}} \\ \ Downarrow \\ {\ xrightarrow {\ text {as}}} \ Rightarrow {\ xrightarrow {p}} \ Rightarrow {\ xrightarrow {d}} \ end {matrix}}}

{\begin{matrix}{\xrightarrow {\overset {}{L^{s}}}}{\underset {s>r \ geq 1} {\ Rightarrow}} {\ xrightarrow {\ overset {} {L ^ {r}}}} \\ \ Downarrow \\ {\ xrightarrow {\ text {as}}} \ Rightarrow {\ xrightarrow {p}} \ Rightarrow {\ xrightarrow {d}} \ end {matrix}}

Эти свойства вместе с номером других частных случаев, кратко изложены в следующем списке:

Почти наверное сходимость предполагает сходимость по вероятности:
$X n → as X ⇒ X n → p X {\ displaystyle X_ {n} \ {\ xrightarrow {\ text {as}}} \ X \ quad \ Rightarrow \ quad X_ {n} \ {\ xrightarrow {\ overset {} {p}}} \ X}$ $X_{n}\ {\xrightarrow {\text{a.s.}}}\ X\quad \Rightarrow \quad X_{n}\ {\xrightarrow {\overset {}{p}}}\ X$
Сходимость по вероятности подразумевает, что существует под -последовательность $(k n) {\ displaystyle (k_ {n})}$ $(k_{n})$ , которая почти наверняка сходится:
$X n → p X ⇒ X k n → a.s. Икс {\ Displaystyle X_ {п} \ {\ xrightarrow {\ overset {} {p}}} \ X \ quad \ Rightarrow \ quad X_ {k_ {n}} \ {\ xrightarrow {\ text {as}}} \ X}$ $X_{n}\ {\xrightarrow {\overset {}{p}}}\ X\quad \Rightarrow \quad X_{k_{n}}\ {\xrightarrow {\text{a.s.}}}\ X$
Сходимость по вероятности предполагает сходимость по распределению:
$X n → p X ⇒ X n → d X {\ displaystyle X_ {n} \ {\ xrightarrow {\ overset {} {p}}} \ X \ quad \ Rightarrow \ quad X_ {n} \ {\ xrightarrow {\ overset {} {d}}} \ X}$ $X_{n}\ {\xrightarrow {\overset {}{p}}}\ X\quad \Rightarrow \quad X_{n}\ {\xrightarrow {\overset {}{d}}}\ X$
Сходимость по среднему значению r-го порядка предполагает сходимость по вероятности:
$X n → L r Икс ⇒ Икс N → п Икс {\ Displaystyle X_ {n} \ {\ xrightarrow {\ overset {} {L ^ {r}}}} \ X \ quad \ Rightarrow \ quad X_ {n} \ {\ xrightarrow {\ overset {} {p}}} \ X}$ $X_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ X\quad \Rightarrow \quad X_{n}\ {\xrightarrow {\overset {}{p}}}\ X$
Сходимость по среднему значению r-го порядка подразумевает сходимость по среднему значению более низкого порядка, предполагая, что оба порядка больше или равны единице:
$X n → L r X ⇒ Икс N → L s Икс, {\ Displaystyle X_ {n} \ {\ xrightarrow {\ overset {} {L ^ {r}}}} \ X \ quad \ Rightarrow \ quad X_ {n} \ {\ xrightarrow {\ overset {} {L ^ {s}}}} \ X,}$ $X_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ X\quad \Rightarrow \quad X_{n}\ {\xrightarrow {\overset {}{L^{s}}}}\ X,$ при условии, что r ≥ s ≥ 1.
Если X n сходится по распределению к константе c, то X n сходится в задаче способность c:
$X n → dc ⇒ X n → pc, {\ displaystyle X_ {n} \ {\ xrightarrow {\ overset {} {d}}} \ c \ quad \ Rightarrow \ quad X_ {n} \ {\ xrightarrow {\ overset {} {p}}} \ c,}$ $X_{n}\ {\xrightarrow {\overset {}{d}}}\ c\quad \Rightarrow \quad X_{n}\ {\xrightarrow {\overset {}{p}}}\ c,$ при условии, что c является константой.
Если X n сходится по распределению к X и разность между X n и Y n сходится по вероятности к нулю, тогда Y n также сходится по распределению к X:
$X n → d X, | X n - Y n | → p 0 ⇒ Y n → d X {\displaystyle X_{n}\ {\xrightarrow {\overset {}{d}}}\ X,\ \ |X_{n}-Y_{n}|\ {\xrightarrow {\overset {}{p}}}\ 0\ \quad \Rightarrow \quad Y_{n}\ {\xrightarrow {\overset {}{d}}}\ X}$ $X_{n}\ {\xrightarrow {\overset {}{d}}}\ X,\ \ |X_{n}-Y_{n}|\ {\xrightarrow {\overset {}{p}}}\ 0\ \quad \Rightarrow \quad Y_{n}\ {\xrightarrow {\overset {}{d}}}\ X$
If Xnconverges in distribution to X and Ynconverges in distribution to a constant c, then the joint vector (Xn, Yn) converges in distribution to $( X, c) {\displaystyle (X,c)}$ $(X,c)$ :
$X n → d X, Y n → d c ⇒ ( X n, Y n) → d ( X, c) {\displaystyle X_{n}\ {\xrightarrow {\overset {}{d}}}\ X,\ \ Y_{n}\ {\xrightarrow {\overset {}{d}}}\ c\ \quad \Rightarrow \quad (X_{n},Y_{n})\ {\xrightarrow {\overset {}{d}}}\ (X,c)}$ $X_{n}\ {\xrightarrow {\overset {}{d}}}\ X,\ \ Y_{n}\ {\xrightarrow {\overset {}{d}}}\ c\ \quad \Rightarrow \quad (X_{n},Y_{n})\ {\xrightarrow {\overset {}{d}}}\ (X,c)$ provided c is a constant.
Note that the condition that Ynconverges to a constant is important, if it were to converge to a random variable Y then we wouldn't be able to conclude that (Xn, Yn) converges to $( X, Y) {\displaystyle (X,Y)}$ $(X,Y)$ .
If Xnconverges in probability to X and Ynconverges in probability to Y, then the joint vector (Xn, Yn) converges in probability to (X, Y):
$X n → p X, Y n → p Y ⇒ ( X n, Y n) → p ( X, Y) {\displaystyle X_{n}\ {\xrightarrow {\overset {}{p}}}\ X,\ \ Y_{n}\ {\xrightarrow {\overset {}{p}}}\ Y\ \quad \Rightarrow \quad (X_{n},Y_{n})\ {\xrightarrow {\overset {}{p}}}\ (X,Y)}$ $X_{n}\ {\xrightarrow {\overset {}{p}}}\ X,\ \ Y_{n}\ {\xrightarrow {\overset {}{p}}}\ Y\ \quad \Rightarrow \quad (X_{n},Y_{n})\ {\xrightarrow {\overset {}{p}}}\ (X,Y)$
If Xnconverges in probability to X, and if P(|Xn| ≤ b) = 1 for all n and some b, then Xnconverges in rth mean to X for all r ≥ 1. In other words, if Xnconverges in probability to X and all random variables Xnare almost surely bounded above and below, then Xnconverges to X also in any rth mean.
Almost sure representation. Usually, convergence in distribution does not imply convergence almost surely. However, for a given sequence {Xn} which converges in distribution to X0it is always possible to find a new probability space (Ω, F, P) and random variables {Yn, n = 0, 1,...} defined on it such that Ynis equal in distribution to Xnfor each n ≥ 0, and Ynconverges to Y0almost surely.
If for all ε>0,
$∑ n P ( | X n − X |>ε) < ∞, {\displaystyle \sum _{n}\mathbb {P} \left(|X_{n}-X|>\varepsilon \right)<\infty,}$ $\sum _{n}\mathbb {P} \left(|X_{n}-X|>\varepsilon \right)<\infty,$
then we say that Xnconverges almost completely, or almost in probability towards X. When Xnconverges almost completely towards X then it also converges almost surely to X. In other words, if Xnconverges in probability to X sufficiently quickly (i.e. the above sequence of tail probabilities is summable for all ε>0), then Xnalso converges almost surely to X. This is a direct implication from the Borel–Cantelli lemma.
If Snis a sum of n real independent random variables:
$S n = X 1 + ⋯ + X n {\displaystyle S_{n}=X_{1}+\cdots +X_{n}\,}$ $S_{n}=X_{1}+\cdots +X_{n}\,$
then Snconverges almost surely if and only if Snconverges in probability.
The dominated convergence theorem gives sufficient conditions for almost sure convergence to imply L-convergence:

X n → a.s. X | X n | < Y E ( Y) < ∞ } ⇒ X n → L 1 X {\displaystyle \left.{\begin{matrix}X_{n}{\xrightarrow {\overset {}{\text{a.s.}}}}X\\|X_{n}|

\left.{\begin{matrix}X_{n}{\xrightarrow {\overset {}{\text{a.s.}}}}X\\|X_{n}|<Y\\\mathrm {E} (Y)<\infty \end{matrix}}\right\}\quad \Rightarrow \quad X_{n}{\xrightarrow {L^{1}}}X

(5)

A necessary and sufficient condition for L convergence is $X n → P X {\displaystyle X_{n}{\xrightarrow {\overset {}{P}}}X}$ $X_{n}{\xrightarrow {\overset {}{P}}}X$ and the sequence (Xn) is uniformly integrable.