Теорема Берри – Эссина

редактировать

В теории вероятностей центральная предельная теорема утверждает, что при определенных При обстоятельствах распределение вероятностей масштабированного среднего значения случайной выборки сходится к нормальному распределению, когда размер выборки увеличивается до бесконечности. При более сильных предположениях теорема Берри – Эссеена или неравенство Берри – Эссина дает более количественный результат, потому что он также определяет скорость, с которой имеет место эта сходимость, давая оценку на максимальной ошибке приближения между нормальным распределением и истинным распределением масштабированного выборочного среднего. Приближение измеряется расстоянием Колмогорова – Смирнова. В случае независимых выборок скорость сходимости равна n, где n - размер выборки, а константа оценивается в терминах третьего абсолютного нормализованных моментов.

Содержание

  • 1 Формулировка теоремы
    • 1.1 Одинаково распределенные слагаемые
    • 1.2 Неидентично распределенные слагаемые
    • 1.3 Многомерная версия
  • 2 См. Также
  • 3 Примечания
  • 4 Ссылки
  • 5 Внешние ссылки

Формулировка теоремы

Формулировки теоремы различаются, так как она была независимо открыта двумя математиками, Эндрю С. Берри (в 1941) и Карл-Густав Эссеен (1942), который затем вместе с другими авторами неоднократно совершенствовал его в течение последующих десятилетий.

Идентично распределенные слагаемые

Одна из версий, несколько жертвуя общностью ради ясности, следующая:

Существует положительная константа C такая, что если X 1, X 2,..., являются iid случайные величины с E (X1) = 0, E (X 1) = σ>0 и E (| X 1 |) = ρ < ∞, and if we define
Y n = X 1 + X 2 + ⋯ + X nn {\ displaystyle Y_ {n} = {X_ {1} + X_ {2} + \ cdots + X_ {n} \ over n}}Y_ {n} = {X_ {1} + X_ {2} + \ cdots + X_ {n} \ over n}
образец среднее значение, с F n кумулятивная функция распределения из
Y nn σ, {\ displaystyle {Y_ {n} {\ sqrt {n}} \ over { \ sigma}},}{Y_ {n} {\ sqrt {n}} \ over {\ sigma}},
и Φ кумулятивная функция распределения стандартного нормального распределения , затем для всех x и n
| F n (x) - Φ (x) | ≤ C ρ σ 3 n. (1) {\ displaystyle \ left | F_ {n} (x) - \ Phi (x) \ right | \ leq {C \ rho \ over \ sigma ^ {3} {\ sqrt {n}}}. \ \ \ \ (1)}{\ displaystyle \ left | F_ {n} (x) - \ Phi (x) \ right | \ leq {C \ rho \ over \ sigma ^ {3} {\ sqrt {n}}}. \ \ \ \ (1)}
Иллюстрация разницы в кумулятивных функциях распределения, упомянутых в теореме.

То есть: задана последовательность независимых и одинаково распределенных случайных величин, каждая из которых имеет означают нулевую и положительную дисперсию, если дополнительно третий абсолютный момент конечен, то кумулятивные функции распределения из стандартизированных выборочное среднее и стандартное нормальное распределение различаются (по вертикали, на графике) не более чем на указанную величину. Обратите внимание, что ошибка аппроксимации для всех n (и, следовательно, предельная скорость сходимости для неопределенного n достаточно большого) ограничена порядком числа n.

Расчетные значения константы C заметно уменьшились с годами, с первоначального значения 7,59 на Esseen (1942) до 0,7882 на van Beek (1972), затем 0,7655 по Шиганову (1986), затем 0,7056 по Шевцовой (2007), затем 0,7005 по Шевцовой (2008), затем 0,5894 по Тюрин (2009), затем 0,5129 по Королев и Шевцова (2010a), затем 0,4785 по Тюрин (2010). Подробный обзор можно найти в статьях Королев и Шевцова (2010a) и Королев и Шевцова (2010b). Наилучшая оценка на 2012 г., C < 0.4748, follows from the inequality

sup x ∈ R | F n (x) - Φ (x) | ≤ 0,33554 (ρ + 0,415 σ 3) σ 3 N, {\ Displaystyle \ sup _ {x \ in \ mathbb {R}} \ left | F_ {n} (x) - \ Phi (x) \ right | \ leq {0.33554 (\ rho +0.415 \ sigma ^ {3}) \ over \ sigma ^ {3} {\ sqrt {n}}},}{\ displaystyle \ sup _ {x \ in \ mathbb {R}} \ left | F_ {n} (x) - \ Phi (x) \ right | \ leq {0.33554 (\ rho +0.415 \ sigma ^ {3 }) \ over \ sigma ^ { 3} {\ sqrt {n}}},}

из-за Шевцова (2011), поскольку σ ≤ ρ и 0,33554 · 1,415 < 0.4748. However, if ρ ≥ 1.286σ, then the estimate

sup x ∈ R | F n (x) - Φ (x) | ≤ 0,3328 (ρ + 0,429 σ 3) σ 3 N, {\ Displaystyle \ sup _ {x \ in \ mathbb {R}} \ left | F_ {n} (x) - \ Phi (x) \ right | \ leq {0.3328 (\ rho +0.429 \ sigma ^ {3}) \ over \ sigma ^ {3} {\ sqrt {n}}},}{\ displaystyle \ sup _ {x \ in \ mathbb {R}} \ left | F_ {n} (x) - \ Phi (x) \ right | \ leq {0.3328 (\ rho +0.429 \ sigma ^ {3}) \ over \ sigma ^ {3} {\ sqrt {n}}},}

, что также доказано в Шевцова (2011), дает еще более точную верхнюю оценку.

Эссеен (1956) доказал, что константа также удовлетворяет нижней границе

C ≥ 10 + 3 6 2 π ≈ 0,40973 ≈ 1 2 π + 0,01079. {\ displaystyle C \ geq {\ frac {{\ sqrt {10}} + 3} {6 {\ sqrt {2 \ pi}}}} \ приблизительно 0,40973 \ приблизительно {\ frac {1} {\ sqrt {2 \ pi}}} + 0,01079.}C \ geq {\ frac {{\ sqrt {10}} + 3} {6 {\ sqrt {2 \ pi}}}} \ приблизительно 0,40973 \ приблизительно {\ гидроразрыва {1} {{\ sqrt {2 \ pi}}}} + 0,01079.

Неидентично распределенные слагаемые

Пусть X 1, X 2,..., независимые случайные величины с E (Xi) = 0, E (X i) = σ i>0 и E (| X i |) = ρ i< ∞. Also, let
S n = X 1 + Икс 2 + ⋯ + Икс N σ 1 2 + σ 2 2 + ⋯ + σ N 2 {\ Displaystyle S_ {n} = {X_ {1} + X_ {2} + \ cdots + X_ {n} \ over {\ sqrt {\ sigma _ {1} ^ {2} + \ sigma _ {2} ^ {2} + \ cdots + \ sigma _ {n} ^ {2}}}}}S_ {n} = {X_ {1} + X_ {2} + \ cdots + X_ {n} \ over {\ sqrt {\ sigma _ {1} ^ {2} + \ sigma _ {2} ^ {2} + \ cdots + \ sigma _ {n} ^ {2}}}}
быть нормализованным n -я частичная сумма. Обозначим F n - cdf для S n, а Φ - cdf стандартного нормального распределения. Для удобства обозначим
σ → = (σ 1,…, σ n), ρ → = (ρ 1,…, ρ n). {\ displaystyle {\ vec {\ sigma}} = (\ sigma _ {1}, \ ldots, \ sigma _ {n}), \ {\ vec {\ rho}} = (\ rho _ {1}, \ ldots, \ rho _ {n}).}{\ vec {\ sigma}} = (\ sigma _ {1}, \ ldots, \ sigma _ {n}), \ {\ vec {\ rho}} = (\ rho _ {1}, \ ldots, \ rho _ {n}).
В 1941 году Эндрю С. Берри доказал, что для всех n существует абсолютная постоянная C 1 такая, что
sup x ∈ R | F n (x) - Φ (x) | ≤ С 1 ⋅ ψ 1, (2) {\ displaystyle \ sup _ {x \ in \ mathbb {R}} \ left | F_ {n} (x) - \ Phi (x) \ right | \ leq C_ {1 } \ cdot \ psi _ {1}, \ \ \ \ (2)}\ sup _ {{x \ in {\ mathbb R}}} \ left | F_ {n} (x) - \ Phi (x) \ right | \ leq C_ {1} \ cdot \ psi _ {1}, \ \ \ \ (2)
где
ψ 1 = ψ 1 (σ →, ρ →) = (∑ i = 1 n σ i 2) - 1 / 2 ⋅ макс 1 ≤ я ≤ n ρ я σ я 2. {\ displaystyle \ psi _ {1} = \ psi _ {1} {\ big (} {\ vec {\ sigma}}, {\ vec {\ rho}} {\ big)} = {\ Big (} { \ textstyle \ sum \ limits _ {i = 1} ^ {n} \ sigma _ {i} ^ {2}} {\ Big)} ^ {- 1/2} \ cdot \ max _ {1 \ leq i \ leq n} {\ frac {\ rho _ {i}} {\ sigma _ {i} ^ {2}}}.}\ psi _ {1} = \ psi _ {1} {\ big (} {\ vec {\ sigma}}, {\ vec {\ rho}} {\ big)} = {\ Big (} {\ стиль текста \ сумма \ пределы _ {{я = 1}} ^ {п} \ сигма _ {я} ^ {2}} {\ большой)} ^ {{- 1/2}} \ cdot \ max _ {{1 \ leq i \ leq n}} {\ frac {\ rho _ {i}} {\ sigma _ {i} ^ {2}}}.
Независимо, в 1942 году Карл-Густав Эссеен доказал, что для для всех n существует абсолютная постоянная C 0 такая, что
sup x ∈ R | F n (x) - Φ (x) | ≤ С 0 ⋅ ψ 0, (3) {\ displaystyle \ sup _ {x \ in \ mathbb {R}} \ left | F_ {n} (x) - \ Phi (x) \ right | \ leq C_ {0 } \ cdot \ psi _ {0}, \ \ \ \ (3)}\ sup _ {{x \ in {\ mathbb R}}} \ left | F_ {n} (x) - \ Phi (x) \ right | \ leq C_ {0} \ cdot \ psi _ {0}, \ \ \ \ (3)
где
ψ 0 = ψ 0 (σ →, ρ →) = (∑ i = 1 n σ i 2) - 3 / 2 ⋅ ∑ я знак равно 1 n ρ я. {\ displaystyle \ psi _ {0} = \ psi _ {0} {\ big (} {\ vec {\ sigma}}, {\ vec {\ rho}} {\ big)} = {\ Big (} { \ textstyle \ sum \ limits _ {i = 1} ^ {n} \ sigma _ {i} ^ {2}} {\ Big)} ^ {- 3/2} \ cdot \ sum \ limits _ {i = 1 } ^ {n} \ rho _ {i}.}\ psi _ {0} = \ psi _ {0} {\ big (} {\ vec {\ sigma}}, {\ vec {\ rho }} {\ big)} = {\ Big (} {\ textstyle \ sum \ limits _ {{i = 1}} ^ {n} \ sigma _ {i} ^ {2}} {\ Big)} ^ { {-3/2}} \ cdot \ sum \ limits _ {{i = 1}} ^ {n} \ rho _ {i}.

Легко убедиться, что ψ 0≤ψ1. В связи с этим неравенство (3) принято называть неравенством Берри – Эссеена, а величина ψ 0 - дробью Ляпунова третьего порядка. Более того, в случае, когда слагаемые X 1,..., X n имеют идентичные распределения

ψ 0 = ψ 1 = ρ 1 σ 1 3 n, {\ displaystyle \ psi _ {0} = \ psi _ {1} = {\ frac {\ rho _ {1}} {\ sigma _ {1} ^ {3} {\ sqrt {n}}}},}\ psi _ {0} = \ psi _ { 1} = {\ frac {\ rho _ {1}} {\ sigma _ {1} ^ {3} {\ sqrt {n}}}},

и, значит, оценки, сформулированные неравенствами (1), (2) и (3), совпадают без учета константы.

Что касается C 0, очевидно, нижняя граница, установленная Esseen (1956), остается в силе:

C 0 ≥ 10 + 3 6 2 π = 0,4097 …. {\ displaystyle C_ {0} \ geq {\ frac {{\ sqrt {10}} + 3} {6 {\ sqrt {2 \ pi}}}} = 0,4097 \ ldots.}C_ {0} \ geq {\ frac {{\ sqrt {10}} + 3 } {6 {\ sqrt {2 \ pi}}}} = 0,4097 \ ldots.

Верхние границы для C 0 были впоследствии понижены с первоначальной оценки 7,59 из-за Esseen (1942) до (учитывая только недавние результаты) 0,9051 из-за Золотарева (1967), 0,7975 из-за на ван Бик (1972), 0,7915 в связи с Шигановым (1986), 0,6379 и 0,5606 в связи с Тюриным (2009) и Тюриным (2010). На 2011 год наилучшая оценка составляет 0,5600, полученная Шевцовой (2010).

Многомерная версия

Как и в случае с многомерной центральной предельной теоремой, существует многомерная версия теории Берри. –Теорема Эссеена.

Пусть X 1,…, X n {\ displaystyle X_ {1}, \ dots, X_ {n}}X_ {1}, \ точки, X_ {n} независимы R d {\ displaystyle \ mathbb {R} ^ {d}}{\ mathbb R} ^ {d} -значные случайные векторы, каждый из которых имеет нулевое среднее значение. Запишите S = ∑ i = 1 n X i {\ displaystyle S = \ sum _ {i = 1} ^ {n} X_ {i}}{\ displaystyle S = \ sum _ {i = 1} ^ {n} X_ {i}} и положите Σ = Cov ⁡ [S] {\ displaystyle \ Sigma = \ operatorname {Cov} [S]}{\ displaystyle \ Sigma = \ operatorname {Cov} [S] } обратимо. Пусть Z ∼ N ⁡ (0, Σ) {\ displaystyle Z \ sim \ operatorname {N} (0, \ Sigma)}{\ displaystyle Z \ sim \ operatorname {N} (0, \ Sigma)} будет a d {\ displaystyle d}d-мерный гауссовский с тем же средним и ковариационной матрицей, что и S {\ displaystyle S}S . Тогда для всех выпуклых множеств U ⊆ R d {\ displaystyle U \ substeq \ mathbb {R} ^ {d}}{\ displaystyle U \ substeq \ mathbb {R} ^ {d}} ,

| Pr [S ∈ U] - Pr [Z ∈ U] | ≤ C d 1/4 γ {\ displaystyle {\ big |} \ Pr [S \ in U] - \ Pr [Z \ in U] \, {\ big |} \ leq Cd ^ {1/4} \ gamma }{\ displaystyle {\ big |} \ Pr [S \ in U] - \ Pr [Z \ in U] \, {\ big |} \ leq Cd ^ {1/4} \ gamma} ,

где C {\ displaystyle C}C- универсальная константа, а γ = ∑ i = 1 n E ⁡ [‖ Σ - 1/2 X i ‖ 2 3] {\ displaystyle \ gamma = \ sum _ {i = 1} ^ {n} \ operatorname {E} {\ big [} \ | \ Sigma ^ {- 1/2} X_ {i} \ | _ {2} ^ {3} {\ big]}}{\ displaystyle \ gamma = \ sum _ {i = 1} ^ {n} \ operatorname {E} {\ big [} \ | \ Sigma ^ {- 1/2} X_ {i} \ | _ {2} ^ {3} {\ big]}} (третья степень L нормы ).

Предполагается, что зависимость от d 1/4 {\ displaystyle d ^ {1/4}}{\ displaystyle d ^ {1/4}} оптимальна, но в этом нет необходимости.

См. Также

Примечания

  1. ^Поскольку случайные величины распределены одинаково, X 2, X 3,... все имеют те же моменты, что и X 1.

Ссылки

Внешние ссылки

  1. ^Бенткус, Видмантас. «Оценка типа Ляпунова в R.» Теория вероятностей и ее приложения 49.2 (2005): 311–323.
  2. ^Райч, Мартин. «Многомерная теорема Берри – Эссина с явными константами». Бернулли 25.4A (2019): 2824–2853.
Последняя правка сделана 2021-05-12 13:41:36
Содержание доступно по лицензии CC BY-SA 3.0 (если не указано иное).
Обратная связь: support@alphapedia.ru
Соглашение
О проекте