Выборочное среднее и ковариация

редактировать

Выборочное среднее или эмпирическое среднее и выборочная ковариация - это статистика, вычисленная из набора (выборка ) данных по одной или нескольким случайным переменным. Среднее значение выборки и ковариация выборки - это оценки генеральной совокупности среднего и совокупности ковариации, где термин совокупность относится к набору, из которого была взята выборка.

Выборочное среднее - это вектор, каждый из элементов которого является выборочным средним одной из случайных величин, то есть каждый из элементов которого является среднее арифметическое наблюдаемых значений одной из переменных. Матрица ковариации выборки представляет собой квадратную матрицу, элемент i, j которой представляет собой выборку ковариации (оценка ковариации совокупности) между наборами наблюдаемых значений двух переменных и чей Элемент i, i - это выборочная дисперсия наблюдаемых значений одной из переменных. Если наблюдались значения только одной переменной, то выборочное среднее - это одно число (среднее арифметическое наблюдаемых значений этой переменной), а выборочная ковариационная матрица также представляет собой просто одно значение (матрица 1x1, содержащая одно число, выборочная дисперсия наблюдаемых значений этой переменной).

Благодаря простоте расчета и другим желательным характеристикам, выборочное среднее и выборочная ковариация широко используются в статистике и приложениях для численного представления местоположения и дисперсии, соответственно, распределения .

Содержание

  • 1 Среднее значение выборки
  • 2 Ковариация выборки
  • 3 Несмещенность
  • 4 Дисперсия распределения выборки среднего значения выборки
  • 5 Взвешенные выборки
  • 6 Критика
  • 7 См. Также
  • 8 Ссылки

Среднее значение

Пусть xij {\ displaystyle x_ {ij}}x_ {ij} будет независимым наблюдением i. (i = 1,..., N) от j случайной величины (j = 1,..., K). Эти наблюдения могут быть организованы в N векторов-столбцов, каждый из которых содержит K записей, причем вектор-столбец K × 1 дает i наблюдений для всех переменных, обозначаемых xi {\ displaystyle \ mathbf {x} _ {i}}\ mathbf {x} _ {i} (я = 1,..., N).

вектор выборочного среднего x ¯ {\ displaystyle \ mathbf {\ bar {x}}}\ mathbf {\ bar {x}} - вектор-столбец, элемент j которого x ¯ j {\ displaystyle {\ bar {x}} _ {j}}\ bar {x} _ {j } - среднее значение из N наблюдений переменной j:

x ¯ j = 1 N ∑ i = 1 N xij, j = 1,…, K. {\ displaystyle {\ bar {x}} _ {j} = {\ frac {1} {N}} \ sum _ {i = 1} ^ {N} x_ {ij}, \ quad j = 1, \ ldots, K.}\ bar {x} _ {j} = \ frac {1} {N} \ sum_ {i = 1} ^ {N} x_ {ij}, \ quad j = 1, \ ldots, К.

Таким образом, вектор выборочного среднего содержит среднее значение наблюдений для каждой переменной и записывается как

x ¯ = 1 N ∑ i = 1 N xi = [x ¯ 1 ⋮ x ¯ j ⋮ Икс ¯ К] {\ Displaystyle \ mathbf {\ bar {x}} = {\ frac {1} {N}} \ sum _ {i = 1} ^ {N} \ mathbf {x} _ {i} = { \ begin {bmatrix} {\ bar {x}} _ {1} \\\ vdots \\ {\ bar {x}} _ {j} \\\ vdots \\ {\ bar {x}} _ {K} \ end {bmatrix}}}{\ displaystyle \ mathbf {\ bar {x}} = {\ frac {1} {N}} \ sum _ {i = 1} ^ {N} \ mathbf {x} _ {i} = {\ begin {bmatrix} {\ bar {x}} _ {1} \\\ vdots \\ {\ bar {x}} _ {j} \\\ vdots \\ {\ bar {x}} _ {K} \ end {bmatrix}}}

Выборочная ковариация

Выборочная ковариационная матрица - это K-by-K матрица Q = [qjk] {\ displaystyle \ textstyle \ mathbf {Q} = \ left [q_ {jk} \ right]}\ textstyle \ mathbf {Q} = \ left [q_ {jk} \ right] с записями

qjk = 1 N - 1 ∑ i = 1 N (xij - x ¯ j) (xik - x ¯ k), {\ displaystyle q_ {jk} = {\ frac {1} {N-1}} \ sum _ {i = 1} ^ {N} \ left (x_ {ij} - { \ bar {x}} _ {j} \ right) \ left (x_ {ik} - {\ bar {x}} _ {k} \ right),}q_ {jk} = \ frac {1} {N-1} \ sum_ {i = 1} ^ {N} \ left (x_ {ij} - \ bar {x} _j \ right) \ left (x_ {ik} - \ bar {x} _k \ right),

где qjk {\ displaystyle q_ { jk}}q_ {jk } - оценка ковариации между переменной j и переменной k совокупности, лежащей в основе данных. В терминах векторов наблюдения выборочная ковариация равна

Q = 1 N - 1 ∑ i = 1 N (xi. - x ¯) (xi. - x ¯) T, {\ displaystyle \ mathbf {Q} = {1 \ over {N-1}} \ sum _ {i = 1} ^ {N} (\ mathbf {x} _ {i}.- \ mathbf {\ bar {x}}) (\ mathbf {x} _ {i}.- \ mathbf {\ bar {x}}) ^ {\ mathrm {T}},}{\ displaystyle \ mathbf {Q} = {1 \ over {N-1}} \ sum _ {i = 1} ^ { N} (\ mathbf {x} _ {i}.- \ mathbf {\ bar {x}}) (\ mathbf {x} _ {i}.- \ mathbf {\ bar {x}}) ^ {\ mathrm {T}},}

В качестве альтернативы можно расположить векторы наблюдений как столбцы матрицы, чтобы

F = [ Икс 1 Икс 2… Икс N] {\ Displaystyle \ mathbf {F} = {\ begin {bmatrix} \ mathbf {x} _ {1} \ mathbf {x} _ {2} \ dots \ mathbf {x } _ {N} \ end {bmatrix}}}\ mathbf {F} = \ begin {bmatrix} \ mathbf {x} _1 \ mathbf {x} _2 \ dots \ mathbf {x} _N \ end {bmatrix } ,

, который представляет собой матрицу из K строк и N столбцов. Здесь образец ковариационной матрицы можно вычислить как

Q = 1 N - 1 (F - x ¯ 1 NT) (F - x ¯ 1 NT) T {\ displaystyle \ mathbf {Q} = {\ frac {1 } {N-1}} (\ mathbf {F} - \ mathbf {\ bar {x}} \, \ mathbf {1} _ {N} ^ {\ mathrm {T}}) (\ mathbf {F} - \ mathbf {\ bar {x}} \, \ mathbf {1} _ {N} ^ {\ mathrm {T}}) ^ {\ mathrm {T}}}\ mathbf {Q} = \ frac {1} {N-1} (\ mathbf {F} - \ mathbf {\ bar {x}} \, \ mathbf {1} _N ^ \ mathrm {T}) (\ mathbf {F} - \ mathbf {\ bar {x}} \, \ mathbf {1} _N ^ \ mathrm {T}) ^ \ mathrm {T} ,

где 1 N {\ displaystyle \ mathbf {1} _ {N}}\ mathbf {1} _N - вектор единиц N на 1. Если наблюдения расположены в виде строк, а не столбцов, то x ¯ {\ displaystyle \ mathbf {\ bar {x}}}\ mathbf {\ bar {x}} теперь вектор-строка размером 1 × K и M = FT {\ displaystyle \ mathbf {M} = \ mathbf {F} ^ {\ mathrm {T}}}\ mathbf {M} = \ mathbf {F} ^ \ mathrm {T} - матрица размером N × K, столбец j которой является вектором из N наблюдений по переменной j, тогда применение транспонирования в соответствующих местах дает

Q = 1 N - 1 (M - 1 N x ¯ T) T (M - 1 N x ¯ T). {\ displaystyle \ mathbf {Q} = {\ frac {1} {N-1}} (\ mathbf {M} - \ mathbf {1} _ {N} \ mathbf {{\ bar {x}} ^ {\ mathrm {T}}}) ^ {\ mathrm {T}} (\ mathbf {M} - \ mathbf {1} _ {N} \ mathbf {{\ bar {x}} ^ {\ mathrm {T}}}).}{\ displaystyle \ mathbf {Q} = {\ frac {1} {N-1}} (\ mathbf {M} - \ mathbf {1} _ { N} \ mathbf {{\ bar {x}} ^ {\ mathrm {T}}}) ^ {\ mathrm {T}} (\ mathbf {M} - \ mathbf {1} _ {N} \ mathbf {{ \ bar {x}} ^ {\ mathrm {T}}}).}

Подобно ковариационным матрицам для случайного вектора, выборочные ковариационные матрицы являются положительными полуопределенными. Чтобы доказать это, обратите внимание, что для любой матрицы A {\ displaystyle \ mathbf {A}}\ mathbf {A} матрица ATA {\ displaystyle \ mathbf {A} ^ {T} \ mathbf {A }}{\ displaystyle \ mathbf {A} ^ {T} \ mathbf {A}} является положительно полуопределенным. Кроме того, ковариационная матрица положительно определена тогда и только тогда, когда ранг x i. - x ¯ {\ displaystyle \ mathbf {x} _ {i}.- \ mathbf {\ bar {x}}}{\ displaystyle \ mathbf {x} _ {i}.- \ mathbf {\ bar {x}}} векторов равно K.

Беспристрастность

Выборочное среднее и выборочная ковариационная матрица - это несмещенные оценки для среднего и ковариационная матрица случайного вектора X {\ displaystyle \ textstyle \ mathbf {X}}\ textstyle \ mathbf {X} , вектор-строка, j-элемент которого (j = 1,..., K) является одной из случайных величин. Образец ковариационной матрицы имеет в знаменателе N - 1 {\ displaystyle \ textstyle N-1}\ textstyle N -1 , а не N {\ displaystyle \ textstyle N}\ textstyle N из-за вариант поправки Бесселя : Короче говоря, выборочная ковариация основана на разнице между каждым наблюдением и выборочным средним, но выборочное среднее немного коррелирует с каждым наблюдением, поскольку оно определяется в терминах всех наблюдений. Если известно среднее значение генеральной совокупности E ⁡ (X) {\ displaystyle \ operatorname {E} (\ mathbf {X})}\ operatorname {E } (\ mathbf {X}) , аналогичная несмещенная оценка

qjk = 1 N ∑ i Знак равно 1 N (xij - E ⁡ (X j)) (xik - E ⁡ (X k)), {\ displaystyle q_ {jk} = {\ frac {1} {N}} \ sum _ {i = 1} ^ {N} \ left (x_ {ij} - \ operatorname {E} (X_ {j}) \ right) \ left (x_ {ik} - \ operatorname {E} (X_ {k}) \ right),}q_ {jk} = \ frac {1} {N} \ sum_ {i = 1} ^ N \ left (x_ {ij} - \ operatorname {E} (X_j) \ right) \ left (x_ { ik} - \ operatorname {E} (X_k) \ right),

, использующий среднее значение генеральной совокупности, имеет в знаменателе N {\ displaystyle \ textstyle N}\ textstyle N . Это пример того, почему в вероятности и статистике важно различать случайные величины (заглавные буквы) и реализации случайных величин (строчные буквы).

оценка максимального правдоподобия ковариации

qjk = 1 N ∑ i = 1 N (xij - x ¯ j) (xik - x ¯ k) {\ displaystyle q_ {jk} = {\ frac {1} {N}} \ sum _ {i = 1} ^ {N} \ left (x_ {ij} - {\ bar {x}} _ {j} \ right) \ left (x_ {ik} - {\ bar {x}} _ {k} \ right)}q_ {jk} = \ frac {1} {N} \ sum_ {i = 1} ^ N \ left (x_ {ij} - \ bar {x} _j \ righ т) \ влево (x_ {ik} - \ bar {x} _k \ right)

для случая распределения Гаусса также имеет N в знаменателе. Отношение 1 / N к 1 / (N - 1) приближается к 1 для больших N, поэтому оценка максимального правдоподобия приблизительно равна несмещенной оценке, когда выборка большая.

Дисперсия выборочного распределения выборочного среднего

Для каждой случайной переменной выборочное среднее является хорошей оценкой среднего генерального значения, где «хорошая» оценка определяется как эффективный и беспристрастный. Конечно, оценка, скорее всего, не будет истинным значением среднего совокупности, поскольку разные выборки, взятые из одного и того же распределения, дадут разные выборочные средние и, следовательно, разные оценки истинного среднего. Таким образом, выборочное среднее - это случайная величина, а не константа, и, следовательно, имеет собственное распределение. Для случайной выборки из N наблюдений по j случайной переменной само распределение выборочного среднего имеет среднее значение, равное среднему по генеральной совокупности E (X j) {\ displaystyle E (X_ {j})}E (X_j) и дисперсия равна σ j 2 / N {\ displaystyle \ sigma _ {j} ^ {2} / N}{\ displaystyle \ sigma _ {j} ^ {2} / N} , где σ j 2 {\ displaystyle \ sigma _ {j } ^ {2}}\sigma^2_j- дисперсия генеральной совокупности.

Взвешенные выборки

Во взвешенной выборке каждый вектор xi {\ displaystyle \ textstyle {\ textbf {x}} _ {i}}\ textstyle {\ textbf {x}} _ {i} (каждый набор отдельных наблюдений по каждой из K случайных величин) назначается вес wi ≥ 0 {\ displaystyle \ textstyle w_ {i} \ geq 0}\ textstyle w_ {i} \ geq 0 . Без ограничения общности предположим, что веса нормализованы :

∑ i = 1 N wi = 1. {\ displaystyle \ sum _ {i = 1} ^ {N} w_ {i} = 1.}\ sum _ {i = 1} ^ {N} w_ {i} = 1.

(Если нет, разделите веса на их сумму). Тогда средневзвешенное вектор x ¯ {\ displaystyle \ textstyle \ mathbf {\ bar {x}}}\ textstyle \ mathbf {\ bar {x}} определяется как

x ¯ = ∑ i = 1 N wixi. {\ displaystyle \ mathbf {\ bar {x}} = \ sum _ {i = 1} ^ {N} w_ {i} \ mathbf {x} _ {i}.}\ mathbf {\ bar {x}} = \ sum_ {i = 1} ^ N w_i \ mathbf {x} _i.

и элементы qjk {\ displaystyle q_ {jk}}q_ {jk } взвешенной ковариационной матрицы Q {\ displaystyle \ textstyle \ mathbf {Q}}\ textstyle \ mathbf {Q } равны

qjk = 1 1 - ∑ i = 1 N wi 2 ∑ i = 1 N wi (xij - x ¯ j) (xik - x ¯ k). {\ displaystyle q_ {jk} = {\ frac {1} {1- \ sum _ {i = 1} ^ {N} w_ {i} ^ {2}}} \ sum _ {i = 1} ^ {N } w_ {i} \ left (x_ {ij} - {\ bar {x}} _ {j} \ right) \ left (x_ {ik} - {\ bar {x}} _ {k} \ right). }{\ displaystyle q_ {jk} = {\ frac {1} {1- \ sum _ {i = 1} ^ {N} w_ {i} ^ {2}}} \ sum _ {i = 1} ^ {N} w_ {i} \ left (x_ {ij} - {\ bar {x}} _ {j} \ right) \ left (x_ {ik } - {\ bar {x}} _ {k} \ right).}

Если все веса одинаковы, wi = 1 / N {\ displaystyle \ textstyle w_ {i} = 1 / N}\ textstyle w_ {i} = 1 / N , взвешенное среднее и ковариация уменьшаются до выборочного среднего и ковариация, упомянутая выше.

Критика

Выборочное среднее и выборочная ковариация не являются надежной статистикой, что означает, что они чувствительны к выбросам. Поскольку надежность часто является желаемой характеристикой, особенно в реальных приложениях, надежные альтернативы могут оказаться желательными, в частности, статистика на основе квантиля, такая как медиана выборки для местоположения и межквартильный размах (IQR) для дисперсии. Другие альтернативы включают усечение и усеченное среднее, как в усеченном среднем и усеченном среднем.

См. Также

Литература

  1. ^Ричард Арнольд Джонсон; Дин В. Уичерн (2007). Прикладной многомерный статистический анализ. Пирсон Прентис Холл. ISBN 978-0-13-187715-3. Проверено 10 августа 2012 года.
  2. ^Марк Галасси, Джим Дэвис, Джеймс Тайлер, Брайан Гоф, Джерард Юнгман, Майкл Бут и Фабрис Росси. Научная библиотека GNU - Справочное руководство, версия 1.15, 2011. Разд. 21.7 Взвешенные выборки
  3. ^The World Question Center 2006: Среднее значение выборки, Барт Коско
Последняя правка сделана 2021-06-06 09:27:20
Содержание доступно по лицензии CC BY-SA 3.0 (если не указано иное).
Обратная связь: support@alphapedia.ru
Соглашение
О проекте