Объединенная дисперсия

редактировать

В статистике объединенная дисперсия (также известная как комбинированная дисперсия, составная дисперсия или общая дисперсия, и записанное σ 2 {\ displaystyle \ sigma ^ {2}}\ sigma ^ {2} ) является методом для оценка дисперсии нескольких разных популяций, когда среднее значение каждой генеральной совокупности может быть разным, но можно предположить, что дисперсия каждой генеральной совокупности одинакова. Числовая оценка, полученная в результате использования этого метода, также называется объединенной дисперсией.

При предположении равных дисперсий совокупности дисперсия объединенной выборки обеспечивает более высокую точность оценку дисперсии, чем дисперсии отдельной выборки. Эта более высокая точность может привести к увеличению статистической мощности при использовании в статистических тестах, сравнивающих совокупности, таких как t-тест.

Квадратный корень из объединенной дисперсии Оценщик известен как объединенное стандартное отклонение (также известное как комбинированное стандартное отклонение, составное стандартное отклонение или общее стандартное отклонение ).

Содержание

  • 1 Мотивация
  • 2 Определение и вычисление
    • 2.1 Определение
    • 2.2 Вычисление
    • 2.3 Варианты
  • 3 Пример
  • 4 Влияние на точность
  • 5 Агрегация стандарта данные отклонения
    • 5.1 Статистика на основе совокупности
    • 5.2 Статистика на основе выборки
  • 6 См. также
  • 7 Ссылки
  • 8 Внешние ссылки

Мотивация

В статистике , много раз данные собираются для зависимой переменной, y, в диапазоне значений для независимой переменной, x. Например, наблюдение за расходом топлива может быть изучено как функция скорости двигателя при постоянной нагрузке на двигатель. Если для достижения небольшого отклонения y требуется множество повторных тестов при каждом значении x, стоимость тестирования может стать непомерно высокой. Разумные оценки дисперсии могут быть определены с использованием принципа объединенной дисперсии после повторения каждого теста при конкретном x всего несколько раз.

Определение и вычисление

Определение

Объединенная дисперсия - это оценка фиксированной общей дисперсии σ 2 {\ displaystyle \ sigma ^ {2}}\ sigma ^ {2} , лежащая в основе различных популяций, имеющих разные средства.

Вычисление

Если совокупности проиндексированы i = 1,…, k {\ displaystyle i = 1, \ ldots, k}i Знак равно 1, \ ldots, к , тогда объединенный дисперсия sp 2 {\ displaystyle s_ {p} ^ {2}}s_ {p} ^ {2} может быть вычислена по средневзвешенному

sp 2 = ∑ i = 1 k (ni - 1) si 2 ∑ я знак равно 1 k (ni - 1) = (n 1 - 1) s 1 2 + (n 2 - 1) s 2 2 + ⋯ + (nk - 1) sk 2 n 1 + n 2 + ⋯ + nk - к, {\ displaystyle s_ {p} ^ {2} = {\ frac {\ sum _ {i = 1} ^ {k} (n_ {i} -1) s_ {i} ^ {2}} { \ sum _ {i = 1} ^ {k} (n_ {i} -1)}} = {\ frac {(n_ {1} -1) s_ {1} ^ {2} + (n_ {2} - 1) s_ {2} ^ {2} + \ cdots + (n_ {k} -1) s_ {k} ^ {2}} {n_ {1} + n_ {2} + \ cdots + n_ {k} - k}},}{\ displaystyle s_ {p} ^ {2} = {\ frac {\ сумма _ {i = 1} ^ {k} (n_ {i} -1) s_ {i} ^ {2}} {\ sum _ {i = 1} ^ {k} (n_ {i} -1)} } = {\ frac {(n_ {1} -1) s_ {1} ^ {2} + (n_ {2} -1) s_ {2} ^ {2} + \ cdots + (n_ {k} -1) s_ {k} ^ {2}} {n_ {1} + n_ {2} + \ cdots + n_ {k} -k}},}

где ni {\ displaystyle n_ {i}}n_ {i} - это размер выборки генеральной совокупности i {\ displaystyle i}i и выборочные дисперсии равны

si 2 {\ displaystyle s_ {i} ^ {2}}s_ {i} ^ {2} = 1 ni - 1 ∑ j = 1 ni (yj - yi ¯) 2 {\ displaystyle {\ frac {1} {n_ {i} -1}} \ sum _ {j = 1} ^ {n_ {i}} \ left (y_ {j} - {\ overline {y_ {i}) }} \ right) ^ {2}}{\ displaystyle {\ frac {1} {n_ {i} -1}} \ sum _ {j = 1} ^ {n_ {i}} \ left (y_ {j} - {\ overline {y_ {i}}} \ right) ^ {2}} .

Использование (ni - 1) {\ displaystyle (n_ {i} -1)}(n_ {i} -1) wei множители вместо ni {\ displaystyle n_ {i}}n_ {i} взяты из поправки Бесселя.

Варианты

Несмещенная оценка методом наименьших квадратов σ 2, {\ displaystyle \ sigma ^ {2},}{\ displaystyle \ sigma ^ {2},}

sp 2 = ∑ я = 1 к (ni - 1) si 2 ∑ я = 1 k (ni - 1), {\ displaystyle s_ {p} ^ { 2} = {\ frac {\ sum _ {i = 1} ^ {k} (n_ {i} -1) s_ {i} ^ {2}} {\ sum _ {i = 1} ^ {k} ( n_ {i} -1)}},}{\ displaystyle s_ {p} ^ {2} = {\ frac {\ sum _ {i = 1} ^ {k} (n_ {i} -1) s_ {i} ^ {2}} {\ sum _ {i = 1} ^ {k} (n_ {i} -1)}},}

и смещенная оценка максимального правдоподобия

sp 2 = ∑ i = 1 k (ni - 1) si 2 ∑ i = 1 kni, {\ displaystyle s_ {p } ^ {2} = {\ frac {\ sum _ {i = 1} ^ {k} (n_ {i} -1) s_ {i} ^ {2}} {\ sum _ {i = 1} ^ { k} n_ {i}}},}{\ displaystyle s_ {p} ^ {2} = {\ frac {\ sum _ {i = 1} ^ {k} (n_ {i} -1) s_ {i} ^ {2}} {\ sum _ {i = 1} ^ {k} n_ {i}}},}

используются в разных контекстах. Первый может дать объективную sp 2 {\ displaystyle s_ {p} ^ {2}}s_ {p} ^ {2} для оценки σ 2 {\ displaystyle \ sigma ^ {2}}\ sigma ^ {2} когда две группы имеют одинаковую дисперсию населения. Последний может дать более коэффициент sp 2 {\ displaystyle s_ {p} ^ {2}}s_ {p} ^ {2} для оценки σ 2 {\ displaystyle \ sigma ^ {2}}\ sigma ^ {2} необъективно. Обратите внимание, что величины s i 2 {\ displaystyle s_ {i} ^ {2}}s_ {i} ^ {2} в правых частях обоих уравнений являются несмещенными оценками.

Пример

Рассмотрим следующий набор данных для y, полученных на различных уровнях независимой переменной x.

xy
131, 30, 29
242, 41, 40, 39
331, 28
423, 22, 21, 19, 18
521, 20, 19, 18,17

Количество испытаний, среднее значение, дисперсия и стандартное отклонение представлены в следующей таблице.

xnyсреднееsisi
1330,01,01,0
2440,51,671,29
3229,54,52,12
4520,64,32,07
5519,02,51,58

Эти статистические данные представляют дисперсия и стандартное отклонение для каждого подмножества данных на различных уровнях x. Если мы можем предположить, что одни и те же явления генерируют случайную ошибку на каждом уровне x, вышеуказанные данные можно «объединить», чтобы выразить единую оценку дисперсии и стандартного отклонения. В некотором смысле это предполагает нахождение среднего отклонения или стандартного отклонения среди пяти результатов выше. Эта средняя дисперсия рассчитывается путем взвешивания отдельных значений с размером подмножества для каждого уровня x. Таким образом, объединенная дисперсия определяется как

s P 2 = (n 1 - 1) s 1 2 + (n 2 - 1) s 2 2 + ⋯ + (nk - 1) sk 2 (n 1 - 1) + (n 2 - 1) + ⋯ + (nk - 1) {\ displaystyle s_ {P} ^ {2} = {\ frac {(n_ {1} -1) s_ {1} ^ {2} + (n_ {2} -1) s_ {2} ^ {2} + \ cdots + (n_ {k} -1) s_ {k} ^ {2}} {(n_ {1} -1) + (n_ {2} -1) + \ cdots + (n_ {k} -1)}}}{\ displaystyle s_ {P} ^ {2} = {\ frac {(n_ {1} -1) s_ {1} ^ {2} + (n_ {2} -1) s_ {2} ^ {2} + \ cdots + (n_ {k} -1) s_ {k} ^ {2}} {(n_ {1} -1) + (n_ {2} -1) + \ cdots + (n_ {k} -1)}}}

где n 1, n 2,..., n k - размеры подмножеств данных на каждом уровне переменной x, а s 1, s 2,..., s k - их соответствующие дисперсии.

Объединенная дисперсия данных, показанных выше, поэтому:

sp 2 = 2.764 {\ displaystyle s_ {p} ^ {2} = 2.764 \,}{\ displaystyle s_ {p} ^ {2} = 2.764 \,}

Влияние на точность

Объединенная дисперсия - это оценка, когда существует корреляция между объединенными наборами данных или среднее значение наборов данных не идентично. Объединенная вариация менее точна, чем больше ненулевое значение корреляции или чем дальше средние значения между наборами данных.

Вариация данных для неперекрывающихся наборов данных:

σ X 2 = (∑ i [(NX i - 1) σ X i 2 + NX i μ X i 2] - [∑ я NX я] μ Икс 2) ∑ я NX я - 1 {\ displaystyle {\ begin {align} \ sigma _ {X} ^ {2} = {\ frac {\ left (\ sum _ {i} {\ left [(N_ {X_ {i}} - 1) \ sigma _ {X_ {i}} ^ {2} + N_ {X_ {i}} \ mu _ {X_ {i}} ^ {2} \ right] } - \ left [\ sum _ {i} {N_ {X_ {i}}} \ right] \ mu _ {X} ^ {2} \ right)} {\ sum _ {i} {N_ {X_ {i }} - 1}}} \ end {align}}}{\ displaystyle { \ begin {align} \ sigma _ {X} ^ {2} = {\ frac {\ left (\ sum _ {i} {\ left [(N_ {X_ {i}} - 1) \ sigma _ {X_) {i}} ^ {2} + N_ {X_ {i}} \ mu _ {X_ {i}} ^ {2} \ right]} - \ left [\ sum _ {i} {N_ {X_ {i} }} \ right] \ mu _ {X} ^ {2} \ right)} {\ sum _ {i} {N_ {X_ {i}} - 1}}} \ end {align}}}

Где среднее значение определяется как:

μ X = (∑ i NX i μ X i) ∑ i NX i {\ displaystyle {\ begin { выровнено} \ mu _ {X} = {\ frac {\ left (\ sum _ {i} {N_ {X_ {i}} \ mu _ {X_ {i}}} \ right)} {\ sum _ { i} {N_ {X_ {i}}}}} \ end {align}}}{\ displaystyle {\ begin {align} \ mu _ {X} = {\ frac {\ left (\ sum _ {i} {N_ {X_ {i}} \ mu _ {X_ {i}) }} \ right)} {\ sum _ {i} {N_ {X_ {i}}}}} \ end {align}}}

Учитывая смещенную максимальную вероятность, определенную как:

sp 2 = ∑ i = 1 k (ni - 1) si 2 ∑ я = 1 кни, {\ displaystyle s_ {p} ^ {2} = {\ frac {\ sum _ {i = 1} ^ {k} (n_ {i} -1) s_ {i} ^ {2}} {\ sum _ {i = 1} ^ {k} n_ {i}}},}{\ displaystyle s_ {p} ^ {2} = {\ frac {\ sum _ {i = 1} ^ {k} (n_ {i} -1) s_ {i} ^ {2}} {\ sum _ {i = 1} ^ {k} n_ {i}}},}

Тогда ошибка в смещенной оценке максимального правдоподобия будет:

E rror = sp 2 - σ X 2 = ∑ i (NX i - 1) si 2 ∑ i NX i - 1 ∑ i NX i - 1 (∑ i [(NX i - 1) σ X i 2 + N Икс я μ Икс я 2] - [∑ я NX я] μ Икс 2) {\ displaystyle {\ begin {align} Ошибка = s_ {p} ^ {2} - \ sigma _ {X} ^ {2} \\ [3pt] = {\ frac {\ sum _ {i} (N_ {X_ {i}} - 1) s_ {i} ^ {2}} {\ sum _ {i} N_ {X_ {i}}}} - {\ frac {1} {\ sum _ {i} {N_ {X_ {i}} - 1}}} \ left (\ sum _ {i} {\ left [(N_ {X_ {i}} - 1) \ sigma _ {X_ {i}} ^ {2} + N_ {X_ {i}} \ mu _ {X_ {i}} ^ {2} \ right]} - \ left [\ sum _ {i} { N_ {X_ {i}}} \ right] \ mu _ {X} ^ {2} \ right) \ end {align}}}{\ displaystyle {\ begin {align} Error = s_ {p} ^ {2} - \ sigma _ {X} ^ {2} \\ [3pt] = {\ frac {\ sum _ {i} (N_ {X_ {i}} - 1) s_ {i} ^ {2}} {\ sum _ {i} N_ {X_ {i}}}} - {\ frac {1} {\ sum _ {i} {N_ {X_ {i}} - 1}}} \ left (\ sum _ {i} {\ left [(N_ {X_ {i}} - 1) \ sigma _ {X_ {i}} ^ {2} + N_ {X_ {i}} \ mu _ {X_ {i}} ^ {2} \ right]} - \ left [\ sum _ {i} {N_ {X_ { i}}} \ right] \ mu _ {X} ^ {2} \ right) \ end {align}}}

Предполагая, что N такое большое, что:

∑ i NX i ≈ ∑ я NX я - 1 {\ displaystyle {\ begin {выровнено} \ sum _ {i} N_ {X_ {i}} \ приблизительно \ sum _ {i} {N_ {X_ {i}} - 1} \ end {выровнено }}}{\ displaystyle {\ begin {выровнено} \ sum _ {i} N_ {X_ {i}} \ приблизительно \ sum _ {i} {N_ {X_ {i}} - 1} \ end {align}}}

Тогда ошибка оценки сводится к:

E = - (∑ i [NX i μ X i 2] - [∑ i NX i] μ X 2) ∑ i NX i = μ X 2 - ∑ я [NX я μ Икс я 2] ∑ я NX я {\ Displaystyle {\ begin {выровнено} E = - {\ frac {\ left (\ sum _ {i} {\ left [N_ {X_ {i }} \ mu _ {X_ {i}} ^ {2} \ right]} - \ left [\ sum _ {i} {N_ {X_ {i}}} \ right] \ mu _ {X} ^ {2 } \ right)} {\ sum _ {i} N_ {X_ {i}}}} \\ [3pt] = \ mu _ {X} ^ {2} - {\ frac {\ sum _ {i} {\ left [N_ {X_ {i}} \ mu _ {X_ {i}} ^ {2} \ right]}} {\ sum _ {i} N_ {X_ {i}}}} \\ [3pt] \ end {выравнивается}}}{\ displaystyle {\ begin {align} E = - {\ frac {\ left (\ sum _ {i} {\ left [N_ {X_ {i}} \ mu _ {X_ {i}} ^ {2} \ right]} - \ left [\ sum _ {i} {N_ {X_ {i}}} \ right] \ mu _ {X} ^ {2} \ right)} {\ sum _ {i} N_ {X_ {i}}}} \\ [3pt] = \ mu _ {X} ^ {2} - {\ frac {\ sum _ {i} {\ left [N_ {X_ {i}} \ mu _ {X_ {i}} ^ {2} \ right]} } {\ sum _ {i} N_ {X_ {i}}}} \\ [3pt] \ end {align}}}

Или альтернативно:

E = [∑ i NX i μ X i ∑ i NX i] 2 - ∑ i [NX i μ X i 2] ∑ i NX i = [∑ i NX i μ X i] 2 - ∑ i NX i ∑ я [NX я μ Икс я 2] [∑ я NX я] 2 {\ Displaystyle {\ begin {align} E = \ left [{\ frac {\ sum _ {i} {N_ {X_ {i}} \ mu _ {X_ {i}}}} {\ sum _ {i} {N_ {X_ {i}}}}} \ right] ^ {2} - {\ frac {\ sum _ {i} {\ left [ N_ {X_ {i}} \ mu _ {X_ {i}} ^ {2} \ right]}} {\ sum _ {i} N_ {X_ {i}}}} \\ [3pt] = {\ frac {\ left [\ sum _ {i} {N_ {X_ {i}} \ mu _ {X_ {i}}} \ right] ^ {2} - \ sum _ {i} N_ {X_ {i}} \ сумма _ {i} {\ left [N_ {X_ {i}} \ mu _ {X_ {i}} ^ {2} \ right]}} {\ left [\ sum _ {i} N_ {X_ {i} } \ right] ^ {2}}} \ end {align}}}{\ displaystyle {\ begin {align} E = \ left [{\ frac {\ sum _ {i} {N_ {X_ {i}} \ mu _ {X_ {i}}}} {\ sum _ {i} {N_ {X_ {i}}}}} \ right] ^ {2} - {\ frac {\ сумма _ {i} {\ left [N_ {X_ {i}} \ mu _ {X_ {i}} ^ {2} \ right]}} {\ sum _ {i} N_ {X_ {i}}}} \\ [3pt] = {\ frac {\ left [\ sum _ {i} {N_ {X_ {i}} \ mu _ {X_ {i}}} \ right] ^ {2} - \ sum _ {i } N_ {X_ {i}} \ sum _ {i} {\ left [N_ {X_ {i}} \ mu _ {X_ {i}} ^ {2} \ right]}} {\ left [\ sum _ {i} N_ {X_ {i}} \ right] ^ {2}}} \ end {align}}}

Агрегация данных стандартного отклонения

Вместо оценки объединенного стандартного отклонения следующий способ точного агрегирования стандартного отклонения при более статистических информация имеется.

Статистика на основе совокупности

Популяции наборов, которые могут перекрываться, можно вычислить просто следующим образом:

NX ∪ Y = NX + NY - NX ∩ Y {\ displaystyle { \ begin {align} N_ {X \ cup Y} = N_ {X} + N_ {Y} -N_ {X \ cap Y} \\\ end {align}}}{\ displaystyle {\ begin {align} N_ {X \ cup Y} = N_ {X} + N_ {Y} -N_ {X \ cap Y} \\\ конец {выровнено}}}

Популяции наборов, которые не перекрываются, можно рассчитать просто следующим образом:

X ∩ Y = ∅ ⇒ NX ∩ Y = 0 ⇒ NX ∪ Y = NX + NY {\ displaystyle {\ begin {align} X \ cap Y = \ varnothing \ Стрелка вправо N_ {X \ cap Y} = 0 \\ \ Rightarrow N_ {X \ cup Y} = N_ {X} + N_ {Y} \ end {align}}}{\ displaystyle {\ begin {align} X \ cap Y = \ varnothing \ Rightarrow N_ {X \ cap Y} = 0 \\ \ Rightarrow N_ {X \ cup Y} = N_ {X} + N_ {Y} \ end {align}}}

Стандартные отклонения неперекрытия (X ∩ Y = ∅) подгруппы могут быть агрегированы следующим образом, если размер (фактический или относительно друг друга) и средние значения каждой известны:

μ X ∪ Y = NX μ X + NY μ YNX + NY σ Икс ∪ Y знак равно NX σ X 2 + NY σ Y 2 NX + NY + NXNY (NX + NY) 2 (μ X - μ Y) 2 {\ displaystyle {\ begin {align} \ mu _ {X \ cup Y } = {\ frac {N_ {X} \ mu _ {X} + N_ {Y} \ mu _ {Y}} {N_ {X} + N_ {Y}}} \\ [3pt] \ sigma _ { X \ cup Y} = {\ sqrt {{\ frac {N_ {X} \ sigma _ {X} ^ {2} + N_ {Y} \ sig) ma _ {Y} ^ {2}} {N_ {X} + N_ {Y}}} + {\ frac {N_ {X} N_ {Y}} {(N_ {X} + N_ {Y}) ^ { 2}}} (\ mu _ {X} - \ mu _ {Y}) ^ {2}}} \ end {align}}}{\ displaystyle {\ begin {align} \ mu _ { X \ cup Y} = {\ frac {N_ {X} \ mu _ {X} + N_ {Y} \ mu _ {Y}} {N_ {X} + N_ {Y}}} \\ [3pt] \ sigma _ {X \ cup Y} = {\ sqrt {{\ frac {N_ {X} \ sigma _ {X} ^ {2} + N_ {Y} \ sigma _ {Y} ^ {2}} { N_ {X} + N_ {Y}}} + {\ frac {N_ {X} N_ {Y}} {(N_ {X} + N_ {Y}) ^ {2}}} (\ mu _ {X} - \ mu _ {Y}) ^ {2}}} \ end {align}}}

Например, предположим, что известно, что средний американец имеет среднее рост 70 дюймов со стандартным отклонением в три дюйма и что средняя американка имеет средний рост 65 дюймов со стандартным отклонением в два дюйма. Также предположим, что количество мужчин N равно количеству женщин. Тогда среднее и стандартное отклонение роста взрослых американцев можно рассчитать как

μ = N ⋅ 70 + N ⋅ 65 N + N = 70 + 65 2 = 67,5 σ = 3 2 + 2 2 2 + (70-65) 2 2 2 = 12,75 ≈ 3,57 {\ displaystyle {\ begin {align} \ mu = {\ frac {N \ cdot 70 + N \ cdot 65} {N + N}} = {\ frac {70 + 65} {2}} = 67,5 \\ [3pt] \ sigma = {\ sqrt {{\ frac {3 ^ {2} + 2 ^ {2}} {2}} + {\ frac {(70–65) ^ {2}} {2 ^ {2}}}}} = {\ sqrt {12.75}} \ приблизительно 3,57 \ end {align}}}{\ displaystyle {\ begin {align} \ mu = {\ frac {N \ cdot 70 + N \ cdot 65} {N + N}} = {\ frac {70 + 65} {2}} = 67,5 \\ [3pt] \ sigma = {\ sqrt {{\ frac {3 ^ {2} + 2 ^ {2}} {2}} + {\ гидроразрыв {(70-65) ^ {2}} {2 ^ {2}}}}} = {\ sqrt {12.75}} \ приблизительно 3,57 \ end {выровнен}}}

Для более общего случая M неперекрывающихся популяций, X 1 - X M, и совокупная совокупность X = ⋃ i X i {\ displaystyle \ scriptstyle X \, = \, \ bigcup _ {i} X_ {i}}\ scriptstyle X \, = \, \ bigcup _ {i} X_ {i} ,

μ X = ∑ i NX i μ X i ∑ i NX i σ X = ∑ i NX i σ X i 2 ∑ i NX i + ∑ i < j N X i N X j ( μ X i − μ X j) 2 ( ∑ i N X i) 2 {\displaystyle {\begin{aligned}\mu _{X}={\frac {\sum _{i}N_{X_{i}}\mu _{X_{i}}}{\sum _{i}N_{X_{i}}}}\\[3pt]\sigma _{X}={\sqrt {{\frac {\sum _{i}N_{X_{i}}\sigma _{X_{i}}^{2}}{\sum _{i}N_{X_{i}}}}+{\frac {\sum _{i{\ displaystyle {\ begin {align} \ mu _ {X} = {\ fr ac {\ sum _ {i} N_ {X_ {i}} \ mu _ {X_ {i}}} {\ sum _ {i} N_ {X_ {i}}}} \\ [3pt] \ sigma _ { X} = {\ sqrt {{\ frac {\ sum _ {i} N_ {X_ {i}} \ sigma _ {X_ {i}} ^ {2}} {\ sum _ {i} N_ {X_ { i}}}} + {\ frac {\ sum _ {i <j} N_ {X_ {i}} N_ {X_ {j}} (\ mu _ {X_ {i}} - \ mu _ {X_ {j }}) ^ {2}} {{\ big (} \ sum _ {i} N_ {X_ {i}} {\ big)} ^ {2}}}}} \ end {align}}} ,

где

X i ∩ X j = ∅, ∀ i < j. {\displaystyle X_{i}\cap X_{j}=\varnothing,\quad \forall \ iX_ {i} \ cap X_ {j} = \ varnothing, \ quad \ forall \ i <j.

Если размер (фактический или относительно друг друга), среднее значение и стандартное отклонение двух перекрывающихся популяций известны для популяций, а также их пересечение, то стандартное отклонение для генеральной совокупности все равно можно рассчитать как следует:

μ X ∪ Y = 1 NX ∪ Y (NX μ X + NY μ Y - NX ∩ Y μ X ∩ Y) σ X ∪ Y = 1 NX ∪ Y (NX [σ X 2 + μ X 2] + NY [σ Y 2 + μ Y 2 ] - NX ∩ Y [σ X ∩ Y 2 + μ X ∩ Y 2]) - μ X ∪ Y 2 {\ displaystyle {\ begin {align} \ mu _ {X \ cup Y} = {\ frac {1 } {N_ {X \ cup Y}}} \ left (N_ {X} \ mu _ {X} + N_ {Y} \ mu _ {Y} -N_ {X \ cap Y} \ mu _ {X \ cap Y} \ right) \\ [3pt] \ sigma _ {X \ cup Y} = {\ sqrt {{\ frac {1} {N_ {X \ cup Y}}} \ left (N_ {X} [\ сигма _ {X} ^ {2} + \ mu _ {X} ^ {2}] + N_ {Y} [\ sigma _ {Y} ^ {2} + \ mu _ {Y} ^ {2}] - N_ {X \ cap Y} [\ sigma _ {X \ cap Y} ^ {2} + \ mu _ {X \ cap Y} ^ {2}] \ right) - \ mu _ {X \ cup Y} ^ {2}}} \ end {align}}}{\ displaystyle {\ begin {align} \ mu _ {X \ cup Y} = {\ frac {1} {N_ {X \ cup Y}}} \ left (N_ {X} \ mu _ { X} + N_ {Y} \ mu _ {Y} -N_ {X \ cap Y} \ mu _ {X \ cap Y} \ right) \\ [3pt] \ sigma _ {X \ cup Y} = { \ sqrt {{\ frac {1} {N_ {X \ cup Y}}} \ left (N_ {X} [\ sigma _ {X} ^ {2} + \ mu _ {X} ^ {2}] + N_ {Y} [\ sigma _ {Y} ^ {2} + \ mu _ {Y} ^ {2}] - N_ {X \ cap Y} [\ sigma _ {X \ cap Y} ^ {2} + \ mu _ {X \ cap Y} ^ {2}] \ right) - \ mu _ {X \ cup Y} ^ {2}}} \ end {align}}}

Если два или более набора данных складываются вместе точка данных за точкой данных, стандартное отклонение результата может быть вычислено, если стандартное отклонение каждого набора данных и ковариация между каждой парой наборов данных известна:

σ X = ∑ я σ X i 2 + 2 ∑ i, j cov ⁡ (X i, X j) {\ displaystyle \ sigma _ {X } = {\ sqrt {\ sum _ {i} {\ sigma _ {X_ {i}} ^ {2}} + 2 \ sum _ {i, j} \ operatorname {cov} (X_ {i}, X_ { j})}}}{\ displaystyle \ sigma _ {X} = {\ sqrt {\ sum _ {i} {\ sigma _ {X_ {i}} ^ {2}} + 2 \ sum _ {i, j} \ operatorname {cov} (X_ {i}, X_ {j})}}}

Для особого случая, когда нет корреляции существует между любой парой наборов данных, то отношение сводится к корню суммы квадратов:

cov ⁡ (X i, X j) = 0, ∀ i < j ⇒ σ X = ∑ i σ X i 2. {\displaystyle {\begin{aligned}\operatorname {cov} (X_{i},X_{j})=0,\quad \forall i{\ begin {align} \ operatorname {cov} (X_ {i}, X_ {j}) = 0, \ quad \ forall i <j \\\ Rightarrow \; \ sigma _ {X} = {\ sqrt {\ sum _ {i} {\ sigma _ {X_ {i}} ^ {2}}}}. \ End {align}}

Статистика на основе выборки

Стандарт отклонения неперекрывающихся (X ∩ Y = ∅) подвыборок можно агрегировать следующим образом, если известны фактический размер и средние значения каждой:

μ X ∪ Y = 1 NX ∪ Y (NX μ X + NY μ Y) σ X ∪ Y = 1 NX ∪ Y - 1 ([NX - 1] σ X 2 + NX μ X 2 + [NY - 1] σ Y 2 + NY μ Y 2 - [NX + NY] μ X ∪ Y 2) {\ displaystyle {\ begin {align} \ mu _ {X \ cup Y} = {\ frac {1} {N_ {X \ cup Y}}} \ left (N_ {X} \ mu _ { X} + N_ {Y} \ mu _ {Y} \ right) \\ [3pt] \ sigma _ {X \ cup Y} = {\ sqrt {{\ frac {1} {N_ {X \ cup Y} » -1}} \ left ([N_ {X} -1] \ sigma _ {X} ^ {2} + N_ {X} \ mu _ {X} ^ {2} + [N_ {Y} -1] \ сигма _ {Y} ^ {2} + N_ {Y} \ mu _ {Y} ^ {2} - [N_ {X} + N_ {Y}] \ mu _ {X \ cup Y} ^ {2} \ right)}} \ end {align}}}{\ displaystyle {\ begin {align} \ mu _ {X \ cup Y} = {\ frac {1} {N_ {X \ cup Y}}} \ left (N_ {X} \ mu _ {X } + N_ {Y} \ mu _ {Y} \ right) \\ [3pt] \ sigma _ {X \ cup Y} = {\ sqrt {{\ frac {1} {N_ {X \ cup Y} - 1}} \ left ([N_ {X} -1] \ sigma _ {X} ^ {2} + N_ {X} \ mu _ {X} ^ {2} + [N_ {Y} -1] \ sigma _ {Y} ^ {2} + N_ {Y} \ mu _ {Y} ^ {2} - [N_ {X} + N_ {Y}] \ mu _ {X \ cup Y} ^ {2} \ right)}} \ end {align}}}

Для более общего случая M неперекрывающихся наборов данных, от X 1 до X M, а совокупный набор данных Икс знак равно ⋃ я Икс я {\ Displaystyle \ scriptstyle X \, = \, \ bigcup _ {i} X_ {i}}\ scriptstyle X \, = \, \ bigcup _ {i} X_ {i} ,

μ X = 1 ∑ я N X i (∑ i NX i μ X i) σ X = 1 ∑ i NX i - 1 (∑ i [(NX i - 1) σ X i 2 + NX i μ X i 2] - [∑ i NX i] μ Икс 2) {\ displaystyle {\ begin {align} \ mu _ {X} = {\ frac {1} {\ sum _ {i} {N_ {X_ {i}}}}} \ left (\ sum _ {i} {N_ {X_ {i}} \ mu _ {X_ {i}}} \ right) \\ [3pt] \ sigma _ {X} = {\ sqrt {{\ frac {1} {\ сумма _ {i} {N_ {X_ {i}} - 1}}} \ left (\ sum _ {i} {\ left [(N_ {X_ {i}} - 1) \ sigma _ {X_ {i} } ^ {2} + N_ {X_ {i}} \ mu _ {X_ {i}} ^ {2} \ right]} - \ left [\ sum _ {i} {N_ {X_ {i}}} \ right] \ mu _ {X} ^ {2} \ right)}} \ end {align}}}{\ displaystyle {\ begin {align} \ mu _ {X} = {\ frac { 1} {\ sum _ {i} {N_ {X_ {i}}}}} \ left (\ sum _ {i} {N_ {X_ {i}} \ mu _ {X_ {i}}} \ right) \\ [3pt] \ sigma _ {X} = {\ sqrt {{\ frac {1} {\ sum _ {i} {N_ {X_ {i}} - 1}}} \ left (\ sum _ { i} {\ left [(N_ {X_ {i}} - 1) \ sigma _ {X_ {i}} ^ {2} + N_ {X_ {i}} \ mu _ {X_ {i}} ^ {2 } \ right]} - \ left [\ sum _ {i} {N_ {X_ {i}}} \ right] \ mu _ {X} ^ {2} \ right)}} \ end {align}}}

где

X i ∩ X j = ∅, ∀ i < j. {\displaystyle X_{i}\cap X_{j}=\varnothing,\quad \forall iX_ {i} \ cap X_ {j} = \ varnothing, \ quad \ forall i <j.

Если размер, значит, и стандартное отклонение двух перекрывающихся выборок известно для выборок, а также их пересечение, тогда стандартное отклонение агрегированной выборки все еще может быть вычислено. В общем,

μ X ∪ Y = 1 NX ∪ Y (NX μ X + NY μ Y - NX ∩ Y μ X ∩ Y) σ X ∪ Y = [NX - 1] σ X 2 + NX μ X 2 + [NY - 1] σ Y 2 + NY μ Y 2 - [NX ∩ Y - 1] σ X ∩ Y 2 - NX ∩ Y μ X ∩ Y 2 - [NX + NY - NX ∩ Y] μ X ∪ Y 2 NX ∪ Y - 1 {\ displaystyle {\ begin {align} \ mu _ {X \ cup Y} = {\ frac {1} {N_ {X \ cup Y}}} \ left (N_ {X} \ mu _ {X} + N_ {Y} \ mu _ {Y} -N_ {X \ cap Y} \ mu _ {X \ cap Y} \ right) \\ [3pt] \ sigma _ {X \ cup Y} = {\ sqrt {\ frac {[N_ {X} -1] \ sigma _ {X} ^ {2} + N_ {X} \ mu _ {X} ^ {2} + [N_ {Y} -1 ] \ sigma _ {Y} ^ {2} + N_ {Y} \ mu _ {Y} ^ {2} - [N_ {X \ cap Y} -1] \ sigma _ {X \ cap Y} ^ {2 } -N_ {X \ cap Y} \ mu _ {X \ cap Y} ^ {2} - [N_ {X} + N_ {Y} -N_ {X \ cap Y}] \ mu _ {X \ cup Y } ^ {2}} {N_ {X \ cup Y} -1}}} \ end {align}}}{\ displaystyle {\ begin {align} \ mu _ {X \ cup Y} = {\ frac {1} {N_ {X \ cup Y}}} \ left (N_ {X} \ mu _ {X} + N_ {Y} \ mu _ {Y} -N_ {X \ cap Y} \ mu _ {X \ cap Y} \ right) \\ [3pt] \ sigma _ {X \ cup Y} = {\ sqrt {\ frac {[N_ {X} -1] \ sigma _ {X} ^ {2} + N_ {X} \ mu _ {X} ^ {2} + [N_ {Y} -1] \ sigma _ {Y} ^ {2} + N_ {Y} \ mu _ {Y} ^ {2} - [N_ {X \ cap Y} -1] \ sigma _ {X \ cap Y} ^ {2} -N_ {X \ cap Y} \ mu _ {X \ cap Y} ^ {2} - [N_ {X} + N_ {Y} -N_ {X \ cap Y}] \ mu _ {X \ cup Y} ^ { 2}} {N_ {X \ cup Y} -1}}} \ end {align}}}

См. Также

Литература

Внешние ссылки

Последняя правка сделана 2021-06-02 11:05:24
Содержание доступно по лицензии CC BY-SA 3.0 (если не указано иное).
Обратная связь: support@alphapedia.ru
Соглашение
О проекте