Теорема Кохрана

В статистике, теорема Кохрено, разработанный Уильям Г. Кокрэн, является теорема используется для обоснования результатов, относящихся к вероятностным распределениям статистики, которые используются в дисперсионном анализе.

• 1 Заявление
  • 1.1 Доказательство
• 2 Примеры
  • 2.1 Выборочное среднее и выборочная дисперсия
  • 2.2 Распространение
  • 2.3 Оценка дисперсии
• 3 Альтернативная формулировка
• 4 См. Также
• 5 ссылки

Пусть U 1,..., U N являются IID стандартными нормально распределенными случайными величинами, и являются неотрицательно матрицей с. Далее предположим, что, где г я есть ранг из. Если мы напишем ${\ Displaystyle В ^ {(1)}, В ^ {(2)}, \ ldots, В ^ {(к)}}$ ${\ Displaystyle \ сумма _ {я = 1} ^ {k} B ^ {(я)} = I_ {N}}$${\ displaystyle r_ {1} + \ cdots + r_ {k} = N}$ ${\ Displaystyle B ^ {(я)}}$

${\ Displaystyle Q_ {я} = \ сумма _ {j = 1} ^ {N} \ sum _ {\ ell = 1} ^ {N} U_ {j} B_ {j, \ ell} ^ {(i)} U _ {\ ell}}$

так что Q я являются квадратичные формы, то теорема Кохрена утверждает, что Q я являются независимыми, и каждый из Q я имеет распределение хи-квадрат с т я степенями свободы.

Менее формально, это количество линейных комбинаций, включенных в сумму квадратов, определяющих Q i, при условии, что эти линейные комбинации линейно независимы.

Доказательство

Сначала мы покажем, что матрицы B ^{( i)} могут быть одновременно диагонализованы и что все их ненулевые собственные значения равны +1. Затем мы используем векторный базис, который их диагонализирует, чтобы упростить их характеристическую функцию и показать их независимость и распределение.

Каждая из матриц B ^{( i)} имеет ранг r i и, следовательно, r i ненулевых собственных значений. Для каждого i сумма имеет не более ранг. Так как отсюда следует, что C ⁽ⁱ⁾ имеет ранг N  -  r i. ${\ Displaystyle С ^ {(я)} \ эквив \ сумма _ {j \ neq i} B ^ {(j)}}$${\ displaystyle \ sum _ {j \ neq i} r_ {j} = N-r_ {i}}$${\ Displaystyle В ^ {(я)} + С ^ {(я)} = I_ {N \ раз N}}$

Следовательно, B ^{( i)} и C ^{( i)} могут быть диагонализованы одновременно. Это можно показать, сначала диагонализуя B ^{( i)}. В этой основе он имеет вид:

${\ displaystyle {\ begin {bmatrix} \ lambda _ {1} amp; 0 amp; 0 amp; \ cdots amp; \ cdots amp;amp; 0 \\ 0 amp; \ lambda _ {2} amp; 0 amp; \ cdots amp; \ cdots amp;amp; 0 \\ 0 amp; 0 amp; \ ddots amp;amp;amp;amp; \ vdots \\\ vdots amp; \ vdots amp;amp; \ lambda _ {r_ {i}} amp;amp; \\\ vdots amp; \ vdots amp;amp;amp; 0 amp; \\ 0 amp; \ vdots amp;amp;amp;amp; \ ddots \\ 0 amp; 0 amp; \ ldots amp;amp;amp;amp; 0 \ end {bmatrix}}.}$

Таким образом, нижние строки равны нулю. Поскольку отсюда следует, что эти строки в C ⁽ⁱ⁾ в этом базисе содержат правый блок, который является единичной матрицей, с нулями в остальных этих строках. Но поскольку C ⁽ⁱ⁾ имеет ранг N  -  r i, в другом месте он должен быть равен нулю. Таким образом, диагональна и в этом базисе. Отсюда следует, что все ненулевые собственные значения как B ^{(i), так} и C ⁽ⁱ⁾ равны +1. Более того, приведенный выше анализ можно повторить в диагональном базисе для. В этом базисе есть тождество векторного пространства, поэтому оба B ⁽²⁾ и одновременно диагонализуемы в этом векторном пространстве (и, следовательно, также вместе с B ⁽¹⁾). Из итераций следует, что все B -s одновременно диагонализируемы. ${\ displaystyle (N-r_ {i})}$${\ Displaystyle C ^ {(я)} = IB ^ {(я)}}$${\ Displaystyle (Н-р_ {я}) \ раз (Н-р_ {я})}$ ${\ Displaystyle C ^ {(1)} = B ^ {(2)} + \ sum _ {jgt; 2} B ^ {(j)}}$${\ displaystyle C ^ {(1)}}$${\ Displaystyle (Н-р_ {1}) \ раз (Н-р_ {1})}$${\ Displaystyle \ сумма _ {jgt; 2} B ^ {(j)}}$

Таким образом, существует ортогональная матрица таких, что для всех, диагоналей, где любой элемент с индексами, равен 1, в то время как любая запись с другими индексами равно 0. ${\ displaystyle S}$${\ displaystyle i}$${\ Displaystyle S ^ {\ mathrm {T}} B ^ {(я)} S \ Equiv B ^ {(i) \ prime}}$${\ Displaystyle В_ {х, у} ^ {(я) \ прайм}}$${\ displaystyle x = y}$${\ displaystyle \ sum _ {j = 1} ^ {i-1} r_ {j} lt;x = y \ leq \ sum _ {j = 1} ^ {i} r_ {j}}$

Позвольте обозначить некоторую конкретную линейную комбинацию всех после преобразования через. Обратите внимание, что из-за сохранения длины ортогональной матрицы S якобиан линейного преобразования является матрицей, связанной с самим линейным преобразованием, и что определитель ортогональной матрицы имеет модуль 1. ${\ Displaystyle U_ {я} ^ {\ prime}}$${\ displaystyle U_ {i}}$${\ displaystyle S}$${\ displaystyle \ sum _ {я = 1} ^ {N} (U_ {i} ^ {\ prime}) ^ {2} = \ sum _ {i = 1} ^ {N} U_ {i} ^ {2 }}$

Характеристическая функция Q i:

${\ Displaystyle {\ begin {align} \ varphi _ {i} (t) = {} amp; (2 \ pi) ^ {- N / 2} \ int du_ {1} \ int du_ {2} \ cdots \ int du_ {N} e ^ {itQ_ {i}} \ cdot e ^ {- u_ {1} ^ {2} / 2} \ cdot e ^ {- u_ {2} ^ {2} / 2} \ cdots e ^ {-u_ {N} ^ {2} / 2} \\ = {} amp; (2 \ pi) ^ {- N / 2} \ left (\ prod _ {j = 1} ^ {N} \ int du_ { j} \ right) e ^ {itQ_ {i}} \ cdot e ^ {- \ sum _ {j = 1} ^ {N} u_ {j} ^ {2} / 2} \\ = {} amp; (2 \ pi) ^ {- N / 2} \ left (\ prod _ {j = 1} ^ {N} \ int du_ {j} ^ {\ prime} \ right) e ^ {it \ cdot \ sum _ {m = r_ {1} + \ cdots + r_ {i-1} +1} ^ {r_ {1} + \ cdots + r_ {i}} (u_ {m} ^ {\ prime}) ^ {2}} \ cdot e ^ {- \ sum _ {j = 1} ^ {N} {u_ {j} ^ {\ prime}} ^ {2} / 2} \\ = {} amp; (2 \ pi) ^ {- N / 2} \ left (\ int e ^ {u ^ {2} (it - {\ frac {1} {2}})} du \ right) ^ {r_ {i}} \ left (\ int e ^ { - {\ frac {u ^ {2}} {2}}} du \ right) ^ {N-r_ {i}} \\ = {} amp; (1-2it) ^ {- r_ {i} / 2} \ конец {выровнено}}}$

Это преобразование Фурье от распределения хи-квадрат с т я степенями свободы. Следовательно, это распределение Q i.

Более того, характеристическая функция совместного распределения всех Q i s равна:

${\ displaystyle {\ begin {align} \ varphi (t_ {1}, t_ {2}, \ ldots, t_ {k}) amp; = (2 \ pi) ^ {- N / 2} \ left (\ prod _ {j = 1} ^ {N} \ int dU_ {j} \ right) e ^ {i \ sum _ {i = 1} ^ {k} t_ {i} \ cdot Q_ {i}} \ cdot e ^ { - \ sum _ {j = 1} ^ {N} U_ {j} ^ {2} / 2} \\ amp; = (2 \ pi) ^ {- N / 2} \ left (\ prod _ {j = 1 } ^ {N} \ int dU_ {j} ^ {\ prime} \ right) e ^ {i \ cdot \ sum _ {i = 1} ^ {k} t_ {i} \ sum _ {k = r_ {1 } + \ cdots + r_ {i-1} +1} ^ {r_ {1} + \ cdots + r_ {i}} (U_ {k} ^ {\ prime}) ^ {2}} \ cdot e ^ { - \ sum _ {j = 1} ^ {N} {U_ {j} ^ {\ prime}} ^ {2} / 2} \\ amp; = (2 \ pi) ^ {- N / 2} \ prod _ {i = 1} ^ {k} \ left (\ int e ^ {u ^ {2} (it_ {i} - {\ frac {1} {2}})} du \ right) ^ {r_ {i} } \\ amp; = \ prod _ {i = 1} ^ {k} (1-2it_ {i}) ^ {- r_ {i} / 2} = \ prod _ {i = 1} ^ {k} \ varphi _ {i} (t_ {i}) \ end {align}}}$

Из этого следует, что все Q i независимы.

Среднее значение выборки и дисперсия выборки

Если X 1,..., X n - независимые нормально распределенные случайные величины со средним μ и стандартным отклонением σ, то

${\ displaystyle U_ {i} = {\ frac {X_ {i} - \ mu} {\ sigma}}}$

является стандартным нормальным для каждого I. Обратите внимание, что общий Q равен сумме квадратов U s, как показано здесь:

${\ displaystyle \ sum _ {i} Q_ {i} = \ sum _ {ijk} U_ {j} B_ {jk} ^ {(i)} U_ {k} = \ sum _ {jk} U_ {j} U_ {k} \ sum _ {i} B_ {jk} ^ {(i)} = \ sum _ {jk} U_ {j} U_ {k} \ delta _ {jk} = \ sum _ {j} U_ {j } ^ {2}}$

что вытекает из исходного предположения, что. Поэтому вместо этого мы вычислим это количество и позже разделим его на Q i. Можно написать ${\ Displaystyle B_ {1} + B_ {2} \ ldots = I}$

${\ displaystyle \ sum _ {i = 1} ^ {n} U_ {i} ^ {2} = \ sum _ {i = 1} ^ {n} \ left ({\ frac {X_ {i} - {\ overline {X}}} {\ sigma}} \ right) ^ {2} + n \ left ({\ frac {{\ overline {X}} - \ mu} {\ sigma}} \ right) ^ {2} }$

(здесь это выборочное среднее ). Чтобы увидеть эту идентичность, умножьте все на и обратите внимание, что ${\ displaystyle {\ overline {X}}}$ ${\ displaystyle \ sigma ^ {2}}$

${\ displaystyle \ sum (X_ {i} - \ mu) ^ {2} = \ sum (X_ {i} - {\ overline {X}} + {\ overline {X}} - \ mu) ^ {2} }$

и развернуть, чтобы дать

${\ displaystyle \ sum (X_ {i} - \ mu) ^ {2} = \ sum (X_ {i} - {\ overline {X}}) ^ {2} + \ sum ({\ overline {X}} - \ mu) ^ {2} +2 \ sum (X_ {i} - {\ overline {X}}) ({\ overline {X}} - \ mu).}$

Третий член равен нулю, потому что он равен константе, умноженной на

${\ displaystyle \ sum ({\ overline {X}} - X_ {i}) = 0,}$

а второй член состоит всего из n одинаковых терминов, сложенных вместе. Таким образом

${\ displaystyle \ sum (X_ {i} - \ mu) ^ {2} = \ sum (X_ {i} - {\ overline {X}}) ^ {2} + n ({\ overline {X}} - \ mu) ^ {2},}$

и, следовательно

${\ displaystyle \ sum \ left ({\ frac {X_ {i} - \ mu} {\ sigma}} \ right) ^ {2} = \ sum \ left ({\ frac {X_ {i} - {\ overline) {X}}} {\ sigma}} \ right) ^ {2} + n \ left ({\ frac {{\ overline {X}} - \ mu} {\ sigma}} \ right) ^ {2} = \ overbrace {\ sum _ {i} \ left (U_ {i} - {\ frac {1} {n}} \ sum _ {j} {U_ {j}} \ right) ^ {2}} ^ {Q_ {1}} + \ overbrace {{\ frac {1} {n}} \ left (\ sum _ {j} {U_ {j}} \ right) ^ {2}} ^ {Q_ {2}} = Q_ {1} + Q_ {2}.}$

Теперь с с матрицей из них, который имеет ранг 1. В свою очередь , учитывая, что. Это выражение также можно получить, раскрыв матричные обозначения. Можно показать, что ранг равен, поскольку сложение всех его строк равно нулю. Таким образом, условия теоремы Кохрана выполнены. ${\ displaystyle B ^ {(2)} = {\ frac {J_ {n}} {n}}}$${\ displaystyle J_ {n}}$ ${\ displaystyle B ^ {(1)} = I_ {n} - {\ frac {J_ {n}} {n}}}$${\ Displaystyle I_ {п} = В ^ {(1)} + В ^ {(2)}}$${\ displaystyle Q_ {1}}$${\ displaystyle B ^ {(1)}}$${\ displaystyle n-1}$

Затем теорема Кохрана утверждает, что Q 1 и Q 2 независимы, с распределениями хи-квадрат с n - 1 и 1 степенью свободы соответственно. Это показывает, что выборочное среднее и выборочная дисперсия независимы. Это также можно показать с помощью теоремы Басу, и на самом деле это свойство характеризует нормальное распределение - поскольку никакое другое распределение не зависит от выборочного среднего и выборочной дисперсии.

Распределения

Результат для распределений символически записывается как

${\ displaystyle \ sum \ left (X_ {i} - {\ overline {X}} \ right) ^ {2} \ sim \ sigma ^ {2} \ chi _ {n-1} ^ {2}.}$

${\ displaystyle n ({\ overline {X}} - \ mu) ^ {2} \ sim \ sigma ^ {2} \ chi _ {1} ^ {2},}$

Обе эти случайные величины пропорциональны истинной, но неизвестной дисперсии σ ². Таким образом, их соотношение не зависит от σ ² и, поскольку они статистически независимы. Распределение их отношения дается формулой

${\ displaystyle {\ frac {n \ left ({\ overline {X}} - \ mu \ right) ^ {2}} {{\ frac {1} {n-1}} \ sum \ left (X_ {i } - {\ overline {X}} \ right) ^ {2}}} \ sim {\ frac {\ chi _ {1} ^ {2}} {{\ frac {1} {n-1}} \ chi _ {n-1} ^ {2}}} \ sim F_ {1, n-1}}$

где F 1, n  - 1 - F-распределение с 1 и n  - 1 степенями свободы (см. также t-распределение Стьюдента ). Последним шагом здесь является определение случайной величины, имеющей F-распределение.

Оценка дисперсии

Для оценки дисперсии σ ² иногда используется одна оценка, которая представляет собой оценку максимального правдоподобия дисперсии нормального распределения.

${\ displaystyle {\ widehat {\ sigma}} ^ {2} = {\ frac {1} {n}} \ sum \ left (X_ {i} - {\ overline {X}} \ right) ^ {2}.}$

Теорема Кохрана показывает, что

${\ displaystyle {\ frac {n {\ widehat {\ sigma}} ^ {2}} {\ sigma ^ {2}}} \ sim \ chi _ {n-1} ^ {2}}$

а свойства распределения хи-квадрат показывают, что

${\ displaystyle {\ begin {align} E \ left ({\ frac {n {\ widehat {\ sigma}} ^ {2}} {\ sigma ^ {2}}} \ right) amp; = E \ left (\ chi _ {n-1} ^ {2} \ right) \\ {\ frac {n} {\ sigma ^ {2}}} E \ left ({\ widehat {\ sigma}} ^ {2} \ right) amp; = (n-1) \\ E \ left ({\ widehat {\ sigma}} ^ {2} \ right) amp; = {\ frac {\ sigma ^ {2} (n-1)} {n}} \ конец {выровнено}}}$

Следующая версия часто встречается при рассмотрении линейной регрессии. Предположит, что является стандартным многомерным нормальным случайным вектором (здесь обозначает в н матрице с размерностью п единичной матрицы ), и если являются всеми п матрицы с размерностью N симметричных матрицы с. Затем, при определении, любое из следующих условий влечет за собой два других: ${\ displaystyle Y \ sim N_ {n} (0, \ sigma ^ {2} I_ {n})}$ ${\ displaystyle I_ {n}}$ ${\ Displaystyle A_ {1}, \ ldots, A_ {k}}$ ${\ displaystyle \ sum _ {я = 1} ^ {k} A_ {i} = I_ {n}}$${\ displaystyle r_ {i} = \ operatorname {Rank} (A_ {i})}$

• ${\ Displaystyle \ сумма _ {я = 1} ^ {к} r_ {я} = п,}$
• ${\ displaystyle Y ^ {T} A_ {i} Y \ sim \ sigma ^ {2} \ chi _ {r_ {i}} ^ {2}}$ (таким образом, положительно полуопределенные )${\ displaystyle A_ {i}}$
• ${\ displaystyle Y ^ {T} A_ {i} Y}$не зависит от для${\ displaystyle Y ^ {T} A_ {j} Y}$${\ displaystyle i \ neq j.}$

• Теорема Крамера о разложении нормального распределения
• Бесконечная делимость (вероятность)

1. ^ ^{a b} Cochran, WG (апрель 1934 г.). «Распределение квадратичных форм в нормальной системе с приложениями к анализу ковариации». Математические труды Кембриджского философского общества. 30 (2): 178–191. DOI : 10.1017 / S0305004100016595.
2. ^ Бапат, RB (2000). Линейная алгебра и линейные модели (второе изд.). Springer. ISBN   978-0-387-98871-9.
3. ^ Craig AT (1938) «О независимости некоторых оценок вариаций». Анналы математической статистики. 9. С. 48–55.
4. Перейти ↑ Geary, RC (1936). «Распределение« коэффициента студента »для нестандартных выборок». Приложение к Журналу Королевского статистического общества. 3 (2): 178–184. DOI : 10.2307 / 2983669. JFM   63.1090.03. JSTOR   2983669.
5. ^ «Теорема Кокрана (краткое руководство)» (PDF).