Критерий хи-квадрат Пирсона () - это статистический тест, применяемый к наборам категориальных данных для оценки вероятности того, что любое наблюдаемое различие между наборами возникло случайно. Это наиболее широко используемый из многих тестов хи-квадрат (например, Йейтса, отношения правдоподобия, теста Портманто во временных рядах и т. Д.) - статистических процедур, результаты которых оцениваются по распределению хи-квадрат. Его свойства были впервые исследованы Карлом Пирсоном в 1900 году. В контекстах, где важно улучшить различие между тестовой статистикой и его распределение, используются названия, похожие на критерий χ-квадрата Пирсона или статистику.
Он проверяет нулевую гипотезу о том, что частотное распределение определенных событий, наблюдаемых в выборке, согласуется с конкретным теоретическим распределением. Рассматриваемые события должны быть взаимоисключающими и иметь общую вероятность 1. Обычно это происходит, когда каждое событие охватывает результат категориальной переменной. Простым примером является гипотеза о том, что обычная шестигранная игральная кость «справедлива» (т. Е. Все шесть исходов имеют одинаковую вероятность.)
Критерий хи-квадрат Пирсона используется для оценки трех типов сравнения: степень соответствия, однородность и независимость.
Для всех трех тестов вычислительная процедура включает следующие шаги:
В этом случае наблюдения делятся между ячейками. Простое приложение - проверить гипотезу о том, что в генеральной совокупности значения будут встречаться в каждой ячейке с одинаковой частотой. Таким образом, «теоретическая частота» для любой ячейки (при нулевой гипотезе дискретного равномерного распределения ) рассчитывается как
и уменьшение степеней свободы теоретически связано с тем, что наблюдаемые частоты должны суммироваться до.
Одним из конкретных примеров его применения может быть его приложение для теста ранжирования журнала.
При проверке того, являются ли наблюдения случайными величинами, распределение которых принадлежит данному семейству распределений, «теоретические частоты» вычисляются с использованием распределения из этого семейства, подобранного некоторым стандартным способом. Уменьшение степеней свободы рассчитывается как, где - количество параметров, используемых при подборе распределения. Например, при проверке трехпараметрического Обобщенного гамма-распределения, и при проверке нормального распределения (где параметрами являются среднее значение и стандартное отклонение), и при проверке распределения Пуассона (где параметр является ожидаемым значением),. Таким образом, будут степени свободы, где - количество категорий.
Степени свободы не основаны на количестве наблюдений, как в случае t- или F-распределения Стьюдента. Например, при проверке правильной шестигранной кости будет пять степеней свободы, потому что есть шесть категорий или параметров (каждое число); количество бросков кубика не влияет на количество степеней свободы.
Критические значения верхнего хвоста распределения хи-квадрат | |||||
---|---|---|---|---|---|
Градусы на свободу | Вероятность меньше критического значения | ||||
0,90 | 0,95 | 0,975 | 0,99 | 0,999 | |
1 | 2,706 | 3,841 | 5,024 | 6,635 | 10,828 |
2 | 4,605 | 5,991 | 7,378 | 9,210 | 13,816 |
3 | 6,251 | 7,815 | 9,348 | 11,345 | 16,266 |
4 | 7,779 | 9,488 | 11,143 | 13 277 | 18,467 |
5 | 9 236 | 11,070 | 12,833 | 15,086 | 20,515 |
6 | 10,645 | 12,592 | 14,449 | 16,812 | 22 458 |
7 | 12,017 | 14,067 | 16,013 | 18,475 | 24,322 |
8 | 13,362 | 15,507 | 17,535 | 20.090 | 26,125 |
9 | 14,684 | 16,919 | 19,023 | 21,666 | 27 877 |
10 | 15,987 | 18.307 | 20 483 | 23.209 | 29 588 |
11 | 17 275 | 19,675 | 21,920 | 24,725 | 31,264 |
12 | 18 549 | 21,026 | 23,337 | 26,217 | 32,910 |
13 | 19,812 | 22,362 | 24,736 | 27,688 | 34,528 |
14 | 21,064 | 23,685 | 26,119 | 29,141 | 36,123 |
15 | 22.307 | 24,996 | 27 488 | 30 578 | 37,697 |
16 | 23 542 | 26,296 | 28,845 | 32,000 | 39,252 |
17 | 24,769 | 27 587 | 30,191 | 33,409 | 40,790 |
18 | 25,989 | 28,869 | 31,526 | 34,805 | 42,312 |
19 | 27,204 | 30,144 | 32,852 | 36,191 | 43,820 |
20 | 28 412 | 31,410 | 34,170 | 37,566 | 45,315 |
21 год | 29,615 | 32,671 | 35 479 | 38,932 | 46,797 |
22 | 30,813 | 33,924 | 36,781 | 40 289 | 48,268 |
23 | 32,007 | 35,172 | 38,076 | 41,638 | 49,728 |
24 | 33,196 | 36,415 | 39,364 | 42,980 | 51,179 |
25 | 34,382 | 37,652 | 40,646 | 44,314 | 52,620 |
26 | 35 563 | 38,885 | 41,923 | 45 642 | 54,052 |
27 | 36,741 | 40,113 | 43,195 | 46,963 | 55,476 |
28 год | 37,916 | 41,337 | 44,461 | 48 278 | 56,892 |
29 | 39,087 | 42,557 | 45,722 | 49 588 | 58,301 |
30 | 40,256 | 43,773 | 46,979 | 50,892 | 59,703 |
31 год | 41,422 | 44,985 | 48,232 | 52,191 | 61,098 |
32 | 42,585 | 46,194 | 49 480 | 53,486 | 62 487 |
33 | 43,745 | 47 400 | 50,725 | 54,776 | 63 870 |
34 | 44,903 | 48,602 | 51,966 | 56,061 | 65,247 |
35 год | 46,059 | 49,802 | 53,203 | 57,342 | 66,619 |
36 | 47,212 | 50,998 | 54 437 | 58,619 | 67,985 |
37 | 48,363 | 52,192 | 55,668 | 59,893 | 69,347 |
38 | 49,513 | 53,384 | 56,896 | 61,162 | 70,703 |
39 | 50,660 | 54 572 | 58,120 | 62,428 | 72,055 |
40 | 51,805 | 55,758 | 59,342 | 63,691 | 73,402 |
41 год | 52,949 | 56,942 | 60,561 | 64,950 | 74,745 |
42 | 54,090 | 58,124 | 61,777 | 66,206 | 76,084 |
43 год | 55,230 | 59,304 | 62,990 | 67,459 | 77,419 |
44 год | 56,369 | 60,481 | 64.201 | 68,710 | 78,750 |
45 | 57,505 | 61,656 | 65,410 | 69,957 | 80,077 |
46 | 58,641 | 62 830 | 66,617 | 71.201 | 81 400 |
47 | 59,774 | 64,001 | 67 821 | 72,443 | 82,720 |
48 | 60,907 | 65,171 | 69,023 | 73,683 | 84,037 |
49 | 62,038 | 66,339 | 70,222 | 74,919 | 85,351 |
50 | 63,167 | 67,505 | 71,420 | 76,154 | 86,661 |
51 | 64,295 | 68,669 | 72,616 | 77,386 | 87,968 |
52 | 65,422 | 69,832 | 73,810 | 78,616 | 89 272 |
53 | 66,548 | 70,993 | 75,002 | 79 843 | 90,573 |
54 | 67 673 | 72,153 | 76,192 | 81,069 | 91,872 |
55 | 68,796 | 73,311 | 77,380 | 82,292 | 93,168 |
56 | 69,919 | 74,468 | 78,567 | 83,513 | 94,461 |
57 год | 71,040 | 75,624 | 79,752 | 84,733 | 95,751 |
58 | 72,160 | 76,778 | 80,936 | 85,950 | 97,039 |
59 | 73 279 | 77,931 | 82,117 | 87,166 | 98,324 |
60 | 74,397 | 79,082 | 83,298 | 88 379 | 99,607 |
61 | 75,514 | 80,232 | 84 476 | 89,591 | 100,888 |
62 | 76 630 | 81,381 | 85,654 | 90,802 | 102,166 |
63 | 77,745 | 82,529 | 86 830 | 92,010 | 103,442 |
64 | 78 860 | 83,675 | 88,004 | 93,217 | 104,716 |
65 | 79,973 | 84 821 | 89,177 | 94,422 | 105,988 |
66 | 81,085 | 85,965 | 90,349 | 95,626 | 107,258 |
67 | 82,197 | 87,108 | 91 519 | 96 828 | 108 526 |
68 | 83,308 | 88,250 | 92,689 | 98,028 | 109,791 |
69 | 84,418 | 89,391 | 93,856 | 99,228 | 111,055 |
70 | 85 527 | 90,531 | 95,023 | 100,425 | 112,317 |
71 | 86,635 | 91,670 | 96 189 | 101,621 | 113 577 |
72 | 87,743 | 92,808 | 97,353 | 102,816 | 114 835 |
73 | 88,850 | 93,945 | 98,516 | 104,010 | 116,092 |
74 | 89,956 | 95,081 | 99,678 | 105,202 | 117,346 |
75 | 91,061 | 96,217 | 100,839 | 106,393 | 118 599 |
76 | 92,166 | 97,351 | 101,999 | 107 583 | 119,850 |
77 | 93,270 | 98,484 | 103,158 | 108,771 | 121,100 |
78 | 94 374 | 99,617 | 104,316 | 109,958 | 122,348 |
79 | 95 476 | 100,749 | 105,473 | 111,144 | 123,594 |
80 | 96 578 | 101 879 | 106,629 | 112,329 | 124,839 |
81 год | 97,680 | 103,010 | 107,783 | 113,512 | 126,083 |
82 | 98,780 | 104,139 | 108,937 | 114,695 | 127,324 |
83 | 99,880 | 105,267 | 110.090 | 115 876 | 128,565 |
84 | 100.980 | 106,395 | 111,242 | 117,057 | 129,804 |
85 | 102,079 | 107,522 | 112,393 | 118 236 | 131,041 |
86 | 103,177 | 108,648 | 113 544 | 119,414 | 132 277 |
87 | 104 275 | 109,773 | 114,693 | 120,591 | 133,512 |
88 | 105,372 | 110,898 | 115,841 | 121,767 | 134,746 |
89 | 106,469 | 112,022 | 116,989 | 122,942 | 135 978 |
90 | 107,565 | 113,145 | 118,136 | 124,116 | 137,208 |
91 | 108,661 | 114,268 | 119 282 | 125 289 | 138 438 |
92 | 109,756 | 115,390 | 120,427 | 126,462 | 139,666 |
93 | 110,850 | 116,511 | 121 571 | 127,633 | 140,893 |
94 | 111,944 | 117,632 | 122,715 | 128,803 | 142,119 |
95 | 113,038 | 118,752 | 123,858 | 129,973 | 143,344 |
96 | 114,131 | 119 871 | 125 000 | 131,141 | 144,567 |
97 | 115,223 | 120,990 | 126,141 | 132,309 | 145,789 |
98 | 116,315 | 122,108 | 127 282 | 133,476 | 147,010 |
99 | 117,407 | 123,225 | 128,422 | 134,642 | 148,230 |
100 | 118 498 | 124,342 | 129,561 | 135,807 | 149,449 |
Значение тестовой статистики равно
куда
Затем статистику хи-квадрат можно использовать для вычисления p-значения путем сравнения значения статистики с распределением хи-квадрат. Число степеней свободы равно числу клеток, минус снижение степеней свободы.
Результат о количестве степеней свободы действителен, когда исходные данные являются полиномиальными, и, следовательно, оцененные параметры эффективны для минимизации статистики хи-квадрат. Однако в более общем плане, когда оценка максимального правдоподобия не совпадает с оценкой минимального хи-квадрат, распределение будет находиться где-то между распределением хи-квадрат с и степенями свободы (см., Например, Chernoff and Lehmann, 1954).
В байесовской статистике вместо этого можно было бы использовать распределение Дирихле как сопряженное априорное. Если взять единообразную априорную оценку, то оценка максимального правдоподобия для вероятности популяции будет наблюдаемой вероятностью, и можно вычислить вероятную область вокруг этой или другой оценки.
В этом случае «наблюдение» состоит из значений двух исходов, а нулевая гипотеза состоит в том, что возникновение этих результатов статистически не зависит. Каждое наблюдение назначается одной ячейке двумерного массива ячеек (называемой таблицей непредвиденных обстоятельств ) в соответствии со значениями двух результатов. Если в таблице имеется r строк и c столбцов, «теоретическая частота» для ячейки с учетом гипотезы независимости равна
где - общий размер выборки (сумма всех ячеек в таблице), а
- доля наблюдений типа i, игнорирующих атрибут столбца (доля итоговых значений строк), и
- доля наблюдений типа j, игнорирующих атрибут строки (доля от итоговых значений столбца). Термин « частоты » относится к абсолютным числам, а не к уже нормализованным значениям.
Значение тестовой статистики равно
Обратите внимание, что это 0 тогда и только тогда, когда, т.е. только если ожидаемое и истинное количество наблюдений одинаково во всех ячейках.
Подгонка модели «независимости» уменьшает количество степеней свободы на p = r + c - 1. Количество степеней свободы равно количеству ячеек rc за вычетом уменьшения степеней свободы p, что уменьшает к ( r - 1) ( c - 1).
Для теста независимости, также известного как тест однородности, вероятность хи-квадрат меньше или равна 0,05 (или статистика хи-квадрат находится на критической точке 0,05 или больше) обычно интерпретируется прикладными работниками как обоснование отклонения нулевой гипотезы о том, что переменная строки не зависит от переменной столбца. В альтернативной гипотезе соответствует переменным, имеющей связь или связь, где структура этих отношений не указана.
Критерий хи-квадрат при использовании со стандартным приближением применимости распределения хи-квадрат имеет следующие допущения:
Тест, основанный на различных предположениях, - это точный тест Фишера ; если его предположение о фиксированных маржинальных распределениях выполняется, то получение уровня значимости значительно точнее, особенно при небольшом количестве наблюдений. В подавляющем большинстве приложений это предположение не выполняется, и точный тест Фишера будет чрезмерно консервативным и не будет иметь правильного покрытия.
Нулевое распределение статистики Пирсона с j строками и k столбцами аппроксимируется распределением хи-квадрат с ( k - 1) ( j - 1) степенями свободы.
Это приближение возникает как истинное распределение при нулевой гипотезе, если ожидаемое значение задается полиномиальным распределением. Центральная предельная теорема гласит, что для больших размеров выборки это распределение стремится к некоторому многомерному нормальному распределению.
В особом случае, когда в таблице всего две ячейки, ожидаемые значения подчиняются биномиальному распределению,
куда
В приведенном выше примере предполагаемая вероятность наблюдения самцом составляет 0,5 при 100 выборках. Таким образом, мы ожидаем увидеть 50 мужчин.
Если n достаточно велико, указанное выше биномиальное распределение может быть аппроксимировано гауссовым (нормальным) распределением, и, таким образом, статистика критерия Пирсона аппроксимирует распределение хи-квадрат,
Пусть O 1 будет количеством наблюдений из выборки, которые находятся в первой ячейке. Статистику теста Пирсона можно выразить как
что, в свою очередь, может быть выражено как
При нормальном приближении к биному это квадрат одной стандартной нормальной переменной и, следовательно, распределяется как хи-квадрат с 1 степенью свободы. Обратите внимание, что знаменатель - это одно стандартное отклонение гауссовского приближения, поэтому можно записать
Таким образом, в соответствии со смыслом распределения хи-квадрат, мы измеряем, насколько вероятно наблюдаемое количество стандартных отклонений от среднего в гауссовском приближении (что является хорошим приближением для больших n).
Затем распределение хи-квадрат интегрируется справа от статистического значения, чтобы получить P-значение, которое равно вероятности получения статистики, равной или большей, чем наблюдаемая, при условии нулевой гипотезы.
Когда тест применяется к таблице непредвиденных обстоятельств, содержащей две строки и два столбца, тест эквивалентен Z-тесту пропорций.
В целом аргументы, аналогичные приведенным выше, приводят к желаемому результату, хотя детали более сложны. Можно применить ортогональную замену переменных, чтобы превратить ограничивающие слагаемые в тестовой статистике на один квадрат меньше стандартных нормальных случайных величин iid.
Давайте теперь докажем, что распределение действительно асимптотически приближается к распределению, когда число наблюдений приближается к бесконечности.
Пусть будет количество наблюдений, количество ячеек и вероятность того, что наблюдение попадет в i-ю ячейку, для. Обозначим конфигурацией, где для каждого i есть наблюдения в i-й ячейке. Обратите внимание, что
Пусть будет совокупной тестовой статистикой Пирсона для такой конфигурации, и пусть будет распределением этой статистики. Мы покажем, что последняя вероятность приближается к распределению со степенями свободы, так как
Для любого произвольного значения T:
Мы будем использовать процедуру, аналогичную приближению в теореме де Муавра – Лапласа. Взносы от малых имеют порядок подчинения, и, таким образом, для больших мы можем использовать формулу Стирлинга для обоих и получить следующее:
Заменив на
мы можем аппроксимировать для больших сумму по интегралу по. Отмечая, что:
мы приходим к
Путь расширения логарифма и принимая главные член в, мы получаем
Ци Пирсона является в точности аргументом экспоненты (за исключением -1/2; обратите внимание, что последний член в аргументе экспоненты равен).
Этот аргумент можно записать как:
является регулярной симметричной матрицей и, следовательно, диагонализуемой. Следовательно, можно произвести линейную замену переменных, чтобы получить новые переменные, чтобы:
Эта линейная замена переменных просто умножает интеграл на постоянный якобиан, поэтому мы получаем:
Где C - константа.
Это вероятность того, что квадрат суммы независимых нормально распределенных переменных с нулевым средним и единичной дисперсией будет больше, чем T, а именно, что со степенями свободы больше, чем T.
Таким образом, мы показали, что на пределе, когда распределение ци Пирсона приближается к распределению ци со степенями свободы.
6-гранный кубик бросается 60 раз. Количество раз, когда он выпадает с 1, 2, 3, 4, 5 и 6 лицевой стороной вверх, составляет 5, 8, 9, 8, 10 и 20 соответственно. Является ли игра на кубике смещенной согласно критерию хи-квадрат Пирсона на уровне значимости 95% и / или 99%?
n = 6, поскольку существует 6 возможных исходов, от 1 до 6. Нулевая гипотеза состоит в том, что игральная кость несмещена, поэтому ожидается, что каждое число будет встречаться одинаковое количество раз, в данном случае60/п = 10. Результаты можно свести в таблицу следующим образом:
1 | 5 | 10 | −5 | 25 | 2,5 |
2 | 8 | 10 | −2 | 4 | 0,4 |
3 | 9 | 10 | −1 | 1 | 0,1 |
4 | 8 | 10 | −2 | 4 | 0,4 |
5 | 10 | 10 | 0 | 0 | 0 |
6 | 20 | 10 | 10 | 100 | 10 |
Сумма | 13,4 |
Число степеней свободы n - 1 = 5. Критические значения верхнего хвоста таблицы распределения хи-квадрат дают критическое значение 11,070 при уровне значимости 95%:
Градусы на свободу | Вероятность меньше критического значения | ||||
---|---|---|---|---|---|
0,90 | 0,95 | 0,975 | 0,99 | 0,999 | |
5 | 9 236 | 11,070 | 12,833 | 15,086 | 20,515 |
Поскольку статистика хи-квадрат 13,4 превышает это критическое значение, мы отвергаем нулевую гипотезу и заключаем, что игра на кубике смещена на уровне значимости 95%.
При уровне значимости 99% критическое значение составляет 15,086. Поскольку статистика хи-квадрат не превышает его, мы не можем отвергнуть нулевую гипотезу и, таким образом, делаем вывод, что нет достаточных доказательств, чтобы показать, что кубик смещен на уровне значимости 99%.
В этом контексте частоты как теоретических, так и эмпирических распределений являются ненормализованными подсчетами, и для теста хи-квадрат общие размеры выборки обоих этих распределений (суммы всех ячеек соответствующих таблиц сопряженности ) должны быть одинаковыми.
Например, чтобы проверить гипотезу о том, что случайная выборка из 100 человек была взята из популяции, в которой мужчины и женщины равны по частоте, наблюдаемое количество мужчин и женщин будет сравниваться с теоретической частотой 50 мужчин и 50 женщин.. Если в выборке было 44 мужчины и 56 женщин, то
Если нулевая гипотеза верна (т. Е. Мужчины и женщины выбраны с равной вероятностью), статистика теста будет получена из распределения хи-квадрат с одной степенью свободы (потому что, если известна мужская частота, то женская частота равна определенный).
Консультация распределения х-квадрата для 1 степени свободы показывает, что вероятность наблюдения этой разницы (или больше разницы экстремальной, чем это), если мужчины и женщины в равной степени многочисленны в популяции составляет около 0,23. Эта вероятность выше, чем обычные критерии статистической значимости (0,01 или 0,05), поэтому обычно мы не отвергаем нулевую гипотезу о том, что количество мужчин в популяции равно количеству женщин (т. Е. Мы будем рассматривать нашу выборку в пределах диапазон того, что мы ожидаем от соотношения мужчин и женщин 50/50.)
Приближение к распределению хи-квадрат не работает, если ожидаемые частоты слишком низкие. Обычно это приемлемо при условии, что не более 20% событий имеют ожидаемые частоты ниже 5. Если имеется только 1 степень свободы, приближение ненадежно, если ожидаемые частоты ниже 10. В этом случае лучшее приближение может быть получен путем уменьшения абсолютного значения каждой разницы между наблюдаемой и ожидаемой частотами на 0,5 перед возведением в квадрат; это называется поправкой Йетса на непрерывность.
В случаях, когда ожидаемое значение E оказывается малым (что указывает на небольшую базовую вероятность популяции и / или небольшое количество наблюдений), нормальное приближение полиномиального распределения может не сработать, и в таких случаях оказывается, что Более целесообразно использовать G-тест, статистический тест, основанный на отношении правдоподобия. Когда общий размер выборки невелик, необходимо использовать соответствующий точный тест, обычно либо биномиальный тест, либо, для таблиц сопряженности, точный тест Фишера. Этот тест использует условное распределение статистики теста с учетом предельных итогов и, таким образом, предполагает, что границы были определены до исследования; альтернативы, такие как тест Boschloo в которые не делают это предположения являются равномерно более мощными.
Можно показать, что тест является приближением теста низкого порядка. Вышеупомянутые причины вышеупомянутых проблем становятся очевидными, когда исследуются члены более высокого порядка.