Степень соответствия

Степень соответствия статистической модели описывает, насколько хорошо она соответствует набор наблюдений. Меры качества соответствия обычно суммируют расхождение между наблюдаемыми значениями и значениями, ожидаемыми в рамках рассматриваемой модели. Такие меры могут использоваться в статистической проверке гипотез, например в тест на нормальность из остатков, чтобы проверить, взяты ли две выборки из идентичных распределений (см. тест Колмогорова – Смирнова ), или соответствуют ли частоты результатов заданному распределение (см. критерий хи-квадрат Пирсона ). В анализе дисперсии одним из компонентов, на которые разбивается дисперсия, может быть неподходящая сумма квадратов.

Содержание

• 1 Подбор распределений
• 2 Регрессионный анализ
• 3 Категориальные данные
  • 3.1 Критерий хи-квадрат Пирсона
    • 3.1.1 Пример: равные частоты мужчин и женщин
    • 3.1.2 Биномиальный случай
  • 3.2 G-тест
• 4 См. Также
• 5 Ссылки
• 6 Дополнительная литература

Соответствие распределений

При оценке того, подходит ли данное распределение для набора данных, следующий проверяет и можно использовать лежащие в их основе меры соответствия:

• байесовский информационный критерий
• критерий Колмогорова – Смирнова
• критерий Крамера – фон Мизеса
• критерий Андерсона – Дарлинга
• критерий Шапиро – Уилка
• хи-квадрат тест
• информационный критерий Акаике
• тест Хосмера – Лемешоу
• тест Койпера
• кернелизированное несоответствие Штейна
• Zhang's Z K, Z C и Z A тесты
• тест Морана

регрессионный анализ

In регрессионный анализ, следующие темы относятся к качеству соответствия:

• Коэффициент детерминации (R-квадрат мера согласия);
• сумма квадратов несовпадения ;
• Приведенная ци -squared
• Проверка регрессии
• Критерий Cp Маллоуса

Категориальные данные

Ниже приведены примеры, которые возникают в контексте категориальных данных.

критерия хи-квадрат Пирсона

Критерий хи-квадрат Пирсона использует меру согласия, которая представляет собой сумму различий между наблюдаемыми и ожидаемыми результатами частот (то есть количество наблюдений), возведенных в квадрат и разделенных на математическое ожидание:

$\chi \; 2\; знак\; равно\; \sum \; я\; знак\; равно\; 1\; N\; (О\; я\; -\; Е\; я)\; Е\; я\; 2\; \{\backslash \; displaystyle\; \backslash \; chi\; ^\; \{2\}\; =\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; \{\{\backslash \; frac\; \{(O\_\; \{i\}\; -E\_\; \{i\})\}\; \{E\_\; \{i\}\}\}\; ^\; \{2\}\}\}$

где:

Oi= наблюдаемое количество для корзины i

Ei= ожидаемое количество для корзины i, заявленное по нулевой гипотезе.

Ожидаемая частота рассчитывается по формуле:

$E\; i\; =\; (F\; (Y\; u)\; -\; F\; (Y\; l))\; N\; \{\backslash \; displaystyle\; E\_\; \{i\}\; \backslash ,\; =\; \backslash ,\; \{\; \backslash \; bigg\; (\}\; F\; (Y\_\; \{u\})\; \backslash ,\; -\; \backslash ,\; F\; (Y\_\; \{l\})\; \{\backslash \; bigg)\}\; \backslash ,\; N\}$

где:

F = кумулятивная функция распределения для тестируемого распределения вероятностей.

Yu= верхний предел для класс i,

Yl= нижний предел для класса i, и

N = размер выборки

Полученное значение можно сравнить с распределением хи-квадрат для определения степень соответствия. Распределение хи-квадрат имеет (k - c) степеней свободы, где k - количество непустых ячеек, а c - количество оценочных параметров (включая параметры местоположения и масштаба и параметры формы) для раздача плюс один. Например, для 3-параметрического распределения Вейбулла, c = 4.

Пример: равные частоты мужчин и женщин

Например, чтобы проверить гипотезу о том, что случайная выборка из 100 человек была взята из населения, в котором мужчины и женщины равны по частоте, наблюдаемое количество мужчин и женщин будет сравниваться с теоретической частотой 50 мужчин и 50 женщин. Если в выборке было 44 мужчины и 56 женщин, то

$\chi \; 2\; =\; (44–50)\; 2\; 50\; +\; (56–50)\; 2\; 50\; =\; 1,44\; \{\backslash \; displaystyle\; \backslash \; chi\; ^\; \{2\}\; =\; \{(44-\; 50)\; ^\; \{2\}\; \backslash \; более\; 50\}\; +\; \{(56-50)\; ^\; \{2\}\; \backslash \; более\; 50\}\; =\; 1,44\}$

Если нулевая гипотеза верна (т. Е. Мужчины и женщины выбираются с равной вероятностью в sample), тестовая статистика будет получена из распределения хи-квадрат с одной степенью свободы. Хотя можно ожидать двух степеней свободы (по одной для мужчин и женщин), мы должны принять во внимание, что общее количество мужчин и женщин ограничено (100), и, следовательно, существует только одна степень свободы (2-1). Другими словами, если известно количество самцов, определяется количество самок, и наоборот.

Консультация по распределению хи-квадрат для 1 степени свободы показывает, что вероятность наблюдения этой разницы (или более экстремальной разницы, чем эта), если мужчины и женщины одинаково многочисленны в популяции примерно 0,23. Эта вероятность выше, чем обычные критерии для статистической значимости (0,001-0,05), поэтому обычно мы не отвергаем нулевую гипотезу о том, что количество мужчин в популяции такое же, как и количество женщин ( т.е. мы будем рассматривать нашу выборку в пределах того диапазона, который мы ожидаем от соотношения мужчин и женщин 50/50.)

Обратите внимание на предположение, что механизм, который сгенерировал выборку, является случайным в смысле независимый случайный выбор с той же вероятностью, здесь 0,5 как для мужчин, так и для женщин. Если, например, каждый из 44 выбранных самцов привел с собой приятеля-мужчину, а каждая из 56 самок принесла приятеля-женщину, каждый $(O\; i\; -\; E\; i)\; 2\; \{\backslash \; textstyle\; \{(O\_\; \{i\}\; -E\_\; \{i\})\}\; ^\; \{2\}\}$увеличится в 4 раза, а каждое $E\; i\; \{\backslash \; textstyle\; E\_\; \{i\}\}$увеличится в раз из 2. Значение статистики удвоится до 2,88. Зная этот основной механизм, мы, конечно, должны считать пары. В общем, механизм, если не оправданно случайный, не будет известен. Соответственно, распределение, к которому должна относиться статистика теста, может сильно отличаться от хи-квадрат.

Биномиальный случай

Биномиальный эксперимент - это последовательность независимых испытаний, в которых испытания могут привести к одному из двух результатов: успеху или неудаче. Есть n испытаний, каждое с вероятностью успеха, обозначено p. При условии, что np i ≫ 1 для каждого i (где i = 1, 2,..., k), тогда

$\chi \; 2\; =\; \sum \; i\; =\; 1\; k\; (N\; i\; -\; npi)\; 2\; npi\; =\; \sum \; allcells\; (O\; -\; E)\; 2\; E.\; \{\backslash \; displaystyle\; \backslash \; chi\; ^\; \{2\}\; =\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{k\}\; \{\backslash \; frac\; \{(N\_\; \{i\}\; -np\_\; \{i\})\; ^\; \{2\}\}\; \{np\_\; \{i\}\}\}\; =\; \backslash \; sum\; \_\; \{\backslash \; mathrm\; \{all\; \backslash \; cells\}\}\; ^\; \{\}\; \{\backslash \; frac\; \{(\backslash \; mathrm\; \{O\}\; -\; \backslash \; mathrm\; \{E\})\; ^\; \{2\}\}\; \{\backslash \; mathrm\; \{E\}\}\}.\}$

Это примерно распределение хи-квадрат с k - 1 степенями свободы. Тот факт, что существует k - 1 степеней свободы, является следствием ограничения $\sum \; N\; i\; =\; n\; \{\backslash \; displaystyle\; \backslash \; sum\; N\_\; \{i\}\; =\; n\}$. Мы знаем, что имеется k наблюдаемых подсчетов ячеек, однако, как только известно любое k - 1, оставшееся определяется однозначно. В принципе, можно сказать, что существует только k - 1 свободно определяемое количество клеток, то есть k - 1 степень свободы.

G-тест

G-тесты - это тесты отношения правдоподобия статистической значимости, которые все чаще используются в ситуациях, когда хи-квадрат Пирсона ранее были рекомендованы тесты.

Общая формула для G:

$G\; =\; 2\; \sum \; i\; O\; i\; \cdot \; ln\; \; (O\; i\; E\; i),\; \{\backslash \; displaystyle\; G\; =\; 2\; \backslash \; sum\; \_\; \{i\}\; \{\; O\_\; \{i\}\; \backslash \; cdot\; \backslash \; ln\; \backslash \; left\; (\{\backslash \; frac\; \{O\_\; \{i\}\}\; \{E\_\; \{i\}\}\}\; \backslash \; right)\},\}$

где $O\; i\; \{\backslash \; textstyle\; O\_\; \{i\}\}$и $E\; i\; \{\backslash \; textstyle\; E\_\; \{i\}\}$такие же, как для теста хи-квадрат, $ln\; \{\backslash \; textstyle\; \backslash \; ln\}$обозначает натуральный логарифм, и сумма берется по всем непустым ячейкам. Кроме того, общее наблюдаемое количество должно быть равно общему ожидаемому количеству:

G-тесты рекомендуются, по крайней мере, с 1981 года выпуска популярного учебника статистики, подготовленного Робертом Р. Сокалом и Ф. Джеймс Рольф.

См. Также

• Все модели неверны
• Отклонение (статистика) (связано с GLM )
• Переоснащение
• Проверка статистической модели
• Оценка Тейла – Сена

Источники

1. ^Лю, Цян; Ли, Джейсон; Джордан, Майкл (20 июня 2016 г.) «Кернелизованное несоответствие Штейна для тестов на соответствие». Материалы 33-й Международной конференции по машинам Обучение. 33-я Международная конференция по машинному обучению. Нью-Йорк, Нью-Йорк, США: Proceedings of Machine Learning Research. Стр. 276–284.
2. ^Хвялковски, Кацпер; Стратманн, Хайко; Греттон, Артур (20 июня 2016 г.). «Тест ядра на соответствие». Труды 33-й Международной конференции по машинному обучению. 33-я Международная конференция по машинному обучению. Нью-Йорк, Нью-Йорк, США: Proceedings of Machine Learning Research. 2606–2615.
3. ^Zhang, Jin (2002). «Мощные критерии согласия, основанные на отношении правдоподобия» (PDF). JR Stat. Soc. B. 64 : 281–294. Retr получено 5 ноября 2018 г.
4. ^Maindonald, J. H.; Браун, В. Дж. (2010). Анализ данных и графики с использованием R. Подход на основе примеров (Третье изд.). Нью-Йорк: Издательство Кембриджского университета. Стр. 116 -118. ISBN 978-0-521-76293-9.
5. ^McDonald, J.H. (2014). «G – тест соответствия». Справочник по биологической статистике (Третье изд.). Балтимор, Мэриленд: Издательство Sparky House. С. 53–58.
6. ^Sokal, R. R.; Рольф, Ф. Дж. (1981). Биометрия: принципы и практика статистики в биологических исследованиях (Второе изд.). В. Х. Фриман. ISBN 0-7167-2411-1.

Дополнительная литература

• Huber-Carol, C.; Балакришнан, Н.; Никулин, М. С.; Месбах, М., ред. (2002), Тесты согласия и валидность модели, Springer
• Ingster, Yu. Я.; Суслина, И. А. (2003), Непараметрическая проверка согласия в гауссовских моделях, Springer
• Rayner, J. C. W.; Thas, O.; Бест, Д. Дж. (2009), Smooth Tests of Goodness of Fit (2-е изд.), Wiley
• Vexlera, Albert; Гуревич, Грегори (2010), «Эмпирические отношения правдоподобия, применяемые к тестам согласия на основе выборочной энтропии», Computational Statistics Data Analysis, 54: 531–545, doi : 10.1016 / j.csda.2009.09.025