Тест Андерсона – Дарлинга

Тест Андерсона – Дарлинга - это статистический тест того, выборка данных берется из заданного распределения вероятностей. В своей базовой форме тест предполагает, что в тестируемом распределении нет параметров, которые нужно оценить, и в этом случае тест и его набор критических значений не распространяются. Тем не менее, этот тест чаще всего используется в контекстах, где тестируется семейство распределений, и в этом случае необходимо оценить параметры этого семейства, и это необходимо учитывать при корректировке либо тестовой статистики, либо ее критических значений. Применительно к проверке того, адекватно ли нормальное распределение описывает набор данных, это один из самых мощных статистических инструментов для обнаружения большинства отклонений от нормальности. K-выборка Андерсона –Тесты Дарлинга доступны для проверки того, можно ли смоделировать несколько наборов наблюдений как происходящие из одной совокупности, где не требуется указывать функцию распределения .

В дополнение к его использованию в качестве теста соответствия для распределений, его можно использовать в оценке параметров как основу для формы процедуры оценки минимального расстояния.

Тест назван в честь Теодора Уилбура Андерсона (1918–2016) и Дональда А. Дарлинга (1915–2014), которые изобрели его в 1952 году.

• 1 Тест по одной выборке
  • 1.1 Базовая статистика теста
• 2 Тесты для семейств распределений
  • 2.1 Тест на нормальность
  • 2.2 Тесты для других распределений
• 3 Непараметрический k -sample tests
• 4 См. также
• 5 Ссылки
• 6 Дополнительная литература
• 7 Внешние ссылки

The Anderson – Darling и Cramér– Статистика фон Мизеса относится к классу квадратичной статистики EDF (тесты, основанные на эмпирической функции распределения ). Если гипотетическое распределение равно $F\; \{\backslash \; displaystyle\; F\}$, а эмпирическая (выборочная) кумулятивная функция распределения равна $F\; n\; \{\backslash \; displaystyle\; F\_\; \{n\}\}$, тогда квадратичная статистика EDF измеряет расстояние между $F\; \{\backslash \; displaystyle\; F\}$и $F\; n\; \{\backslash \; displaystyle\; F\_\; \{n\}\}$на

$n\; \int \; -\; \infty \; \infty \; (F\; n\; (x)\; -\; F\; (x))\; 2\; вес\; (x)\; d\; F\; (x),\; \{\backslash \; displaystyle\; n\; \backslash \; int\; \_\; \{-\; \backslash \; infty\}\; ^\; \{\backslash \; infty\}\; (F\_\; \{n\}\; (x)\; -F\; (x))\; ^\; \{2\}\; \backslash ,\; w\; (x)\; \backslash ,\; dF\; (x),\}$

где $n\; \{\backslash \; displaystyle\; n\}$- количество элементов в образец, а $w\; (x)\; \{\backslash \; displaystyle\; w\; (x)\}$- весовая функция. Когда весовая функция равна $w\; (x)\; =\; 1\; \{\backslash \; displaystyle\; w\; (x)\; =\; 1\}$, статистикой является статистика Крамера – фон Мизеса. Тест Андерсона – Дарлинга (1954) основан на расстоянии

$A\; 2\; =\; n\; \int \; -\; \infty \; \infty \; (F\; n\; (x)\; -\; F\; (x))\; 2\; F\; (x)\; (1\; -\; F\; (x))\; d\; F\; (x),\; \{\backslash \; displaystyle\; A\; ^\; \{2\}\; =\; n\; \backslash \; int\; \_\; \{-\; \backslash \; infty\}\; ^\; \{\backslash \; infty\}\; \{\backslash \; frac\; \{(F\_\; \{n\}\; (x)\; -F\; (x))\; ^\; \{2\}\; \}\; \{F\; (x)\; \backslash ;\; (1-F\; (x))\}\}\; \backslash ,\; dF\; (x),\}$

, которое получается, когда весовая функция равна $w\; (x)\; =\; [F\; (x)\; (1\; -\; F\; (x))]\; -\; 1\; \{\backslash \; displaystyle\; w\; (x)\; =\; [F\; (x)\; \backslash ;\; (1-F\; (x))]\; ^\; \{-\; 1\}\}$. Таким образом, по сравнению с расстоянием Крамера – фон Мизеса расстояние Андерсона – Дарлинга придает больший вес наблюдениям в хвостах распределения.

Базовая статистика теста

Тест Андерсона – Дарлинга определяет, происходит ли выборка из указанного распределения. Он использует тот факт, что, когда задано гипотетическое базовое распределение и предполагается, что данные действительно возникают из этого распределения, можно предположить, что кумулятивная функция распределения (CDF) данных соответствует однородной распределение. Затем данные могут быть проверены на однородность с помощью теста на расстояние (Shapiro 1980). Формула для тестовой статистики $A\; \{\backslash \; displaystyle\; A\}$для оценки того, являются ли данные (обратите внимание, что данные должны быть упорядочить) происходит от CDF $F\; \{\backslash \; displaystyle\; F\}$is

$A\; 2\; =\; -\; n\; -\; S,\; \{\backslash \; displaystyle\; A\; ^\; \{2\}\; =\; -nS\; \backslash ,,\}$

где

$S\; =\; \sum \; i\; =\; 1\; n\; 2\; i\; -\; 1\; n\; [ln\; \; (F\; (Y\; i))\; +\; ln\; \; (1\; -\; F\; (Y\; n\; +\; 1\; -\; i))].\; \{\backslash \; displaystyle\; S\; =\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; \{\backslash \; frac\; \{2i-1\}\; \{n\}\}\; \backslash \; left\; [\backslash \; ln\; (F\; (Y\_\; \{i\}))\; +\; \backslash \; ln\; \backslash \; left\; (1\; -F\; (Y\_\; \{n\; +\; 1-i\})\; \backslash \; right)\; \backslash \; right].\}$

Затем статистику теста можно сравнить с критическими значениями теоретического распределения. Обратите внимание, что в этом случае никакие параметры не оцениваются по отношению к кумулятивной функции распределения $F\; \{\backslash \; displaystyle\; F\}$.

По сути, в тесте можно использовать одну и ту же статистику теста. соответствия семейства распределений, но затем его необходимо сравнить с критическими значениями, соответствующими этому семейству теоретических распределений и зависящими также от метода, используемого для оценки параметров.

Тест на нормальность

Эмпирическое тестирование показало, что тест Андерсона – Дарлинга не так хорош, как тест Шапиро – Уилка, но лучше других тестов. Стивенс обнаружил, что $A\; 2\; \{\backslash \; displaystyle\; A\; ^\; \{2\}\}$является одним из лучших статистических показателей эмпирической функции распределения для выявления большинства отклонений от нормальности.

Вычисление различается в зависимости от того, что известно о распределении:

• Случай 0: среднее $\mu \; \{\backslash \; displaystyle\; \backslash \; mu\}$и дисперсия $\sigma \; 2\; \{\backslash \; displaystyle\; \backslash \; sigma\; ^\; \{2\}\}$оба известны.
• Случай 1: дисперсия $\sigma \; 2\; \{\backslash \; displaystyle\; \backslash \; sigma\; ^\; \{2\}\}$известно, но среднее значение $\mu \; \{\backslash \; displaystyle\; \backslash \; mu\}$неизвестно.
• Случай 2. Среднее значение $\mu \; \{\backslash \; displaystyle\; \backslash \; mu\}$известно, но дисперсия $\sigma \; 2\; \{\backslash \; displaystyle\; \backslash \; sigma\; ^\; \{2\}\}$неизвестна.
• Случай 3: оба средних значения $\mu \; \{\backslash \; displaystyle\; \backslash \; mu\}$и дисперсия $\sigma \; 2\; \{\backslash \; displaystyle\; \backslash \; sigma\; ^\; \{2\}\}$неизвестны.

n наблюдений, $X\; i\; \{\backslash \; displaystyle\; X\_\; \{i\}\}$, для $i\; =\; 1,\dots \; n\; \{\backslash \; displaystyle\; i\; =\; 1,\; \backslash \; ldots\; n\}$переменной $X\; \{\backslash \; displaystyle\; X\}$должен быть отсортирован так, чтобы $X\; 1\; \le \; X\; 2\; \le ...\; \le \; Икс\; n\; \{\backslash \; displaystyle\; X\_\; \{1\}\; \backslash \; leq\; X\_\; \{2\}\; \backslash \; leq...\; \backslash \; leq\; X\_\; \{n\}\}$и в следующих обозначениях предполагается, что X i представляют упорядоченные наблюдения. Пусть

$\mu \; ^\; =\; \{\mu ,\; если\; известно\; среднее\; значение.\; X\; ¯,\; =\; 1\; n\; \sum \; i\; =\; 1\; n\; X\; i\; в\; противном\; случае.\; \{\backslash \; displaystyle\; \{\backslash \; hat\; \{\backslash \; mu\}\}\; =\; \{\backslash \; begin\; \{cases\}\; \backslash \; mu,\; \{\backslash \; text\; \{,\; если\; известно\; среднее\; значение.\}\}\; \backslash \backslash \; \{\backslash \; bar\; \{X\}\},\; =\; \{\backslash \; frac\; \{1\; \}\; \{n\}\}\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; X\_\; \{i\}\; \{\backslash \; text\; \{в\; противном\; случае.\}\}\; \backslash \; end\; \{cases\}\}\}$

$\sigma \; ^\; 2\; =\; \{\sigma \; 2,\; если\; дисперсия\; известна.\; 1\; n\; \sum \; i\; =\; 1\; n\; (X\; i\; -\; \mu )\; 2,\; если\; дисперсия\; неизвестна,\; но\; известно\; среднее\; значение.\; 1\; n\; -\; 1\; \sum \; i\; =\; 1\; n\; (X\; i\; -\; X\; ¯)\; 2\; в\; противном\; случае.\; \{\backslash \; displaystyle\; \{\backslash \; hat\; \{\backslash \; sigma\}\}\; ^\; \{2\}\; =\; \{\backslash \; begin\; \{cases\}\; \backslash \; sigma\; ^\; \{2\},\; \{\backslash \; text\; \{,\; если\; дисперсия\; известна.\}\}\; \backslash \backslash \; \{\backslash \; frac\; \{1\}\; \{n\}\}\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; (X\_\; \{i\}\; -\; \backslash \; mu)\; ^\; \{2\},\; \{\backslash \; text\; \{если\; дисперсия\; неизвестна,\; но\; известно\; среднее\; значение.\}\}\; \backslash \; \backslash \; \{\backslash \; frac\; \{1\}\; \{n-1\}\}\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; (X\_\; \{i\}\; -\; \{\backslash \; bar\; \{X\}\})\; ^\; \{2\},\; \{\backslash \; text\; \{иначе.\}\}\; \backslash \; end\; \{cases\}\}\}$

Значения $X\; i\; \{\backslash \; displaystyle\; X\_\; \{i\}\}$стандартизированы для создания новых значений $Y\; i\; \{\backslash \; displaystyle\; Y\_\; \{\; i\}\}$, заданный как

$Y\; i\; =\; X\; i\; -\; \mu \; ^\; \sigma \; ^.\; \{\backslash \; displaystyle\; Y\_\; \{i\}\; =\; \{\backslash \; frac\; \{X\_\; \{i\}\; -\; \{\backslash \; hat\; \{\backslash \; mu\}\}\}\; \{\backslash \; hat\; \{\backslash \; sigma\}\}\}.\}$

Со стандартным нормальным CDF $\Phi \; \{\; \backslash \; displaystyle\; \backslash \; Phi\}$, $A\; 2\; \{\backslash \; displaystyle\; A\; ^\; \{2\}\}$вычисляется с использованием

$A\; 2\; =\; -\; n\; -\; 1\; n\; \sum \; i\; =\; 1\; n\; (2\; i\; -\; 1)\; (ln\; \; \Phi \; (Y\; i)\; +\; ln\; \; (1\; -\; \Phi \; (Y\; n\; +\; 1\; -\; i))).\; \{\backslash \; displaystyle\; A\; ^\; \{2\}\; =\; -\; n\; -\; \{\backslash \; frac\; \{1\}\; \{n\}\}\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; (2i-1)\; (\backslash \; ln\; \backslash \; Phi\; (Y\_\; \{i\})\; +\; \backslash \; ln\; (1-\; \backslash \; Phi\; (Y\_\; \{n\; +\; 1-i\}))).\}$

Альтернативное выражение, в котором на каждом этапе суммирования обрабатывается только одно наблюдение:

$A\; 2\; =\; -\; n\; -\; 1\; n\; \sum \; i\; =\; 1\; n\; [(2\; i\; -\; 1)\; ln\; \; \Phi \; (Y\; i)\; +\; (2\; (n\; -\; i)\; +\; 1)\; ln\; \; (1\; -\; \Phi \; (Y\; i))].\; \{\backslash \; displaystyle\; A\; ^\; \{2\}\; =\; -\; n\; -\; \{\backslash \; frac\; \{1\}\; \{n\}\}\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; \backslash \; left\; [(2i-1)\; \backslash \; ln\; \backslash \; Phi\; (Y\_\; \{i\; \})\; +\; (2\; (ni)\; +1)\; \backslash \; ln\; (1-\; \backslash \; Phi\; (Y\_\; \{i\}))\; \backslash \; right].\}$

Модифицированная статистика может быть рассчитана с использованием

$A\; \ast \; 2\; =\; \{A\; 2\; (1\; +\; 4\; n\; -\; 25\; n\; 2),\; если\; дисперсия\; и\; среднее\; значение\; неизвестны.\; В\; противном\; случае\; A\; 2.\; \{\backslash \; displaystyle\; A\; ^\; \{*\; 2\}\; =\; \{\backslash \; begin\; \{cases\}\; A\; ^\; \{2\}\; \backslash \; left\; (1\; +\; \{\backslash \; frac\; \{4\}\; \{n\}\}\; -\; \{\backslash \; frac\; \{25\}\; \{n\; ^\; \{2\}\})\; \}\; \backslash \; right),\; \{\backslash \; text\; \{если\; и\; дисперсия,\; и\; среднее\; значение\; неизвестны.\}\}\; \backslash \backslash \; A\; ^\; \{2\},\; \{\backslash \; text\; \{в\; противном\; случае.\}\}\; \backslash \; end\; \{cases\}\}\}$

Если $A\; 2\; \{\backslash \; displaystyle\; A\; ^\; \{2\}\}$или $A\; \ast \; 2\; \{\backslash \; displaystyle\; A\; ^\; \{*\; 2\}\}$превышает заданное критическое значение, тогда гипотеза о нормальности отвергается с некоторым уровнем значимости. Критические значения приведены в таблице ниже для значений $A\; 2\; \{\backslash \; displaystyle\; A\; ^\; \{2\}\}$.

Примечание 1. Если $\sigma \; ^\; \{\backslash \; displaystyle\; \{\backslash \; hat\; \{\backslash \; sigma\}\}\}$= 0 или любое другое $\Phi \; (Y\; i)\; =\; \{\backslash \; displaystyle\; \backslash \; Phi\; (Y\_\; \{i\})\; =\}$(0 или 1), затем $A\; 2\; \{\; \backslash \; displaystyle\; A\; ^\; \{2\}\}$не может быть вычислен и не определен.

Примечание 2: Приведенная выше формула корректировки взята из Shorak Wellner (1986, стр. 239). При сравнении различных источников требуется осторожность, поскольку часто конкретная формула корректировки не указывается.

Примечание 3: Стивенс отмечает, что тест становится лучше, когда параметры вычисляются на основе данных, даже если они известны.

Примечание 4: Marsaglia и Marsaglia обеспечивают более точный результат для случая 0 при 85% и 99%.

Случай	n	15%	10%	5%	2.5%	1%
0	$\ge \; 5\; \{\backslash \; displaystyle\; \backslash \; geq\; 5\}$	1,621	1,933	2,492	3,070	3,878
1			0,908	1,105	1,304	1,573
2	$\ge \; 5\; \{\backslash \; displaystyle\; \backslash \; geq\; 5\}$		1.760	2.323	2.904	3.690
3	10	0.514	0,578	0,683	0,779	0,926
	20	0,528	0,591	0,704	0,815	0,969
	50	0,546	0,616	0,735	0,861	1,021
	100	0,559	0,631	0,754	0,884	1,047
	$\infty \; \{\backslash \; displaystyle\; \backslash \; infty\}$	0,576	0,656	0,787	0,918	1,092

В качестве альтернативы, для случая 3, описанного выше (среднее значение и дисперсия неизвестны), Д'Агостино (1986) в таблице 4.7 на стр. 123 и на страницах 372–373 дает скорректированную статистику:

$A\; \ast \; 2\; =\; A\; 2\; (1\; +\; 0,75\; n\; +\; 2,25\; n\; 2).\; \{\backslash \; displaystyle\; A\; ^\; \{*\; 2\}\; =\; A\; ^\; \{2\}\; \backslash \; left\; (1\; +\; \{\backslash \; frac\; \{0.75\}\; \{n\}\}\; +\; \{\backslash \; frac\; \{2.25\}\; \{n\; ^\; \{2\}\}\}\; \backslash \; right).\}$

и нормальность отклоняется, если $A\; \ast \; 2\; \{\backslash \; displaystyle\; A\; ^\; \{*\; 2\}\}$превышает 0,631, 0,752, 0,873, 1,035 или 1,159 при 10%, 5%, 2,5%, Уровни значимости 1% и 0,5% соответственно; процедура действительна для размера выборки не менее n = 8. Формулы для вычисления p-значений для других значений $A\; \ast \; 2\; \{\backslash \; displaystyle\; A\; ^\; \{*\; 2\}\}$приведены в таблице 4.9 на стр. 127 в той же книге.

Тесты для других распределений

Выше предполагалось, что переменная $X\; i\; \{\backslash \; displaystyle\; X\_\; \{i\}\}$проверялась на нормальное распределение. Любое другое семейство распределений может быть протестировано, но тест для каждого семейства реализуется с использованием различных модификаций базовой статистики теста, и это относится к критическим значениям, специфичным для этого семейства распределений. Модификации статистики и таблиц критических значений даны Стивенсом (1986) для экспоненциального, экстремального, распределения Вейбулла, гамма-распределения, логистического распределения, распределения Коши и фон Мизеса. Тесты для (двухпараметрического) логнормального распределения могут быть реализованы путем преобразования данных с использованием логарифма и использования вышеуказанного теста на нормальность. Подробные сведения о необходимых модификациях статистики теста и критических значениях для нормального распределения и экспоненциального распределения были опубликованы Pearson Hartley (1972, таблица 54). Подробности этих распределений с добавлением распределения Гамбеля также даны Shorak Wellner (1986, стр. 239). Детали для логистического распределения даны Стивенсом (1979). Тест для (двухпараметрического) распределения Вейбулла может быть получен, если использовать тот факт, что логарифм переменной Вейбулла имеет распределение Гамбеля.

Фриц Шольц и Майкл А. Стивенс (1987) обсуждают критерий, основанный на измерении согласия Андерсона-Дарлинга между распределениями, для определения того, могло ли некоторое количество случайных выборок с возможно разными размерами выборок возникнуть из одного и того же распределения., где это распределение не указано. Пакет R kSamples реализует этот ранговый тест для сравнения k выборок среди нескольких других таких ранговых тестов.

• тест Колмогорова-Смирнова
• тест Койпера
• Шапиро– Тест Уилка
• Тест Жарка – Бера
• Степень соответствия

• Кордер, GW, Foreman, DI (2009) Непараметрическая статистика для нестатистиков: пошаговый подход Wiley, ISBN 978-0-470-45461-9
• Mehta, S. ( 2014) Темы статистики ISBN 978-1499273533
• Пирсон ES, Хартли, HO (Редакторы) (1972) Таблицы биометрики для статистиков, Том II. ЧАШКА. ISBN 0-521-06937-8.
• Шапиро, С.С. (1980) Как проверить нормальность и другие предположения о распределении. В: Основные ссылки ASQC в области контроля качества: статистические методы 3, стр. 1–78.
• Шорак, Г.Р., Веллнер, Дж. А. (1986) Эмпирические процессы с приложениями к статистике, Wiley. ISBN 0-471-86725-X.
• Стивенс, Массачусетс (1979) Тест соответствия для логистического распределения на основе эмпирической функции распределения, Biometrika, 66 (3), 591–5.

• US NIST Handbook of Statistics