Статистическая проверка гипотез

редактировать
Метод статистического вывода

A статистическая гипотеза - это гипотеза, которую можно проверить на на основе наблюдаемых данных , смоделированных как реализованные значения, взятые набором случайных величин. Набор данных (или несколько наборов данных, вместе взятых) моделируется как реализованные значения набора случайных величин, имеющих совместное распределение вероятностей в некотором наборе возможных совместных распределений. Проверяемая гипотеза - это именно тот набор возможных распределений вероятностей. Проверка статистической гипотезы - это метод статистического вывода. Альтернативная гипотеза предлагается для распределения вероятностей данных, явно или только неформально. Сравнение двух моделей считается статистически значимым, если в соответствии с пороговой вероятностью - уровнем значимости - данные маловероятны при нулевой гипотезе. Проверка гипотезы определяет, какие результаты исследования могут привести к отклонению нулевой гипотезы на заранее заданном уровне значимости, при этом используется заранее выбранная мера отклонения от этой гипотезы (тестовая статистика или критерий согласия. мера). Заранее выбранный уровень значимости - это максимально допустимая «частота ложных срабатываний». Кто-то хочет контролировать риск ошибочного отклонения истинной нулевой гипотезы.

Процесс различения между нулевой гипотезой и альтернативной гипотезой упрощается за счет рассмотрения двух концептуальных типов ошибок. Первый тип ошибки возникает, когда нулевая гипотеза ошибочно отклоняется. Второй тип ошибки возникает, когда нулевая гипотеза ошибочно не отклоняется. (Эти два типа известны как ошибки типа 1 и типа 2.)

Проверка гипотез, основанная на статистической значимости, является еще одним способом выражения доверительных интервалов (точнее, наборы уверенности). Другими словами, каждая проверка гипотез на основе значимости может быть получена с помощью доверительного интервала, а каждый доверительный интервал может быть получен с помощью проверки гипотез на основе значимости.

Проверка гипотез на основе значимости является наиболее распространенной структурой для статистическая проверка гипотез. Альтернативная структура для проверки статистических гипотез состоит в том, чтобы определить набор статистических моделей, по одной для каждой гипотезы-кандидата, а затем использовать методы выбора модели для выбора наиболее подходящей модели. Наиболее распространенные методы отбора основаны либо на информационном критерии Акаике, либо на байесовском факторе. Однако на самом деле это не «альтернативный каркас», хотя его можно назвать более сложным. Это ситуация, в которой хочется различать множество возможных гипотез, а не только две. В качестве альтернативы его можно рассматривать как гибрид между тестированием и оценкой, где один из параметров является дискретным и указывает, какая из иерархии все более и более сложных моделей является правильной.

  • Проверка значимости нулевой гипотезы * - это название версии проверки гипотез без явного упоминания возможных альтернатив и без особого учета количества ошибок. Ее отстаивал Рональд Фишер в контексте, в котором он преуменьшал значение любого явного выбора альтернативной гипотезы и, следовательно, не обращал внимания на силу теста. Человек просто выдвигает нулевую гипотезу как своего рода соломенный человек или, что более любезно, как формализацию стандартного, установочного, стандартного представления о том, как обстоят дела. Один попытался опровергнуть это общепринятое мнение, показав, что оно привело к выводу, что произошло нечто крайне маловероятное, что дискредитировало теорию.

Содержание

  • 1 Процесс тестирования
    • 1.1 Интерпретация
    • 1.2 Использование и важность
    • 1.3 Предостережения
  • 2 Примеры
    • 2.1 Соотношение полов
    • 2.2 Дама, дегустирующая чай
    • 2.3 Судебный процесс
    • 2.4 Философские бобы
    • 2.5 Карточная игра Ясновидящий
    • 2.6 Радиоактивный чемодан
  • 3 Определение терминов
  • 4 Общая статистика тестов
  • 5 Вариации и подклассы
  • 6 История
    • 6.1 Раннее использование
    • 6.2 Современное происхождение и ранние противоречия
    • 6.3 Ранний выбор нуля гипотеза
  • 7 Проверка статистической значимости нулевой гипотезы
  • 8 Критика
  • 9 Альтернативы
  • 10 Философия
  • 11 Образование
  • 12 См. также
  • 13 Ссылки
  • 14 Дополнительная литература
  • 15 Внешние ссылки
    • 15.1 Онлайн-калькуляторы

Процесс тестирования

В статистической литературе проверка статистических гипотез играет фундаментальную роль. l роль. Можно использовать два математически эквивалентных процесса.

Обычно рассуждают следующим образом:

  1. Существует первоначальная исследовательская гипотеза, истинность которой неизвестна.
  2. Первая Шаг состоит в том, чтобы сформулировать соответствующие нулевые и альтернативные гипотезы . Это важно, так как неправильная формулировка гипотез запутает остальную часть процесса.
  3. Второй шаг - рассмотреть статистические допущения, сделанные в отношении выборки при выполнении теста; например, предположения о статистической независимости или о форме распределений наблюдений. Это не менее важно, поскольку неверные предположения будут означать, что результаты теста недействительны.
  4. Решите, какой тест подходит, и укажите соответствующую статистику теста T.
  5. Выведите распределение статистика проверки при нулевой гипотезе из предположений. В стандартных случаях это будет хорошо известный результат. Например, статистика теста может следовать t-распределению Стьюдента с известными степенями свободы или нормальному распределению с известным средним и дисперсией. Если распределение тестовой статистики полностью фиксируется нулевой гипотезой, мы называем гипотезу простой, иначе она называется составной.
  6. Выберите уровень значимости (α), порог вероятности, ниже которого будет приниматься нулевая гипотеза. отклонено. Общие значения - 5% и 1%.
  7. Распределение статистики теста при нулевой гипотезе делит возможные значения Tна те, для которых нулевая гипотеза отклоняется - так что -называемые критические области - и те, для которых ее нет. Вероятность критической области равна α. В случае составной нулевой гипотезы максимальная вероятность критической области равна α.
  8. Вычислить на основе наблюдений наблюдаемое значение tobs тестовой статистики T.
  9. Принять решение об отклонении нулевая гипотеза в пользу альтернативы или не отвергать ее. Правило принятия решения состоит в том, чтобы отклонить нулевую гипотезу H0, если наблюдаемое значение tobs находится в критической области, и принять или «не отклонить» гипотезу в противном случае.

Обычная альтернативная формулировка этот процесс идет следующим образом:

  1. Вычислить на основе наблюдений наблюдаемое значение tobs тестовой статистики T.
  2. Вычислить p-значение. Это вероятность при нулевой гипотезе выборки тестовой статистики, по крайней мере, такой же экстремальной, как наблюдаемая (максимальная вероятность того события, если гипотеза составная).
  3. Отклонить нулевую гипотезу, в пользу альтернативной гипотезы, если и только если значение p меньше (или равно) пороговому значению уровня значимости (выбранной вероятности) (α {\ displaystyle \ alpha}\ alpha ).

Первый процесс был это было выгодно в прошлом, когда были доступны только таблицы тестовой статистики с общими порогами вероятности. Это позволяло принимать решение без вычисления вероятности. Это было приемлемо для работы в классе и для оперативного использования, но было недостаточно для представления результатов. последний процесс основывался на обширных таблицах или на вычислительной поддержке, которая не всегда доступна. Явный расчет вероятности полезен для составления отчетов. Теперь вычисления тривиально выполняются с помощью соответствующего программного обеспечения.

Разница в t Два процесса, примененные к примеру с радиоактивным чемоданом (ниже):

  • «Показание счетчика Гейгера равно 10. Предел - 9. Проверьте чемодан».
  • «Показание счетчика Гейгера высокое; 97% безопасных чемоданов имеют более низкие показания. Предел 95%. Осмотрите чемодан. "

Первый отчет является адекватным, последний дает более подробное объяснение данных и причин, по которым чемодан проверяется.

Разница между принятием нулевой гипотезы и простым провалом Отвергнуть это важно. Терминология «не отвергнуть» подчеркивает тот факт, что несущественный результат не дает возможности определить, какая из двух гипотез верна, поэтому все, что можно сделать, это то, что нулевая гипотеза не была отклонено. Фраза "принять нулевую гипотезу" может означать, что она была доказана просто потому, что не была опровергнута, логическая ошибка, известная как аргумент от незнания. Если только тест с Если используется особенно высокая степень, идея «принятия» нулевой гипотезы, вероятно, будет неверной. Тем не менее, в статистике преобладает терминология, где фактически подразумеваемое значение хорошо понятно.

Описанные здесь процессы идеально подходят приравнивать для вычисления. Они серьезно пренебрегают соображениями плана экспериментов.

Особенно важно, чтобы соответствующие размеры выборки были оценены до проведения эксперимента.

Фраза «критерий значимости» была придумана статистиком Рональдом Фишером.

Интерпретация

Значение p - это вероятность того, что данный результат (или более значимый результат) произойдет при нулевой гипотезе (или, в случае составного нуля, это наибольшая такая вероятность; см. главу 10 «Вся статистика: краткий курс статистического вывода», Springer; 1-е исправленное издание, 20-е издание, сентябрь 17, 2004; Ларри Вассерман). Например, предположим, что честная монета проверяется на честность (нулевая гипотеза). При уровне значимости 0,05 ожидается, что честная монета (ошибочно) отвергнет нулевую гипотезу примерно в 1 из 20 тестов. Значение p не обеспечивает вероятность того, что какая-либо гипотеза верна (общий источник путаницы).

Если значение p меньше выбранного порога значимости (эквивалентно, если наблюдаемая статистика теста находится в критическая область), то мы говорим, что нулевая гипотеза отклоняется на выбранном уровне значимости. Отказ от нулевой гипотезы - это вывод. Это похоже на обвинительный приговор в уголовном процессе: доказательств достаточно, чтобы отрицать невиновность, тем самым доказывая вину. Мы могли бы принять альтернативную гипотезу (и гипотезу исследования).

Если значение p не меньше выбранного порога значимости (эквивалентно, если наблюдаемая статистика теста находится за пределами критической области), то доказательства недостаточны для подтверждения вывода. (Это похоже на вердикт «невиновен».) Исследователь обычно уделяет особое внимание тем случаям, когда значение p близко к уровню значимости.

Некоторым людям полезно думать о системе проверки гипотез как о аналоге математического доказательства от противоречия.

В примере Леди, дегустирующей чай (ниже), Фишер потребовал, чтобы Леди должным образом классифицировала все чашек чая, чтобы обосновать вывод о том, что результат маловероятен. Его тест показал, что если женщина эффективно гадала наугад (нулевая гипотеза), была 1,4% вероятность того, что наблюдаемые результаты (идеально заказанный чай) будут иметь место.

Действительно ли отклонение нулевой гипотезы оправдывает принятие исследовательской гипотезы, зависит от структуры гипотез. Отказ от гипотезы о том, что большой отпечаток лапы произошел от медведя, не сразу доказывает существование снежного человека. Проверка гипотез делает упор на отказе, который основан на вероятности, а не на принятии, что требует дополнительных логических шагов.

«Вероятность отклонения нулевой гипотезы является функцией пяти факторов: одно- или двусторонний тест, уровень значимости, стандартное отклонение, величина отклонения от нулевой гипотезы, и количество наблюдений ". Эти факторы являются источником критики; Факторы, находящиеся под контролем экспериментатора / аналитика, придают результатам видимость субъективности.

Использование и важность

Статистика полезна при анализе большинства наборов данных. Это в равной степени верно и для проверки гипотез, которая может оправдать выводы, даже если научной теории не существует. В примере с чаем «Леди дегустация» было «очевидно» отсутствие разницы между (наливание молока в чай) и (наливание чая в молоко). Данные противоречили «очевидному».

Реальные приложения проверки гипотез включают:

  • Проверка того, страдают ли от кошмаров больше мужчин, чем женщин
  • Установление авторства документов
  • Оценка влияния полнолуния на поведение
  • Определение диапазона, в котором летучая мышь может обнаружить насекомое с помощью эхо-сигнала
  • Определение, приводит ли больничное ковровое покрытие к увеличению числа инфекций
  • Выбор наилучшего способа бросить курить
  • Проверка того, отражают ли наклейки на бампере поведение владельца автомобиля
  • Проверка утверждений аналитиков почерка

Статистическая проверка гипотез играет важную роль во всей статистике и в статистических выводах. Например, Леманн (1992) в обзоре фундаментальной статьи Неймана и Пирсона (1933) говорит: «Тем не менее, несмотря на свои недостатки, новая парадигма, сформулированная в статье 1933 года, и многие разработки, осуществленные в ее рамках, продолжают оставаться в силе. играют центральную роль как в теории, так и в практике статистики, и можно ожидать, что они сделают это в обозримом будущем ".

Тестирование значимости было предпочтительным статистическим инструментом в некоторых экспериментальных социальных науках (более 90% статей в Журнале прикладной психологии в начале 1990-х). В других полях предпочтение отдается оценке параметров (например, размер эффекта ). Тестирование значимости используется вместо традиционного сравнения прогнозируемого значения и экспериментального результата, лежащего в основе научного метода. Когда теория способна только предсказать знак взаимосвязи, направленный (односторонний) тест гипотез может быть настроен так, чтобы только статистически значимый результат поддерживал теорию. Эта форма оценки теории является наиболее критикуемым применением проверки гипотез.

Предостережения

«Если бы правительство потребовало статистических процедур для нанесения предупреждающих надписей, подобных тем, которые используются на наркотиках, большинство методов вывода действительно имели бы длинные ярлыки». Это предостережение относится к проверкам гипотез и их альтернативам.

Успешная проверка гипотезы связана с вероятностью и частотой ошибок первого типа. Вывод может быть неверным.

Заключение теста настолько же достоверно, насколько и образец, на котором он основан. Дизайн эксперимента имеет решающее значение. Был обнаружен ряд неожиданных эффектов, в том числе:

  • эффект умного Ганса. Лошадь оказалась способной выполнять простые арифметические операции.
  • Эффект Хоторна. Производственные рабочие были более продуктивными при лучшем освещении и наиболее продуктивными при худшем.
  • эффект плацебо. Таблетки без медицинских активных ингредиентов были чрезвычайно эффективны.

Статистический анализ вводящих в заблуждение данных приводит к неверным выводам. Вопрос качества данных может быть более тонким. Например, в прогнозировании нет согласия относительно меры точности прогноза. При отсутствии согласованного измерения ни одно решение, основанное на измерениях, не будет бесспорным.

Книга Как лгать со статистикой - самая популярная из когда-либо изданных книг по статистике. В нем не особо рассматривается проверка гипотез, но к нему применимы предостережения, в том числе: Многие утверждения делаются на основе слишком малых выборок, чтобы их можно было убедить. Если в отчете не упоминается размер выборки, сомневайтесь.

Проверка гипотез действует как фильтр статистических выводов; публикуются только те результаты, которые соответствуют порогу вероятности. Экономика также действует как фильтр публикаций; Для публикации могут быть представлены только результаты, благоприятные для автора и источника финансирования. Влияние фильтрации на публикацию называется предвзятостью публикации. Связанная проблема заключается в множественном тестировании (иногда связанном с интеллектуальным анализом данных ), в котором множество тестов для различных возможных эффектов применяются к одному набору данных и только дающие значительный результат. Часто с ними справляются с помощью процедур коррекции множественности, которые контролируют частоту ошибок в семействе (FWER) или частоту ложных обнаружений (FDR).

Те, кто принимает критические решения на основе результатов проверки гипотезы, благоразумно рассматривают детали, а не только заключение. В физических науках большинство результатов полностью принимаются только при независимом подтверждении. Общий совет относительно статистики: «Цифры никогда не лгут, но фигура лжецы» (анонимно).

Примеры

Соотношение полов

Самое раннее использование статистической проверки гипотез обычно связано с вопросом о равной вероятности рождения мужского и женского пола (нулевая гипотеза), что к нему обращался в 1700-х годах Джон Арбетнот (1710), а позже Пьер-Симон Лаплас (1770-е годы).

Арбетнот исследовал записи о рождении в Лондоне для каждого из 82 года с 1629 по 1710 год, и применил знаковый тест, простой непараметрический тест. Ежегодно количество мужчин, рожденных в Лондоне, превышало количество женщин. Если рассматривать большее количество мужских или женских рождений как равновероятные, вероятность наблюдаемого результата составляет 0,5, или примерно 1 из 4,8360,0000,0000,0000,0000,0000; говоря современным языком, это p-значение. Арбетнот пришел к выводу, что это слишком мало, чтобы быть результатом случая, а должно быть результатом божественного провидения: «Отсюда следует, что правит искусство, а не случай». Говоря современным языком, он отверг нулевую гипотезу о равновероятности рождений мужского и женского пола на уровне значимости p = 1/2.

Лаплас рассмотрел статистику почти полумиллиона рождений. Статистика показала превышение количества мальчиков над девочками. Посредством расчета p-значения он пришел к выводу, что превышение было реальным, но необъяснимым эффектом.

Дама, пробующая чай

В известном примере проверки гипотез, известном как «Леди, пробующая чай», Доктор Мюриэл Бристол, женщина-коллега Фишера, утверждала, что может определить, был ли сначала добавлен чай или молоко в чашку. Фишер предложил подать ей восемь чашек, по четыре каждого сорта, в случайном порядке. Тогда можно было бы спросить, какова вероятность того, что она получит правильное число, но просто случайно. Нулевая гипотеза заключалась в том, что Леди не имела такой способности. Статистика теста представляла собой простой подсчет количества успехов в выборе 4 чашек. Критической областью был единичный случай 4 успехов из 4 возможных на основе общепринятого критерия вероятности (< 5%). A pattern of 4 successes corresponds to 1 out of 70 possible combinations (p≈ 1.4%). Fisher asserted that no alternative hypothesis was (ever) required. The lady correctly identified every cup, which would be considered a statistically significant result.

Судебное разбирательство

Процедура статистической проверки сопоставима с уголовным судебным процессом ; подсудимый считается невиновным до тех пор, пока его вина не доказана. Прокурор пытается доказать вину подсудимого. Только при наличии достаточных доказательств для обвинения подсудимый признается виновным.

В В начале процедуры существуют две гипотезы H 0 {\ displaystyle H_ {0}}H_ {0} : «подсудимый невиновен» и H 1 {\ displaystyle H_ {1 }}H_ {1} : «подсудимый виновен». Первая, H 0 {\ displaystyle H_ {0}}H_ {0} , называется нулевой гипотезой, и пока принимается. Вторая, H 1 {\ displaystyle H_ {1}}H_ {1} , называется альтернативной гипотезой. Это альтернативная гипотеза, которую мы надеемся поддержать..

Гипотеза о невиновности отвергается только y когда ошибка очень маловероятна, потому что никто не хочет осуждать невиновного обвиняемого. Такая ошибка называется ошибкой первого рода (то есть осуждением невиновного человека), и появление этой ошибки контролируется, чтобы быть редким. Вследствие такого асимметричного поведения чаще встречается ошибка второго типа (оправдание лица, совершившего преступление).

H0верно. Совершенно не виновенH1верно. Действительно виновен
Принимаю нулевую гипотезу. ОправданиеВерное решениеНеправильное решение. Ошибка типа II
Отклонить нулевую гипотезу. ОсуждениеНеверное решение. Ошибка типа IПравильное решение

Уголовное разбирательство может рассматриваться как одно или оба из двух процессы принятия решений: виновен против невиновности или доказательства против порога («вне разумного сомнения»). С одной точки зрения, подсудимого судят; с другой точки зрения, оценивается исполнение обвинения (которое несет бремя доказывания). Проверка гипотезы может рассматриваться либо как оценка гипотезы, либо как оценка доказательств.

Философские бобы

Следующий пример был представлен философом, описывающим поколения научных методов до того, как проверка гипотез была формализована и популяризирована.

Некоторые бобы из этой горстки белые.. Большинство бобов в этом мешке белые.. Следовательно: Вероятно, эти бобы были взяты из другого мешка.. Это гипотетический вывод.

Фасоль в сумке - это население. Горстка образцов. Нулевая гипотеза состоит в том, что выборка произошла от совокупности. Критерием отклонения нулевой гипотезы является «очевидная» разница во внешнем виде (неформальная разница в среднем). Интересный результат заключается в том, что рассмотрение реальной популяции и реальной выборки привело к созданию воображаемого мешка. Философ рассматривал логику, а не вероятность. Чтобы быть реальной статистической проверкой гипотезы, этот пример требует формальности вычисления вероятности и сравнения этой вероятности со стандартом.

Простое обобщение примера рассматривает смешанный мешок с фасолью и горстку, содержащих либо очень мало, либо очень много белой фасоли. Обобщение рассматривает обе крайности. Чтобы прийти к формальному ответу, требуется больше вычислений и больше сравнений, но основная философия остаетсянеизменной; Если состав горсти сильно отличается от состава мешка, то вероятно, взят из другого мешка. Исходный пример называется односторонним или односторонним тестом, тогда как обобщение называется двусторонним или двусторонним тестом.

Заявление также основывается на предположении, что выборка была случайной. Если бы кто-то рылся в сумке в поисках белой фасоли, это объяснило бы, почему в пригоршне было так много белой фасоли, а также объяснило бы, почему количество белой фасоли в мешке было исчерпано (хотя мешок, вероятно, намного больше, чем рука).

Ясновидящая карточная игра

Человек (субъект) проверяется на ясновидение. Им 25 раз показывают обратную сторону случайно выбранной игральной карты и спрашивают, какой из четырех мастей она принадлежит. Число совпадений или правильных ответов называется X.

их доказательства ясновидения, на данный момент нулевая гипотеза в том, что человек не является ясновидящим. Альтернатива такова: человек (более или менее) ясновидящий.

Если нулевая гипотеза верна, единственное, что может сделать тестируемый, - это предположить. Для каждой карты вероятность (относительная частота) появление любой одной масти равна 1/4. Если альтернатива верна, испытуемый правильно предсказывает масть с вероятностью более 1/4. Мы будем называть вероятность правильного угадывания p. Итак, гипотезы таковы:

  • нулевая гипотеза : H 0: p = 1 4 {\ displaystyle {\ text {:}} \ qquad H_ {0}: p = {\ tfrac {1} {4}} }\ текст {:} \ qquad H_0: p = \ tfrac 14 (просто догадываюсь)

и

  • альтернативная гипотеза : H 1: p>1 4 {\ displaystyle {\ text {:}} H_ {1}: p>{\ tfrac {1} {4}}}\text{:} H_1: p>\ tfrac 14 (истинный ясновидящий).

Когда испытуемый правильно предсказывает все 25 карт, мы будем считать их ясновидящими и отвергнем нулевую гипотезу. Таким образом, также с 24 или 23 попадания только 5 или 6 попаданий. Как насчет 12 или 17 попаданий? Каково критическое число совпадений c, при котором мы считаем, что объект ясновидящий? мы принимаем ясновидение только тогда, когда все карты предсказаны правильно) мы более критичны, чем при c = 10. Почти никто из испытуемых не будет признан ясновидящим, во втором случае определенное количество пройдёт проверку. На практике каждый решает, насколько критичным он будет. То есть каждый решает, как часто он принимает ошибку первого вида - ложное срабатывание или ошибку типа I. При c = 25 вероятность такой ошибки равна:

P (отклонение H 0 ∣ H 0 действительно) = P (X = 25 ∣ p = 1 4) = (1 4) 25 ≈ 10-15, {\ Displaystyle P ({\ text {reject}} H_ {0} \ mid H_ {0} {\ text {действительно}}) = P (X = 25 \ mid p = {\ tfrac {1} {4}}) = \ left ({\ tfrac {1} {4}} \ right) ^ {25} \ приблизительно 10 ^ {- 15 },}P (\ text {reject} H_0 \ mid H_0 \ text {действительно}) = P (X = 25 \ mid p = \ tfrac 14) = \ left (\ tfrac 14 \ right) ^ {25} \ Approxx10 ^ {- 15},

и, следовательно, очень маленький. Вероятность ложного срабатывания - это вероятность случайного угадывания всех 25 раз.

Быть менее критичным, с c = 10, дает:

P (отклонить H 0 ∣ H 0 действительно) = P (X ≥ 10 ∣ p = 1 4) = ∑ k = 10 25 P ( Икс знак равно К ∣ п = 1 4) знак равно ∑ К = 10 25 C (25, k) (1 - 1 4) (25 - k) (1 4) k ≈ 0,0713, {\ displaystyle P ({\ text {reject}} H_ {0} \ mid H_ {0} {\ text {is valid}}) = P (X \ geq 10 \ mid p = {\ tfrac {1}) {4}}) = \ sum _ {k = 10} ^ {25} P (X = k \ mid p = {\ tfrac {1} {4}}) = \ sum _ {k = 10} ^ {25} C (25, k) (1 - {\ tfrac {1} {4}}) ^ {(25-k)} ({\ tfrac {1} {4}}) ^ {k} \ приблизительно 0 {. } 0713,}{\ displaystyle P ({\ text {reject}} H_ {0} \ mid H_ {0} {\ text {is valid}}) = P (X \ geq 10 \ mid p = {\ tfrac {1} {4}}) = \ sum _ {k = 10} ^ {25} P (X = k \ mid p = {\ tfrac {1}) {4}}) = \ sum _ {k = 10} ^ {25} C (25, k) (1 - {\ tfrac {1} {4}}) ^ {(25-k)} ({\ tfrac {1} {4}}) ^ {k} \ приблизительно 0 {.} 0713,}

(где C (25, k) - биномиальный коэффициент 25 выбора k). Таким образом, c = 10 дает гораздо большую вероятность ложного срабатывания.

Перед фактическим выполнением теста определяется максимально допустимая вероятность ошибки типа I (α). Обычно выбираются значения в диапазоне от 1% до 5%. (Если максимально допустимая частота ошибок равна нулю, требуется бесконечное число правильных значений.) В зависимости от этой частоты ошибок типа 1 вычисляется критическое количество c. Например, если мы выберем коэффициент ошибок в 1%, c будет вычисляться следующим образом:

P (отклонить H 0 ∣ H 0 действительно) = P (X ≥ c ∣ p = 1 4) ≤ 0. 01. {\ displaystyle P ({\ text {reject}} H_ {0} \ mid H_ {0} {\ text {is valid}}) = P (X \ geq c \ mid p = {\ tfrac {1}) {4}}) \ leq 0 {.} 01.}P (\ text {reject} H_0 \ mid H_0 \ text {is valid}) = P (X \ ge c \ mid p = \ tfrac 14) \ le 0 {.} 01.

Из всех чисел c с этим своим мы выбираем наименьшее, чтобы минимизировать вероятность ошибки типа II, ложноотрицательный. В приведенном выше примере мы выбираем: c = 13 {\ displaystyle c = 13}c = 13 .

Радиоактивный чемодан

В качестве рассмотрим того определения, содержит ли чемодан радиоактивный материал. Помещенный под счетчик Гейгера , он производит 10 отсчетов в минуту. Нулевая гипотеза состоит в том, что в чемодане нет радиоактивного материала и все измеренные количества связаны с окружающей радиоактивностью, типичным для окружающего воздуха и безвредных объектов. Затем мы можем вычислить, насколько вероятно, что мы будем вести 10 отсчетов в минуту, если бы нулевая гипотеза была верна. Если нулевая гипотеза предсказывает (скажем) в среднем 9 отсчетов в минуту, то согласно распределению Пуассона, типичному для радиоактивного распада, существует около 41% вероятности регистрации 10 или более отсчетов. Таким образом, мы можем сказать, что чемодан совместим с нулевой гипотезой (это не гарантирует отсутствия радиоактивного материала, просто у нас недостаточно доказательств, чтобы предположить, что он есть). С другой стороны, если нулевая гипотеза предсказывает 3 отсчета в минуту (для данного распределения Пуассона предсказывает только 0,1% вероятность записи 10 или более отсчетов), то чемодан несовместим с нулевой гипотезой, и, вероятно, есть другие факторы, ответственные за измерения производства.

Тест не подтверждает наличие радиоактивного материала. Успешный тест радио подтверждает, что утверждение об отсутствииактивного материала маловероятно с учетом чтения (и, следовательно,...). Двойное отрицание (опровержение нулевой гипотезы) методом сбивает с толку, но использование контрпримера для опровержения является стандартной математической практикой. Привлекательность метода - его практичность. Мы знаем (из опыта) диапазон отсчетов при наличии только радиоактивности ожидаемой окружающей среды, поэтому мы можем, что измерение необычно велико. Статистика просто формализует интуитивное понимание, используя числа вместо прилагательных. Мы, вероятно, не знаем характеристик радиоактивных чемоданов; Мы просто предполагаем, что они дают большие показания.

Чтобы немного формализовать интуицию: радиоактивность подозревается, если счет Гейгера с чемоданом входит в число или больше (5% или 1%) из счетчиков Гейгера, сделанных только с окружающим излучением. Это не делает предположений относительно распределения подсчетов. Для получения хороших оценок вероятности редких событий требуется множество наблюдений за излучением окружающей среды.

Описанный здесь более полно тестом статистической значимости нулевой гипотезы. Нулевая гипотеза представляет собой то, во что мы бы поверили по умолчанию, прежде чем увидим какие-либо доказательства. Статистическая значимость - это возможное обнаружение теста, объявленное, когда ожидаемый образец вряд ли возник бы случайно, если бы нулевая гипотеза была верна. Название теста его формулировку и возможный результат. Одной из характеристик теста является четкое решение: отвергать или не отвергать нулевую гипотезу. Вычисленное значение сравнивается с порогом, который определен на основе допустимого риска ошибки.

Определение терминов

Следующие определения в основном основаны на книге Леманна и Романо:

Статистическая гипотеза
Утверждение о параметрах, описывающих совокупность (не выборка).
Статистика
Значение, вычисленное на основе выборки без каких-либо неизвестных параметров, часто для обобщения выборки в сравнении.
Простая гипотеза
Любая гипотеза, которая полностью определяет распределение населения.
Составная гипотеза
Любая гипотеза, которая не определяет полностью распределение населения.
Нулевая гипотеза (H0)
Гипотеза, связанная - противоречие теории, которую хотелось бы доказать.
Положительные данные
Данные, которые позволяют исследователю отклонить нулевую гипотезу.
Альтернативная гипотеза (H1)
Гипотеза (часто составная), связанная с теорией, которую нужно доказать.
Статистический тест
Процедура, входными данными которой являются образцы s, а результатом является гипотеза.
Область принятия
Набор значений тестовой статистики, для которых мы не смогли отклонить нулевую гипотезу.
Область отклонения / Критическая область
Набор значений тестовой статистики, для которых нулевая гипотеза отклоняется.
Критическое значение
Пороговое значение, ограничивающее области принятия и отклонения для тестовой статистики.
Мощность теста (1 - β)
Вероятность правильного отклонения нулевой гипотезы, если альтернативная гипотеза верна. Дополнение к показателю ложноотрицательных результатов, β. Мощность называется чувствительностью в биостатистике. («Это чувствительный тест. Поскольку результат отрицательный, мы можем с уверенностью сказать, что у пациента нет этого состояния».) См. чувствительность и специфичность и Ошибки типа I и типа II для исчерпывающих определений.
Размер
Для простых гипотез это вероятность теста неверно отклонить нулевую гипотезу. Уровень ложных срабатываний. Для составных гипотез это верхняя грань вероятности отклонения нулевой гипотезы по всем случаям, охватываемым нулевой гипотезой. Дополнение к ложноположительным результатам называется специфичностью в биостатистике. («Это особый тест. Поскольку результат положительный, мы можем с уверенностью сказать, что у пациента есть заболевание».) См. чувствительность и специфичность и Ошибки типа I и типа II для исчерпывающих определений.
Уровень значимости теста (α)
Это верхняя граница, налагаемая на размер теста. Его значение выбирает статистик перед просмотром данных или выбором какого-либо конкретного теста для использования. Это максимальная подверженность ошибочному отклонению H 0, которую он / она готов принять. Тестирование H 0 на уровне значимости α означает тестирование H 0 с помощью теста, размер которого не превышает α. В большинстве случаев используются тесты, размер которых равен уровню значимости.
p-значение
Вероятность, предполагая, что нулевая гипотеза верна, получить результат, по крайней мере, такой же экстремальный, как статистика теста. В случае составной нулевой гипотезы - вероятность наихудшего случая.
Статистическая значимость тест
Предшественник теста статистической гипотезы (см. Раздел «Происхождение»). Экспериментальный результат считался статистически значимым, если образец был достаточно несовместим с (нулевой) гипотезой. Это по-разному считалось здравым смыслом, прагматической эвристикой для выявления значимых экспериментальных результатов, соглашением, устанавливающим порог статистических данных, или методом вывода выводов из данных. Проверка статистической гипотезы добавила математической строгости и философской согласованности концепции, сделав альтернативную гипотезу явной. Этот термин широко используется для современной версии, которая сейчас является частью статистической проверки гипотез.
Консервативный тест
Тест является консервативным, если при построении для данного номинального уровня значимости истинная вероятность ошибочного отклонения нулевой гипотезы никогда не превышает номинальный уровень.
Точный тест
Тест, в котором уровень значимости или критическое значение может быть вычислено точно, т. е. без какого-либо приближения. В некоторых контекстах этот термин ограничен тестами, применяемыми к категориальным данным и к тестам перестановки, в которых вычисления выполняются путем полного перечисления всех возможных результатов и их вероятностей.

Тест статистической гипотезы сравнивает статистику теста (например, z или t) с пороговым значением. Статистика теста (формула, приведенная в таблице ниже) основана на оптимальности. Для фиксированного уровня ошибки типа I использование этой статистики сводит к минимуму количество ошибок типа II (что эквивалентно максимальному увеличению мощности). Следующие термины описывают тесты с точки зрения такой оптимальности:

Самый мощный тест
Для данного размера или уровня значимости тест с наибольшей мощностью (вероятностью отклонения) для данного значения параметра (ов) тестируемый, предостався в альтернативной гипотезе.
Единообразно мощный тест (UMP)
Тест с наибольшей мощностью для всех значений проверяемого варианта (ов), предостався в альтернативная гипотеза.

Общая статистика теста

Вариации и подклассы

Статистическая проверка гипотез - ключевой метод как частотного вывода, так и байесовского вывода, хотя два типа вывода имеют заметные различия. Статистические проверки гипотез определяет, которая контролирует (исправляет) неправильного решения, что позиция по умолчанию (нулевая гипотеза ) неверна. Процедура на основе вероятности возникновения наблюдений, если бы нулевая гипотеза была верной. Обратите внимание, что эта вероятность принятия неправильного решения не является ни вероятностью того, что нулевая гипотеза верна, ни верностью какой-либо альтернативной гипотезы. Это контрастирует с другими возможными методами теории решений решений, в которой нулевая и альтернативная гипотеза обрабатываются на более равной основе.

Один наивный байесовский подход к проверке гипотез состоит в том, чтобы принять решения на основе апостериорной вероятности, но это не удается при сравнении точечных и непрерывных гипотез. Другие подходы к принятию решений, такие как байесовская теория принятия решений, пытаются сбалансировать последствия неправильных решений по всем возможностям, а не концентрироваться на одной нулевой гипотезе. Ряд других подходов к принятию решений на основе доступных данных через теорию принятия решений и оптимальные решения, некоторые из которых имеют желаемые свойства. Однако проверка гипотез - доминирующий подход к анализу данных во многих областях. Расширения теории проверки гипотез включает изучение мощности тестов, то есть вероятность правильного отклонения нулевой гипотезы при условии, что она ложна. Такие соображения можно использовать для целей определения размера выборки до сбора данных.

История

Раннее использование

В то время как проверка гипотез была популяризирована в начале 20 века, ранние формы использовались в 1700-х годах. Первое использование приписывается Джону Арбетноту (1710), затем Пьеру-Симону Лапласу (1770-е годы) при анализе соотношения полов человека при рождении; см. § Соотношение полов.

Современное происхождение и ранние противоречия

Современное тестирование значимости в степени является результатом Карла Пирсона (p-value, критерий хи-квадрат Пирсона ), Уильям Сили Госсет (t-распределение Стьюдента ) и Рональд Фишернулевая гипотеза «, дисперсионный анализкритерий значимости »), проверка гипотез была ограничена Ежи Нейман и Эгоном Пирсоном (сын Карла). Рональд Фишер начал свою жизнь в статистике как байесовец (Zabell 1992), но вскоре Фишер разочаровался в вовлеченной субъективности (именно в использовании принципа безразличия при определении априорных вероятностей), и попытался предоставить более точные данные. подход к индуктивному выводу.

Фишер был статистиком в области сельского хозяйства, установленный строгий экспериментальный план и методы извлечения резу льтата из нескольких выборок, предполагающих гауссовские распределения. Нейман (который объединился с младшим Пирсоном) подчеркивал математическую строгость и методы достижения большего количества результатов из многих диапазонов распределения. Современная проверка гипотез представляет собой противоречивый гибрид формулировок, методов и терминологии Фишера и Неймана / Пирсона, созданных в начале 20 века.

Фишер популяризировал «критерий значимости». Требовала нулевая гипотеза (соответствующая распределению частот населения) и выборка. Его (теперь уже знакомые) вычисления определили, следует ли отвергать нулевую гипотезу или нет. Тестирование значимости не использовалось альтернативную гипотезу, поэтому не было концепции ошибки типа II.

Значение было разработано как неформальный, но объективный показатель, призванный помочь исследователю определить (на основе других знаний), использовать ли будущие эксперименты или укреплять веру в нулевое значение гипотеза. Проверка (и ошибки типа I / II) была изобретена Нейманом и Пирсоном как более объективная альтернатива p-значению Фишера, предназначенная для определения поведения исследователя, но не требуемая от исследователя каких-либо индуктивных выводов.

Нейман и Пирсон рассмотрели другую задачу (которую они назвали «проверкой гипотез»). Первоначально они рассмотрели две простые гипотезы (обе с частотным распределением). Они вычисляли две вероятности и обычно выбирали гипотезу, связанную с более высокой вероятностью (гипотеза с большей вероятностью сгенерировала выборку). Их метод всегда выбирал гипотезу. Это также может вычислить оба типа вероятностей ошибок.

Фишер и Нейман / Пирсон ожесточенно столкнулись. Нейман / Пирсон считали их формулировку улучшенным обобщением проверки значимости. (Определяющая статья была аннотация. Математики обобщали и уточняли теорию на протяжении десятилетий.) Фишер считал, что это неприменимо к научным исследованиям, потому что часто в ходе эксперимента обнаруживается, что предполагаемые предположения о нулевой гипотезе сомнительны из-за неожиданных источников ошибок. Используется этот метод использования методов к научным исследованиям, применяемых для сбора данных, несовместимых с распространенными методами, с использованием данного метода использования методов к научным исследованиям.

спор между Фишером и Нейман-Пирсон велся на философских основаниях, охарактеризованных философом, как спор о надлежащей роли моделей в статистических выводах.

Вмешались события: Нейман занял позицию в западном полушарии, нарушив его партнерство с Пирсоном и разделение спорящих (которые занимали одно здание) на большую часть диаметра планеты. Вторая мировая война дала перерыв в дебатах. Спор между Фишером и Нейманом прекратился (не разрешенный через 27 лет) со смертью Фишера в 1962 году. Нейман написал хорошо известную панегирик. В некоторых из более поздних публикаций Неймана сообщалось о p-значениях и уровнях значимости.

Современная версия проверки гипотез представляет собой гибрид двух подходов, возникших в результате путаницы со стороны авторов статистических учебников (как предсказывал Фишер), начиная с 1940-е годы. (Но обнаружение сигнала, например, все еще использует формулировку Неймана / Пирсона.) Большие концептуальные различия и многие предостережения в дополнение к упомянутым выше были проигнорированы. Нейман и Пирсон предоставили более строгую терминологию, более строгую математику и более последовательную философию, но предмет, который преподается сегодня во вводной статистике, имеет больше общего с методом Фишера, чем их. Эта история объясняет противоречивую терминологию (пример: нулевая гипотеза никогда не принимается, но есть область принятия).

Где-то около 1940 года, явно пытаясь предоставить исследователям "бесспорный" способ съесть свой пирог и съесть его, авторы статистических учебников начали анонимно комбинировать эти две стратегии с использованием p-значения вместо статистики (или данных) для проверки по «уровню значимости» Неймана – Пирсона. Таким образом, исследователям было предложено сделать вывод о силе своих данных относительно некоторой нулевой гипотезы, используя p-значения, но при этом они полагали, что они сохраняют объективность после сбора данных, полученную при проверке гипотез. Затем стало обычным, что нулевая гипотеза, которая изначально была некой реалистичной исследовательской гипотезой, использовалась почти исключительно как соломинка «нулевая» гипотеза (гипотеза, при которой лечение не имеет эффекта, независимо от контекста).

Сравнение между Фишерианцем и частотным анализом (Нейман – Пирсон)
#Проверка нулевой гипотезы ФишераТеория принятия решений Неймана – Пирсона
1Создание статистической нулевой гипотезы. Нулевое значение не обязательно должно быть нулевой гипотезой (то есть нулевой разностью).Установите две статистические гипотезы, H1 и H2, и определите α, β и размер выборки перед экспериментом на основе субъективных соображений рентабельности. Они определяют область отклонения для каждой гипотезы.
2Укажите точный уровень значимости (например, p = 0,051 или p = 0,049). Не используйте общепринятый уровень 5% и не говорите о принятии или отклонении гипотез. Если результат «незначительный», не делайте никаких выводов и не принимайте никаких решений, но отложите оценку до тех пор, пока не станут доступны дополнительные данные.Если данные попадают в область отклонения H1, принять H2; в противном случае принять H1. Обратите внимание, что принятие гипотезы не означает, что вы в нее верите, а только то, что вы действуете так, как если бы она была правдой.
3Используйте эту процедуру только в том случае, если о проблеме известно мало, и только для того, чтобы сделать предварительные выводы в контексте попытки понять экспериментальную ситуацию.Полезность процедуры ограничена, среди прочего, ситуациями, когда у вас есть дизъюнкция гипотез (например, либо μ1 = 8, либо μ2 = 10 истинно) и где вы можете найти значимый компромисс между затратами и выгодами для выбирая альфа и бета.

Ранний выбор нулевой гипотезы

Пол Мил утверждал, что эпистемологическая важность выбора нулевой гипотезы в значительной степени осталась непризнанной. Когда нулевая гипотеза предсказывается теорией, более точный эксперимент будет более серьезной проверкой лежащей в основе теории. Когда нулевая гипотеза по умолчанию равна «нет разницы» или «нет эффекта», более точный эксперимент - менее серьезная проверка теории, которая мотивировала проведение эксперимента. Поэтому изучение истоков последней практики может быть полезно:

1778:Пьер Лаплас сравнивает рождаемость мальчиков и девочек во многих европейских городах. Он заявляет: «Естественно сделать вывод, что эти возможности почти в одинаковом соотношении». Таким образом, нулевая гипотеза Лапласа о том, что рождаемость мальчиков и девочек должна быть равной с учетом «общепринятого мнения».

1900: Карл Пирсон разрабатывает критерий хи-квадрат для определения " будет ли данная форма частотной кривой эффективно описывать выборки, взятые из данной совокупности ». Таким образом, нулевая гипотеза состоит в том, что популяция описывается некоторым распределением, предсказываемым теорией. Он использует в качестве примера числа пять и шесть в данных о броске костей Велдона.

1904: Карл Пирсон развивает концепцию «непредвиденных обстоятельств » в чтобы определить, являются ли результаты независимыми от данного категориального фактора. Здесь нулевая гипотеза по умолчанию состоит в том, что две вещи не связаны между собой (например, образование рубцов и уровень смертности от оспы). Нулевая гипотеза в этом случае больше не предсказывается теорией или общепринятым мнением, а вместо этого является принципом безразличия, который привел Фишера и других к отказу от использования «обратных вероятностей».

Проверка статистической значимости нулевой гипотезы

Пример проверки гипотезы Неймана – Пирсона может быть сделан путем изменения примера с радиоактивным чемоданом. Если «чемодан» на самом деле является экранированным контейнером для транспортировки радиоактивного материала, то можно использовать тест для выбора одной из трех гипотез: отсутствие радиоактивного источника, наличие одного, наличие двух (всех). Испытание может потребоваться на безопасность, с действиями, необходимыми в каждом случае. Лемма Неймана – Пирсона проверки гипотез говорит, что хорошим критерием для выбора гипотез является отношение их вероятностей (отношение правдоподобия ). Простой метод решения - выбрать гипотезу с наибольшей вероятностью для наблюдаемых подсчетов Гейгера. Типичный результат соответствует интуиции: несколько подсчетов подразумевают отсутствие источника, многие подсчеты подразумевают два источника, а промежуточные подсчеты подразумевают один источник. Также обратите внимание, что обычно возникают проблемы с , подтверждающим отрицательный результат. Нулевые гипотезы должны быть как минимум опровергнутыми..

Теория Неймана – Пирсона может учитывать как априорные вероятности, так и затраты на действия, вытекающие из решений. Первый позволяет каждому тесту учитывать результаты более ранних тестов (в отличие от тестов значимости Фишера). Последний позволяет рассматривать экономические вопросы (например), а также вероятности. Отношение правдоподобия остается хорошим критерием для выбора среди гипотез.

Две формы проверки гипотез основаны на разных постановках задачи. Исходный тест аналогичен вопросу «верно / неверно»; тест Неймана – Пирсона больше похож на множественный выбор. По мнению Тьюки, первый делает вывод на основе только веских доказательств, а второй выносит решение на основе имеющихся доказательств. Хотя эти два теста кажутся совершенно разными как математически, так и философски, более поздние разработки приводят к противоположному утверждению. Рассмотрим множество крошечных радиоактивных источников. Гипотезы превращаются в 0,1,2,3... крупинки радиоактивного песка. Существует небольшое различие между отсутствием или некоторым излучением (Фишер) и 0 крупинками радиоактивного песка по сравнению со всеми альтернативами (Нейман-Пирсон). В основной работе Неймана – Пирсона 1933 г. также рассматривались сложные гипотезы (те, чье распределение включает неизвестный параметр). Пример доказал оптимальность t-критерия (Стьюдента): «не может быть лучшего теста для рассматриваемой гипотезы» (стр. 321). Теория Неймана – Пирсона с самого начала доказывала оптимальность фишеровских методов.

Тестирование значимости Фишера оказалось популярным гибким статистическим инструментом в приложении с небольшим математическим потенциалом роста. Проверка гипотез Неймана – Пирсона считается одним из столпов математической статистики, создавая новую парадигму в этой области. Это также стимулировало появление новых приложений в статистическом управлении процессами, теории обнаружения, теории принятия решений и теории игр. Оба состава оказались успешными, но успехи носили разный характер.

Спор по поводу формулировок не разрешен. Наука в первую очередь использует формулировку Фишера (слегка измененную), как учат во вводной статистике. Статистики изучают теорию Неймана – Пирсона в аспирантуре. Математики гордятся объединением формулировок. Философы рассматривают их отдельно. Выученные мнения считают, что эти формулировки по-разному конкурируют (Фишер против Неймана), несовместимы или дополняют друг друга. Спор стал более сложным, поскольку байесовский вывод стал респектабельным.

Терминология непоследовательна. Проверка гипотез может означать любую смесь двух составов, которые со временем меняются. Любое обсуждение проверки значимости и проверки гипотез вдвойне подвержено путанице.

Фишер считал, что проверка гипотез является полезной стратегией для проведения промышленного контроля качества, однако он категорически не согласился с тем, что проверка гипотез может быть полезна для ученых. Проверка гипотез предоставляет средства поиска тестовой статистики, используемой при проверке значимости. Концепция мощности полезна для объяснения последствий корректировки уровня значимости и широко используется при определении размера выборки. Эти два метода остаются философски разными. Обычно (но не всегда) они дают одинаковый математический ответ. Предпочтительный ответ зависит от контекста. В то время как существующее слияние теорий Фишера и Неймана-Пирсона подвергалось резкой критике, рассматривалось изменение слияния для достижения байесовских целей.

Критика

Критика статистической проверки гипотез заполняет многие книги. Большую часть критики можно свести к следующим вопросам:

  • Интерпретация p-значения зависит от правила остановки и определения множественного сравнения. Первые часто меняются в ходе исследования, а вторые неизбежно неоднозначны. (т.е. «значения p зависят как от наблюдаемых (данных), так и от других возможных (данных), которые могли наблюдаться, но не были»).
  • Путаница, возникающая (частично) из-за комбинирования методов Фишера и Неймана – Пирсона, которые концептуально отличаются.
  • Акцент на статистической значимости за исключением оценки и подтверждения повторными экспериментами.
  • Жесткое требование статистической значимости в качестве критерия для публикации, что приводит к предвзятость публикации. Большая часть критики носит косвенный характер. Вместо того, чтобы ошибаться, статистическая проверка гипотез неправильно понимается, используется чрезмерно и неправильно.
  • Когда используется для выявления различий между группами, возникает парадокс. По мере внесения усовершенствований в план эксперимента (например, повышение точности измерения и размера выборки) тест становится более щадящим. Если не принять абсурдное предположение, что все источники шума в данных полностью исключаются, шанс найти статистическую значимость в любом направлении приближается к 100%. Однако это абсурдное предположение о том, что средняя разница между двумя группами не может быть нулевой, означает, что данные не могут быть независимыми и одинаково распределенными (i.i.d.), потому что ожидаемая разница между любыми двумя подгруппами i.i.d. случайные переменные равны нулю; следовательно, i.i.d. предположение также абсурдно.
  • Слои философских проблем. Вероятность статистической значимости - это функция решений, принятых экспериментаторами / аналитиками. Если решения основаны на условности, они называются произвольными или бессмысленными, тогда как решения, не основанные на этом, могут быть названы субъективными. Чтобы свести к минимуму ошибки типа II, рекомендуется использовать большие образцы. В психологии практически все нулевые гипотезы объявляются ложными для достаточно больших выборок, поэтому «… обычно бессмысленно проводить эксперимент с единственной целью отклонить нулевую гипотезу». «Статистически значимые результаты часто вводят в заблуждение» в психологии. Статистическая значимость не подразумевает практического значения, а корреляция не подразумевает причинно-следственную связь. Таким образом, ставить под сомнение нулевую гипотезу - это далеко не прямое подтверждение исследовательской гипотезы.
  • «[Я] не говорит нам того, что мы хотим знать». Доступны списки десятков жалоб.

Критики и сторонники в значительной степени фактически согласны относительно характеристик проверки значимости нулевой гипотезы (NHST): хотя она может предоставить важную информацию, она неадекватна в качестве единственного инструмента статистического анализа. Успешный отказ от нулевой гипотезы может не поддержать исследовательскую гипотезу. Продолжающиеся споры касаются выбора лучших статистических практик на ближайшее будущее с учетом (часто плохих) существующих практик. Критики предпочли бы полностью запретить NHST, вынудив полностью отказаться от этой практики, в то время как сторонники предлагают менее абсолютные изменения.

Споры по поводу проверки значимости и ее влияния на предвзятость публикации, в частности, дали несколько результатов. Американская психологическая ассоциация ужесточила свои требования к статистической отчетности после проверки, издатели медицинских журналов признали обязательство публиковать некоторые результаты, которые не являются статистически значимыми для борьбы с предвзятостью публикации, и был создан журнал (Журнал статей в поддержку нулевой гипотезы) исключительно для публикации таких результатов. Учебники добавили некоторые предостережения и расширили охват инструментов, необходимых для оценки размера выборки, необходимой для получения значимых результатов. Основные организации не отказались от использования критериев значимости, хотя некоторые обсуждали это.

Альтернативы

Объединяющая позиция критиков состоит в том, что статистика не должна приводить к выводу или решению принять-отклонить, но до оценочного значения с интервалом оценка ; эта философия анализа данных широко известна как статистика оценки. Статистические оценки могут быть выполнены с помощью частотного [1] или байесовского методов.

Один сильный критик проверки значимости предложил список альтернативных вариантов отчетности: размер эффекта для важности, интервалы прогнозирования для уверенности, репликации и расширения для воспроизводимости, мета-анализ для общности. Ни одна из этих предложенных альтернатив не приводит к выводу / решению. Леманн сказал, что теорию проверки гипотез можно представить в терминах выводов / решений, вероятностей или доверительных интервалов. «Различие между... подходами в значительной степени заключается в представлении информации и интерпретации».

С одной «альтернативой» разногласий нет: сам Фишер сказал: «Что касается проверки значимости, мы можем сказать что явление экспериментально продемонстрировано, когда мы знаем, как проводить эксперимент, который редко не дает нам статистически значимого результата ». Коэн, влиятельный критик проверки значимости, согласился: «... не ищите волшебную альтернативу NHST [проверке значимости нулевой гипотезы]... Ее не существует». «... учитывая проблемы статистической индукции, мы, наконец, должны полагаться, как и более старые науки, на воспроизведение». «Альтернативой» проверке значимости является повторное тестирование. Самый простой способ уменьшить статистическую неопределенность - получить больше данных, будь то увеличенный размер выборки или повторные тесты. Никерсон утверждал, что никогда не видел публикации буквально воспроизведенного эксперимента в психологии. Непрямым подходом к репликации является метаанализ.

Байесовский вывод - одна из предлагаемых альтернатив тестированию значимости. (Никерсон процитировал 10 источников, предполагающих это, включая Розебум (1960)). Например, байесовская оценка параметра может предоставить обширную информацию о данных, на основе которой исследователи могут делать выводы, при использовании неопределенных априорных значений, которые оказывают лишь минимальное влияние на результаты, когда доступно достаточно данных. Психолог Джон К. Крушке предложил байесовскую оценку в качестве альтернативы t-критерию. В качестве альтернативы две конкурирующие модели / гипотезы можно сравнить с использованием байесовских факторов. Байесовские методы можно критиковать за то, что они требуют информации, которая редко доступна в тех случаях, когда наиболее интенсивно используется проверка значимости. Ни априорные вероятности, ни распределение вероятностей тестовой статистики при альтернативной гипотезе часто недоступны в социальных науках.

Сторонники байесовского подхода иногда заявляют, что целью исследователя чаще всего является объективно оценить вероятность того, что гипотеза верна, на основе собранных ими данных. Ни проверка значимости Фишера, ни проверка гипотез Неймана – Пирсона не могут предоставить эту информацию и не претендуют на нее. Вероятность того, что гипотеза верна, может быть получена только из использования теоремы Байеса, которая не удовлетворила ни Фишера, ни Неймана-Пирсона из-за явного использования субъективности в форма априорной вероятности. Стратегия Фишера состоит в том, чтобы обойти это с помощью p-значения (объективный индекс, основанный только на данных) с последующим индуктивным выводом, в то время как Нейман-Пирсон разработал свой подход индуктивного поведения.

Философия

Проверка гипотез и философия пересекаются. В статистике вывода, включающей проверку гипотез, применяется вероятность. Как вероятность, так и ее применение переплетены с философией. Философ Дэвид Хьюм писал: «Всякое знание вырождается в вероятность». Конкурирующие практические определения вероятности отражают философские различия. Наиболее распространенное применение проверки гипотез - это научная интерпретация экспериментальных данных, которая, естественно, изучается философией науки.

. Фишер и Нейман выступили против субъективности вероятности. Их взгляды способствовали объективным определениям. Суть их исторического разногласия была философской.

Многие из философских критических замечаний по поводу проверки гипотез обсуждаются статистиками в других контекстах, в частности, корреляция не подразумевает причинно-следственную связь и план экспериментов. Проверка гипотез представляет постоянный интерес для философов.

Образование

В школах все чаще преподают статистику, и проверка гипотез является одним из элементов обучения. Многие выводы, публикуемые в популярной прессе (от опросов политического мнения до медицинских исследований), основаны на статистике. Некоторые авторы заявили, что статистический анализ такого рода позволяет четко обдумать проблемы, связанные с массовыми данными, а также эффективно сообщать о тенденциях и выводах из указанных данных, но следует предостеречь, что авторы для широкой публики должны иметь твердое представление о данной области. чтобы правильно использовать термины и понятия. На вводном курсе статистики в колледже большое внимание уделяется проверке гипотез - возможно, половина курса. Такие области, как литература и богословие, теперь включают результаты, основанные на статистическом анализе (см. Анализатор Библии ). Вводный класс по статистике преподает проверку гипотез в виде поваренной книги. Проверка гипотез также преподается в аспирантуре. Статистики узнают, как создавать хорошие процедуры статистических тестов (например, z, t Стьюдента, F и хи-квадрат). Статистическая проверка гипотез считается зрелой областью статистики, но ее разработка продолжается в ограниченном объеме.

Согласно академическому исследованию, метод преподавания вводной статистики по кулинарной книге не оставляет времени для истории, философии или споров. Проверка гипотез преподается как единый метод. Опросы показали, что выпускники класса были наполнены философскими заблуждениями (по всем аспектам статистических выводов), которые сохранялись среди преподавателей. Хотя проблема была решена более десяти лет назад и продолжаются призывы к реформе образования, студенты все еще заканчивают уроки статистики, придерживаясь фундаментальных заблуждений о проверке гипотез. Идеи по совершенствованию обучения проверке гипотез включают поощрение студентов к поиску статистических ошибок в опубликованных статьях, преподавание истории статистики и подчеркивание противоречий в обычно сухом предмете.

См. Также

  • icon Портал математики

Ссылки

Дополнительная литература

Внешние ссылки

На Викискладе есть средства массовой информации, связанные с проверкой гипотез.
Викиверситет имеет учебные ресурсы по Проверка статистических гипотез в Введение в статистический анализ / Раздел 5 Содержание

Онлайн-калькуляторы

Последняя правка сделана 2021-06-09 10:07:31
Содержание доступно по лицензии CC BY-SA 3.0 (если не указано иное).
Обратная связь: support@alphapedia.ru
Соглашение
О проекте