Статистический вывод

редактировать

Статистический вывод - это процесс использования анализа данных для определения свойств базового распределение вероятности. Логический статистический анализ позволяет сделать вывод о свойствах популяции , например, путем проверки гипотез и получения оценок. Предполагается, что наблюдаемый набор данных взят из более широкой совокупности.

Выводную статистику можно сравнить с описательной статистикой. Описательная статистика касается исключительно свойств наблюдаемых данных и не основывается на предположении, что данные поступают от большей совокупности. В машинном обучении термин «вывод» иногда используется вместо того, чтобы означать «сделать прогноз, оценив уже обученную модель»; в этом контексте определение свойств модели называется обучением или обучением (а не выводом), а использование модели для прогнозирования называется выводом (вместо прогнозирования); см. также прогнозный вывод.

Содержание

  • 1 Введение
  • 2 Модели и предположения
    • 2.1 Степень моделей / предположений
    • 2.2 Важность достоверных моделей / предположений
      • 2.2.1 Приближенные распределения
    • 2.3 Модели на основе рандомизации
      • 2.3.1 Анализ рандомизированных экспериментов на основе моделей
      • 2.3.2 Вывод рандомизации без использования модели
  • 3 Парадигмы вывода
    • 3.1 Вывод частотника
      • 3.1. 1 Примеры частотного вывода
      • 3.1.2 Частотный вывод, объективность и теория принятия решений
    • 3.2 Байесовский вывод
      • 3.2.1 Примеры байесовского вывода
      • 3.2.2 Байесовский вывод, теория субъективности и принятия решений
    • 3.3 Вывод на основе правдоподобия
    • 3.4 Вывод на основе AIC
    • 3.5 Другие парадигмы для вывода
      • 3.5.1 Минимальная длина описания
      • 3.5.2 Исходный вывод
      • 3.5.3 Структурный вывод
  • 4 Темы вывода
  • 5 История
  • 6 См. Также
  • 7 Примечания
  • 8 Ссылки
    • 8.1 Цитаты
    • 8.2 Источники
  • 9 Дополнительная литература
  • 10 Exte ные ссылки

Введение

Статистический вывод делает предположения о генеральной совокупности с использованием данных, взятых из совокупности с некоторой формой выборки. Учитывая гипотезу о совокупности, для которой мы хотим сделать выводы, статистический вывод состоит из (первого) выбора статистической модели процесса, генерирующего данные, и (второго) вывода предположения из модели.

Кониси и Китагава заявляют: «Большинство проблем статистического вывода можно рассматривать как проблемы, связанные со статистическим моделированием». В связи с этим сэр Дэвид Кокс сказал: «Как [] перевод предметной проблемы в статистическую модель часто является наиболее важной частью анализа».

заключение статистического вывода является статистическим предположением. Ниже приведены некоторые распространенные формы статистического предложения:

  • a точечная оценка, то есть конкретное значение, которое наилучшим образом приближает некоторый интересующий параметр;
  • интервальная оценка , например доверительный интервал (или установленная оценка), то есть интервал, построенный с использованием набора данных, взятого из генеральной совокупности, так что при повторной выборке таких наборов данных такие интервалы будут содержать истинное значение параметра с вероятностью с заявленным уровнем достоверности ;
  • a доверительным интервалом, то есть набором значений, содержащим, например, 95% апостериорного убеждения;
  • отклонение гипотезы ;
  • кластеризация или классификация точек данных по группам.

Модели и предположения

Любой статистический вывод требует некоторых предположений. Статистическая модель - это набор допущений, касающихся генерации наблюдаемых и аналогичных данных. В описаниях статистических моделей обычно подчеркивается роль представляющих интерес количеств населения, о которых мы хотим сделать вывод. Описательная статистика обычно используется в качестве предварительного шага перед тем, как будут сделаны более формальные выводы.

Степень моделей / предположений

Статистики различают три уровня допущений моделирования;

  • Полностью параметрический : Предполагается, что распределения вероятностей, описывающие процесс генерации данных, полностью описываются семейством распределений вероятностей, включающих только конечное число неизвестных параметров. Например, можно предположить, что распределение значений совокупности действительно Нормальное, с неизвестным средним значением и дисперсией, и что наборы данных генерируются «простой» случайной выборкой. Семейство обобщенных линейных моделей представляет собой широко используемый и гибкий класс параметрических моделей.
  • Непараметрические : предположения, сделанные в отношении процесса, генерирующего данные, намного меньше, чем в параметрическая статистика и может быть минимальной. Например, у каждого непрерывного распределения вероятностей есть медиана, которую можно оценить с помощью медианы выборки или оценки Ходжеса – Леманна – Сена, которая имеет хорошие свойства, когда данные возникают в результате простой случайной выборки.
  • Полупараметрический : этот термин обычно подразумевает «промежуточные» предположения, полностью и непараметрические. Например, можно предположить, что распределение населения имеет конечное среднее значение. Кроме того, можно предположить, что средний уровень ответа в популяции действительно линейно зависит от некоторой ковариаты (параметрическое предположение), но не делать никаких параметрических предположений, описывающих дисперсию вокруг этого среднего (то есть о наличии или возможной форме любого гетероскедастичность ). В более общем плане полупараметрические модели часто можно разделить на «структурные» и «случайные вариации» компоненты. Один компонент обрабатывается параметрически, а другой - непараметрически. Хорошо известная модель Кокса представляет собой набор полупараметрических предположений.

Важность достоверных моделей / предположений

Какой бы уровень допущения ни был сделан, правильно откалиброванный вывод обычно требует их предположения верны; т.е. что механизмы генерации данных действительно указаны правильно.

Неправильные допущения «простой» случайной выборки могут сделать статистический вывод недействительным. Более сложные полу- и полностью параметрические предположения также вызывают озабоченность. Например, неправильное предположение о модели Кокса в некоторых случаях может привести к ошибочным выводам. Неправильные предположения о нормальности в популяции также делают недействительными некоторые формы вывода на основе регрессии. Использование любой параметрической модели скептически рассматривается большинством экспертов по выборке популяций людей: «большинство статистиков, занимающихся выборкой, когда они вообще имеют дело с доверительными интервалами, ограничиваются утверждениями об [оценках], основанных на очень больших выборках., где центральная предельная теорема гарантирует, что эти [оценки] будут иметь распределения, близкие к нормальным ". В частности, нормальное распределение «было бы совершенно нереалистичным и катастрофически неразумным предположением, если бы мы имели дело с любым типом экономического населения». Здесь центральная предельная теорема утверждает, что распределение выборочного среднего «для очень больших выборок» приблизительно нормально распределено, если распределение не является тяжелым хвостом.

Приближенные распределения

Учитывая сложность определения точных распределений выборочной статистики, было разработано множество методов для их аппроксимации.

Для конечных выборок результаты аппроксимации измеряют, насколько близко предельное распределение приближается к выборочному распределению статистики: например, для 10000 независимых выборок нормальное распределение аппроксимирует (с точностью до двух знаков) распределение выборочного среднего для многих распределений генеральной совокупности по теореме Берри – Эссина. Тем не менее, для многих практических целей нормальное приближение обеспечивает хорошее приближение к распределению выборочного среднего, когда существует 10 (или более) независимых выборок, согласно исследованиям моделирования и опыту статистиков. Следуя работе Колмогорова в 1950-х годах, расширенная статистика использует теорию приближения и функциональный анализ для количественной оценки ошибки приближения. В этом подходе изучается метрическая геометрия для распределений вероятностей ; этот подход позволяет количественно оценить ошибку аппроксимации, например, с помощью расхождения Кульбака – Лейблера, расхождения Брегмана и расстояния Хеллингера.

с неограниченно большими выборками, ограничивая результаты, такие как центральная предельная теорема, описывают предельное распределение выборочной статистики, если оно существует. Предельные результаты не являются утверждениями о конечных выборках и действительно не имеют отношения к конечным выборкам. Однако асимптотическая теория предельных распределений часто используется для работы с конечными выборками. Например, ограничивающие результаты часто используются для обоснования обобщенного метода моментов и использования обобщенных оценочных уравнений, которые популярны в эконометрике и биостатистика. Величину разницы между предельным распределением и истинным распределением (формально «ошибка» приближения) можно оценить с помощью моделирования. Эвристическое применение ограничения результатов конечными выборками является обычной практикой во многих приложениях, особенно с низкоразмерными моделями с лог-вогнутой вероятностью (например, с одним -параметр экспоненциальные семейства ).

Модели на основе рандомизации

Для данного набора данных, созданного с помощью плана рандомизации, рандомизационное распределение статистики (при нулевой гипотезе) определяется путем оценки статистики теста для всех планов, которые могли быть созданы в результате рандомизации. Согласно частотному выводу, рандомизация позволяет выводам основываться на распределении рандомизации, а не на субъективной модели, и это важно, особенно при выборке обследований и планировании экспериментов. Статистический вывод из рандомизированных исследований также более прост, чем во многих других ситуациях. В байесовском выводе также важна рандомизация: в выборке обследования использование выборки без замены обеспечивает возможность обмена выборки с население; в рандомизированных экспериментах рандомизация гарантирует, что случайно отсутствует допущение для ковариантной информации.

Объективная рандомизация позволяет правильно проводить индуктивные процедуры. Многие статистики предпочитают анализ данных на основе рандомизации, которые были получены с помощью четко определенных процедур рандомизации. (Однако верно, что в областях науки с развитыми теоретическими знаниями и экспериментальным контролем рандомизированные эксперименты могут увеличить стоимость экспериментов без улучшения качества выводов.) Аналогичным образом, результаты рандомизированных экспериментов рекомендуются ведущие статистические органы, позволяющие делать выводы с большей надежностью, чем наблюдения за теми же явлениями. Однако хорошее наблюдательное исследование может быть лучше плохого рандомизированного эксперимента.

Статистический анализ рандомизированного эксперимента может быть основан на схеме рандомизации, указанной в протоколе эксперимента, и не требует субъективной модели.

Однако в любое время некоторые гипотезы не могут быть проверены использование объективных статистических моделей, которые точно описывают рандомизированные эксперименты или случайные выборки. В некоторых случаях такие рандомизированные исследования неэкономичны или неэтичны.

Анализ рандомизированных экспериментов на основе моделей

Стандартной практикой является обращение к статистической модели, например линейной или логистической модели, при анализе данных рандомизированных экспериментов. Однако схема рандомизации определяет выбор статистической модели. Невозможно выбрать подходящую модель, не зная схемы рандомизации. Серьезно вводящие в заблуждение результаты могут быть получены при анализе данных рандомизированных экспериментов при игнорировании протокола эксперимента; распространенные ошибки включают забвение блокировки, используемой в эксперименте, и путаницу повторных измерений на одной и той же экспериментальной установке с независимыми повторами обработки, примененной к различным экспериментальным единицам.

Вывод рандомизации без модели

Модель- бесплатные методы служат дополнением к методам, основанным на моделях, которые используют редукционистские стратегии упрощения реальности. Первые объединяют, развивают, объединяют и обучают алгоритмы, динамически адаптируясь к контекстуальным особенностям процесса и изучая внутренние характеристики наблюдений.

Например, простая линейная регрессия без модели основана на

  • случайный план, где пары наблюдений (X 1, Y 1), (X 2, Y 2), ⋯, (X n, Y n) {\ displaystyle (X_ {1}, Y_ {1})), (X_ {2}, Y_ {2}), \ cdots, (X_ {n}, Y_ {n})}{\ displaystyle (X_ {1}, Y_ {1}), (X_ {2}, Y_ {2}), \ cdots, (X_ {n}, Y_ {n})} независимы и одинаково распределены (iid), или
  • детерминированный план, где переменные X 1, X 2, ⋯, X n {\ displaystyle X_ {1}, X_ {2}, \ cdots, X_ {n}}{\ displaystyle X_ {1}, X_ {2}, \ cdots, X_ {n}} являются детерминированными, но соответствующие переменные ответа Y 1, Y 2, ⋯, Y n {\ displaystyle Y_ {1}, Y_ {2}, \ cdots, Y_ {n}}{\ displaystyle Y_ {1}, Y_ {2}, \ cdots, Y_ {n}} случайны и независимы с общим условным распределением, т. е. P (Y j ≤ y | X j = x) = D x (y) {\ displaystyle P \ left (Y_ {j} \ leq y | X_ {j} = x \ right) = D_ {x} (y)}{\ displaystyle P \ left (Y_ {j} \ leq y | X_ {j} = x \ right) = D_ {x} (y)} , который не зависит от индекса j {\ displaysty le j}j .

В любом случае вывод рандомизации без использования модели для функций общего условного распределения D x (.) {\ displaystyle D_ {x} (.)}{\ displaystyle D_ { х} (.)} полагается на некоторые условия регулярности, например функциональная плавность. Например, вывод рандомизации без использования модели для условного среднего показателя совокупности, μ (x) = E (Y | X = x) {\ displaystyle \ mu (x) = E (Y | X = x)}{\ displaystyle \ mu (x) = E (Y | X = x)} , можно последовательно оценить с помощью локального усреднения или локальной полиномиальной аппроксимации в предположении, что μ (x) {\ displaystyle \ mu (x)}\ mu (x) является гладким. Кроме того, полагаясь на асимптотическую нормальность или повторную выборку, мы можем построить доверительные интервалы для характеристики генеральной совокупности, в данном случае условного среднего, μ (x) {\ displaystyle \ mu (x)}\ mu (x) .

Парадигмы для вывода

Появились различные школы статистических выводов. Эти школы - или «парадигмы» - не исключают друг друга, и методы, которые хорошо работают в рамках одной парадигмы, часто имеют привлекательные интерпретации в других парадигмах.

Bandyopadhyay Forster описывают четыре парадигмы: «(i) классическая статистика или статистика ошибок, (ii) байесовская статистика, (iii) статистика на основе правдоподобия и (iv) статистика на основе информационных критериев Акаике».. Классическая (или частотная ) парадигма, байесовская парадигма, правдоподобная парадигма и парадигма, основанная на AIC, кратко описаны ниже.

Вывод сторонников

Эта парадигма калибрует правдоподобие предположений, рассматривая (условно) повторяющуюся выборку распределения населения для получения наборов данных, подобных тому, который имеется в наличии. Рассматривая характеристики набора данных при повторной выборке, частотные свойства статистического предложения могут быть определены количественно, хотя на практике такая количественная оценка может оказаться сложной задачей.

Примеры частотного вывода

Частотный вывод, объективность и теория принятия решений

Одна интерпретация частотный вывод (или классический вывод) состоит в том, что он применим только в терминах вероятности частоты ; то есть с точки зрения повторной выборки из совокупности. Однако подход Неймана развивает эти процедуры с точки зрения предэкспериментальных вероятностей. То есть, перед проведением эксперимента, каждый выбирает правило для прихода к выводу, чтобы вероятность правильности контролировалась подходящим образом: такая вероятность не обязательно должна иметь частотную интерпретацию или интерпретацию повторной выборки. Напротив, байесовский вывод работает с точки зрения условных вероятностей (то есть вероятностей, обусловленных наблюдаемыми данными) по сравнению с предельными (но обусловленными неизвестными параметрами) вероятностями, используемыми в частотном подходе.

Частотные процедуры проверки значимости и доверительных интервалов могут быть построены без учета функций полезности. Однако некоторые элементы частотной статистики, такие как теория статистических решений, действительно включают функции полезности. В частности, частотные разработки оптимального вывода (такие как несмещенные оценки с минимальной дисперсией или равномерно наиболее мощное тестирование ) используют функции потерь, которые играют роль роль (отрицательных) функций полезности. Для статистических теоретиков нет необходимости явно указывать функции потерь, чтобы доказать, что статистическая процедура обладает свойством оптимальности. Однако функции потерь часто полезны для определения свойств оптимальности: например, несмещенные по медиане оценки оптимальны при абсолютном значении функциях потерь, поскольку они минимизируют ожидаемые потери и наименьшие квадраты Оценщики оптимальны для возведенных в квадрат функций потерь, поскольку они минимизируют ожидаемые потери.

Хотя статистики, использующие частотный вывод, должны сами выбирать интересующие параметры и оценки / использовать тестовую статистику, отсутствие явно явных полезностей и предварительных Распределения помогли частотным процедурам получить широкое признание как «объективные».

Байесовский вывод

Байесовское исчисление описывает степени веры, используя «язык» вероятности; убеждения положительны, объединены в одно и подчиняются аксиомам вероятности. Байесовский вывод использует доступные апостериорные убеждения в качестве основы для статистических предположений. Есть несколько различных оправданий для использования байесовского подхода.

Примеры байесовского вывода

Байесовский вывод, теория субъективности и принятия решений

Многие неформальные байесовские выводы основаны на «интуитивно разумных» обобщениях апостериорного. Например, апостериорное среднее, медиана и мода, интервалы максимальной апостериорной плотности и байесовские факторы могут быть мотивированы таким образом. Хотя для такого рода вывода не требуется указывать пользовательскую функцию полезности, все эти сводные данные зависят (в некоторой степени) от заявленных предшествующих убеждений и обычно рассматриваются как субъективные заключения. (Методы предварительного построения, которые не требуют внешнего ввода, были предложены, но еще не полностью разработаны.)

Формально байесовский вывод калибруется со ссылкой на явно заявленную полезность или функцию потерь ; «Правило Байеса» - это правило, которое максимизирует ожидаемую полезность, усредненную по апостериорной неопределенности. Таким образом, формальный байесовский вывод автоматически предоставляет оптимальные решения в теоретическом смысле принятия решений. Учитывая предположения, данные и полезность, байесовский вывод может быть сделан практически для любой проблемы, хотя не каждый статистический вывод должен иметь байесовскую интерпретацию. Анализы, которые формально не являются байесовскими, могут быть (логически) бессвязными ; Особенностью байесовских процедур, которые используют правильные априорные значения (т.е. интегрируемые в один), является то, что они гарантированно будут когерентными. Некоторые сторонники байесовского вывода утверждают, что вывод должен иметь место в этой теоретической структуре принятия решений и что байесовский вывод не должен заканчиваться оценкой и обобщением апостериорных убеждений.

Вывод на основе правдоподобия

Правдоподобие приближает статистику с помощью функции правдоподобия. Некоторые правдоподобные люди отвергают умозаключения, считая статистику лишь вычислительной поддержкой свидетельств. Другие, однако, предлагают вывод на основе функции правдоподобия, наиболее известной из которых является оценка максимального правдоподобия.

вывод на основе AIC

информационный критерий Акаике (AIC) представляет собой средство оценки относительного качества статистических моделей для заданного набора данных. Учитывая набор моделей для данных, AIC оценивает качество каждой модели относительно каждой из других моделей. Таким образом, AIC предоставляет средства для выбора модели..

AIC основан на теории информации : он предлагает оценку относительной информации, потерянной, когда данная модель используется для представления процесса, создавшего данные. (При этом он имеет дело с компромиссом между степенью соответствия модели и простотой модели.)

Другие парадигмы для вывода

Минимальная длина описания

Принцип минимальной длины описания (MDL) был разработан на основе идей теории информации и теории сложности Колмогорова. Принцип (MDL) выбирает статистические модели, которые максимально сжимают данные; вывод выполняется без допущения контрфактических или нефальсифицируемых «механизмов генерации данных» или вероятностных моделей для данных, как это могло бы быть сделано в частотном или байесовском подходах.

Однако, если «механизм генерации данных» действительно существует, то согласно теореме Шеннона кодирования источника он предоставляет MDL-описание данных, в среднем и асимптотически. При минимизации длины описания (или описательной сложности) оценка MDL аналогична оценке максимального правдоподобия и максимальной апостериорной оценке (с использованием максимальной энтропии байесовской оценки. приоры ). Однако MDL избегает предположения, что основная вероятностная модель известна; принцип MDL также может применяться без предположений, например, данные были получены в результате независимой выборки.

Принцип MDL был применен в коммуникации - теория кодирования в теории информации, в линейной регрессии, и в интеллектуальном анализе данных.

При оценке процедур вывода на основе MDL часто используются методы или критерии из теории вычислительной сложности.

Исходный вывод

Исходный вывод был подходом к статистическому выводу на основе на реперной вероятности, также известной как «реперное распределение». В последующих работах этот подход был назван плохо определенным, крайне ограниченным в применимости и даже ошибочным. Однако этот аргумент аналогичен аргументу, который показывает, что так называемое доверительное распределение не является допустимым вероятностным распределением, и, поскольку это не делает недействительным применение доверительных интервалов, это не обязательно отменяет выводы, сделанные на основе достоверных аргументов. Была предпринята попытка переосмыслить раннюю работу достоверного аргумента Фишера как частный случай теории вывода с использованием верхней и нижней вероятностей.

Структурный вывод

Развитие идей Фишера и Питмана с 1938 по 1939 год Джордж А. Барнард разработал "структурный вывод" или "основной вывод", подход, использующий инвариантные вероятности на групповых семействах. Барнард переформулировал аргументы, лежащие в основе реперного вывода для ограниченного класса моделей, на которых «реперные» процедуры были бы хорошо определены и полезны.

Темы вывода

Перечисленные ниже темы обычно относятся к области статистического вывода .

  1. Статистические допущения
  2. Теория статистических решений
  3. Теория оценок
  4. Статистические гипотезы тестирование
  5. План экспериментов, дисперсионный анализ и регрессия
  6. Выборка опроса
  7. Обобщение статистических данных

История

Аль-Кинди, арабский математик в IX веке, впервые применил статистический вывод в своей рукописи по расшифровке криптографических сообщений, работе по криптоанализу и частотному анализу.

См. Также

Примечания

Ссылки

Цитаты

Источники

Дополнительная литература

Внешние ссылки

На Викискладе есть средства массовой информации, связанные с Статистическим выводом.
Викиверситет имеет ресурсы для изучения Статистический вывод
Последняя правка сделана 2021-06-09 10:07:31
Содержание доступно по лицензии CC BY-SA 3.0 (если не указано иное).
Обратная связь: support@alphapedia.ru
Соглашение
О проекте