Степени свободы (статистика)

количество значений в окончательном вычислении статистики, которые могут изменяться

In статистика, количество степеней свободы - это количество значений в окончательном вычислении статистики, которые могут изменяться.

Число независимых способов, которыми динамическая система может двигаться, не нарушая наложенных на нее ограничений, называется числом степеней свободы. Другими словами, количество степеней свободы можно определить как минимальное количество независимых координат, которые могут полностью определять положение системы.

Оценки статистических параметров могут быть основаны на различном количестве информации или данных. Количество независимых частей информации, которые используются для оценки параметра, называется степенями свободы. В общем, степени свободы оценки параметра равны количеству независимых оценок, которые входят в оценку, минус количество параметров, используемых в качестве промежуточных шагов при оценке самого параметра (большинство времени выборочная дисперсия имеет N - 1 степень свободы, поскольку она вычисляется из N случайных оценок за вычетом единственного параметра, оцененного как промежуточный шаг, который является выборочным средним).

Математически, степени свободы - это количество измерений области случайного вектора или, по сути, количество «свободных» компонентов (сколько компонентов необходимо знать, прежде чем вектор будет полностью определен).

Этот термин чаще всего используется в контексте линейных моделей (линейная регрессия, дисперсионный анализ ), где определенные случайные векторы ограничено лежать в линейных подпространствах, а количество степеней свободы - это размерность подпространства. Степени свободы также обычно связаны с квадратами длин (или «суммой квадратов» координат) таких векторов, а также параметрами хи-квадрат и другими распределениями, которые возникают в связанных задачах статистического тестирования..

Хотя вводные учебники могут вводить степени свободы в качестве параметров распределения или посредством проверки гипотез, именно лежащая в основе геометрия определяет степени свободы и имеет решающее значение для правильного понимания концепции.

• 1 История
• 2 Нотация
• 3 Случайных векторов
• 4 В моделях структурных уравнений
  • 4.1 Остатков
• 5 В линейных моделях
• 6 В дисперсионном анализе (ANOVA)
• 7 В вероятностных распределениях
• 8 В нестандартной регрессии
  • 8.1 Эффективные степени свободы регрессии
  • 8,2 Остаточные эффективные степени свободы
  • 8,3 Общие
  • 8.4 Другие формулировки
• 9 См. Также
• 10 Ссылки
• 11 Дополнительная литература
• 12 Внешние ссылки

Хотя основная концепция степеней свободы была признана еще в 1821 году в работах астронома и математика Карла Фридриха Гаусса, его современное определение и использование были впервые разработаны английским статистиком Уильямом Сили Госсет в его статье 1908 Biometrika «Вероятная ошибка среднего », изданная под псевдонимом« Студент ». Хотя Госсет на самом деле не использовал термин «степени свободы», он объяснил эту концепцию в ходе разработки того, что стало известно как t-распределение Стьюдента. Сам термин был популяризирован английским статистиком и биологом Рональдом Фишером, начиная с его работы 1922 года о квадратах хи.

В уравнениях, типичный символ для степеней свобода - ν (строчная греческая буква ню ). В тексте и таблицах сокращение «d.f.» обычно используется. Р. А. Фишер использовал n для обозначения степеней свободы, но современное использование обычно резервирует n для размера выборки.

Геометрически степени свободы можно интерпретировать как размерность определенных векторных подпространств. В качестве отправной точки предположим, что у нас есть выборка независимых нормально распределенных наблюдений,

$X\; 1,\dots ,\; X\; n.\; \{\backslash \; displaystyle\; X\_\; \{1\},\; \backslash \; dots,\; X\_\; \{n\}.\; \backslash ,\}$

Это можно представить как n-мерный случайный вектор :

$(X\; 1\; ⋮\; X\; n).\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{pmatrix\}\; X\_\; \{1\}\; \backslash \backslash \backslash \; vdots\; \backslash \backslash \; X\_\; \{n\}\; \backslash \; end\; \{pmatrix\}\}.\}$

Поскольку этот случайный вектор может находиться где угодно в n-мерном пространстве, он имеет n степени свободы.

Теперь пусть $X\; ¯\; \{\backslash \; displaystyle\; \{\backslash \; bar\; \{X\}\}\}$будет выборочным средним. Случайный вектор может быть разложен как сумма выборочного среднего плюс вектор остатков:

$(X\; 1\; ⋮\; X\; n)\; =\; X\; ¯\; (1\; ⋮\; 1)\; +\; (X\; 1\; -\; X\; ¯\; ⋮\; X\; n\; -\; X\; ¯).\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{pmatrix\}\; X\_\; \{1\}\; \backslash \backslash \backslash \; vdots\; \backslash \backslash \; X\_\; \{n\}\; \backslash \; end\; \{pmatrix\}\}\; =\; \{\backslash \; bar\; \{X\}\}\; \{\backslash \; begin\; \{pmatrix\}\; 1\; \backslash \backslash \backslash \; vdots\; \backslash \backslash \; 1\; \backslash \; end\; \{pmatrix\}\}\; +\; \{\backslash \; begin\; \{pmatrix\}\; X\_\; \{1\}\; -\; \{\backslash \; bar\; \{X\}\}\; \backslash \backslash \backslash \; vdots\; \backslash \backslash \; X\_\; \{n\}\; -\; \{\backslash \; bar\; \{X\}\}\; \backslash \; end\; \{pmatrix\}\}.\}$

Первый вектор в правой части ограничен, чтобы быть кратным вектору единиц, а единственная свободная величина - $X\; ¯\; \{\backslash \; displaystyle\; \{\backslash \; bar\; \{X\}\}\}$. Следовательно, он имеет 1 степень свободы.

Второй вектор ограничен соотношением $\sum \; i\; =\; 1\; n\; (X\; i\; -\; X\; ¯)\; =\; 0\; \{\backslash \; displaystyle\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; (X\_\; \{i\; \}\; -\; \{\backslash \; bar\; \{X\}\})\; =\; 0\}$. Первые n - 1 компонент этого вектора могут быть любыми. Однако, как только вы узнаете первые n - 1 компонент, ограничение сообщит вам значение n-го компонента. Следовательно, этот вектор имеет n - 1 степень свободы.

Математически первый вектор представляет собой ортогональную проекцию вектора данных по методу наименьших квадратов на подпространство , охватываемое вектором из 1-х. 1 степень свободы - это размерность этого подпространства. Второй вектор невязки представляет собой проекцию методом наименьших квадратов на (n - 1) -мерное ортогональное дополнение этого подпространства и имеет n - 1 степень свободы.

В приложениях статистического тестирования часто напрямую интересуют не составляющие векторы, а их квадраты длин. В приведенном выше примере остаточная сумма квадратов равна

$\sum \; i\; =\; 1\; n\; (X\; i\; -\; X\; ¯)\; 2\; =\; \Vert \; X\; 1\; -\; X\; ¯\; ⋮\; X\; n\; -\; X\; ¯\; \Vert \; 2.\; \{\backslash \; displaystyle\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; (X\_\; \{i\}\; -\; \{\backslash \; bar\; \{X\}\})\; ^\; \{2\}\; =\; \{\backslash \; begin\; \{Vmatrix\}\; X\_\; \{1\}\; -\; \{\backslash \; bar\; \{X\; \}\}\; \backslash \backslash \backslash \; vdots\; \backslash \backslash \; X\_\; \{n\}\; -\; \{\backslash \; bar\; \{X\}\}\; \backslash \; end\; \{Vmatrix\}\}\; ^\; \{2\}.\}$

Если точки данных $X\; i\; \{\backslash \; displaystyle\; X\_\; \{i\; \}\}$нормально распределены со средним 0 и дисперсией $\sigma \; 2\; \{\backslash \; displaystyle\; \backslash \; sigma\; ^\; \{2\}\}$, тогда остаточная сумма квадратов имеет масштабированный Распределение хи-квадрат (масштабировано с коэффициентом $\sigma \; 2\; \{\backslash \; displaystyle\; \backslash \; sigma\; ^\; \{2\}\}$) с n - 1 степенями свободы. Степени свободы, здесь параметр распределения, все еще можно интерпретировать как размерность лежащего в основе векторного подпространства.

Аналогично, статистика по одинарному t-критерию,

$n\; (X\; ¯\; -\; \mu \; 0)\; \sum \; i\; =\; 1\; n\; (X\; i\; -\; X\; ¯)\; 2\; /\; (n\; -\; 1)\; \{\backslash \; displaystyle\; \{\backslash \; frac\; \{\{\backslash \; sqrt\; \{n\}\}\; (\{\backslash \; bar\; \{X\}\}\; -\; \backslash \; mu\; \_\; \{0\})\}\; \{\backslash \; sqrt\; \{\backslash \; sum\; \backslash \; limits\; \_\; \{i\; =\; 1\}\; ^\; \{\; n\}\; (X\_\; \{i\}\; -\; \{\backslash \; bar\; \{X\}\})\; ^\; \{2\}\; /\; (n-1)\}\}\}\}$

следует распределению Стьюдента t с n - 1 степенью свобода, когда гипотетическое среднее $\mu \; 0\; \{\backslash \; displaystyle\; \backslash \; mu\; \_\; \{0\}\}$верно. Опять же, степени свободы возникают из остаточного вектора в знаменателе.

Когда представлены результаты моделей структурных уравнений (SEM), они обычно включают один или несколько показателей общего соответствия модели, наиболее распространенным из которых является статистика χ.. Это составляет основу для других обычно публикуемых индексов. Хотя чаще всего интерпретируются эти другие статистические данные, степени свободы χ важны для понимания соответствия модели, а также природы самой модели.

Степени свободы в SEM вычисляются как разность между количеством уникальных частей информации, которые используются в качестве входных данных для анализа, иногда называемых известными, и количеством параметров, которые оцениваются однозначно, иногда называемых неизвестными.. Например, в однофакторном подтверждающем факторном анализе с 4 элементами имеется 10 известных (шесть уникальных ковариаций среди четырех элементов и четыре дисперсии элементов) и 8 неизвестных (4 факторные нагрузки и 4 дисперсии ошибок) для 2 степеней вероятности. свобода. Степени свободы важны для понимания соответствия модели, хотя бы по той или иной причине, при прочих равных, чем меньше степеней свободы, тем лучше будут индексы, такие как χ.

Было показано, что читатели статей, содержащих SEM, могут использовать степени свободы, чтобы определить, действительно ли авторы этих статей сообщают правильную статистику соответствия модели. В организационных науках, например, почти половина статей, опубликованных в ведущих журналах, сообщают о степенях свободы, которые несовместимы с моделями, описанными в этих статьях, оставляя читателя гадать, какие модели были на самом деле протестированы.

Обычный способ думать о степенях свободы - это количество независимых частей информации, доступных для оценки другой части информации. Более конкретно, количество степеней свободы - это количество независимых наблюдений в выборке данных, доступных для оценки параметра генеральной совокупности, из которой эта выборка взята. Например, если у нас есть два наблюдения, при вычислении среднего у нас есть два независимых наблюдения; однако при вычислении дисперсии у нас есть только одно независимое наблюдение, поскольку эти два наблюдения одинаково удалены от выборочного среднего.

При подборе статистических моделей к данным векторы остатков ограничиваются тем, чтобы они лежали в пространстве меньшей размерности, чем количество компонентов в векторе. Этот меньший размер - это количество степеней свободы ошибки, также называемое остаточными степенями свободы.

Пример

Пожалуй, самый простой пример. Предположим, что

$X\; 1,\dots ,\; X\; n\; \{\backslash \; displaystyle\; X\_\; \{1\},\; \backslash \; dots,\; X\_\; \{n\}\}$

- это случайные переменные, каждая с ожидаемым значением μ., и пусть

$X\; ¯\; n\; =\; X\; 1\; +\; \cdots \; +\; X\; nn\; \{\backslash \; displaystyle\; \{\backslash \; overline\; \{X\}\}\; \_\; \{n\}\; =\; \{X\_\; \{1\}\; +\; \backslash \; cdots\; +\; X\_\; \{n\}\; \backslash \; over\; n\}\}$

быть «выборочным средним». Тогда величины

$X\; i\; -\; X\; ¯\; n\; \{\backslash \; displaystyle\; X\_\; \{i\}\; -\; \{\backslash \; overline\; \{X\}\}\; \_\; \{n\}\; \backslash ,\}$

являются остатками, которые могут считаться оценками ошибок Xi- μ. Сумма остатков (в отличие от суммы ошибок) обязательно равна 0. Если кто-то знает значения любых n - 1 остатков, он, таким образом, может найти последнее. Это означает, что они должны находиться в пространстве размерности n - 1. Говорят, что существует n - 1 степень свободы для ошибок.

Пример, который лишь немного менее прост, - это пример оценки методом наименьших квадратов значений a и b в модели

$Y\; i\; =\; a\; +\; bxi\; +\; ei\; для\; i\; =\; 1,\dots ,\; n\; \{\backslash \; displaystyle\; Y\_\; \{i\}\; =\; a\; +\; bx\_\; \{i\}\; +\; e\_\; \{i\}\; \{\backslash \; text\; \{for\}\}\; i\; =\; 1,\; \backslash \; dots,\; n\}$

где x i - задано, но e i и, следовательно, Y i являются случайными. Пусть $a\; ^\; \{\backslash \; displaystyle\; \{\backslash \; widehat\; \{a\}\}\}$и $b\; ^\; \{\backslash \; displaystyle\; \{\backslash \; widehat\; \{b\}\}\}$будет наименее- квадраты оценок a и b. Тогда остатки

$e\; ^\; i\; =\; yi\; -\; (a\; ^\; +\; b\; ^\; xi)\; \{\backslash \; displaystyle\; \{\backslash \; widehat\; \{e\}\}\; \_\; \{i\}\; =\; y\_\; \{i\}\; -\; (\{\backslash \; widehat\; \{a\}\}\; +\; \{\; \backslash \; widehat\; \{b\}\}\; x\_\; \{i\})\; \backslash ,\}$

ограничены пространством, определяемым двумя уравнениями

$e\; ^\; 1\; +\; \cdots \; +\; e\; ^\; n\; =\; 0,\; \{\backslash \; displaystyle\; \{\backslash \; widehat\; \{e\}\}\; \_\; \{1\}\; +\; \backslash \; cdots\; +\; \{\backslash \; widehat\; \{e\}\}\; \_\; \{n\}\; =\; 0,\; \backslash ,\}$

$x\; 1\; e\; ^\; 1\; +\; \cdots \; +\; xne\; ^\; n\; =\; 0.\; \{\backslash \; displaystyle\; x\_\; \{1\}\; \{\backslash \; widehat\; \{e\}\}\; \_\; \{1\}\; +\; \backslash \; cdots\; +\; x\_\; \{n\}\; \{\backslash \; widehat\; \{e\}\}\; \_\; \{n\}\; =\; 0.\; \backslash ,\}$

Один говорит, что есть n - 2 степени свободы ошибки.

В условных обозначениях заглавная буква Y используется для обозначения модели, а строчная буква y - для определения остатков; это потому, что первые являются гипотетическими случайными величинами, а вторые - фактическими данными.

Мы можем обобщить это на множественную регрессию, включающую p параметров и ковариат (например, p - 1 предикторов и одно среднее (= точка пересечения в регрессии)), и в этом случае стоимость в степенях свободы подгонки равна p, оставляя n - p степеней свободы для ошибок

Демонстрация распределений t и хи-квадрат для задач с одним образцом выше является простейшим примером, где степени- свобода возникает. Однако подобная геометрия и векторные разложения лежат в основе большей части теории линейных моделей, включая линейную регрессию и дисперсионный анализ. Здесь представлен явный пример, основанный на сравнении трех средних; геометрия линейных моделей более подробно обсуждается Кристенсеном (2002).

Предположим, что независимые наблюдения проводятся для трех популяций, $X\; 1,\dots ,\; X\; n\; \{\backslash \; displaystyle\; X\_\; \{1\},\; \backslash \; ldots,\; X\_\; \{n\}\}$, $Y\; 1,\dots ,\; Y\; n\; \{\backslash \; displaystyle\; Y\_\; \{1\},\; \backslash \; ldots,\; Y\_\; \{n\}\}$и $Z\; 1,\dots ,\; Z\; п\; \{\backslash \; Displaystyle\; Z\_\; \{1\},\; \backslash \; ldots,\; Z\_\; \{n\}\}$. Ограничение тремя группами и равными размерами выборки упрощает обозначения, но идеи легко обобщаются.

Наблюдения можно разложить как

$X\; i\; =\; M\; ¯\; +\; (X\; ¯\; -\; M\; ¯)\; +\; (X\; i\; -\; X\; ¯)\; Y\; i\; =\; M\; ¯\; +\; (Y\; ¯\; -\; M\; ¯)\; +\; (Y\; я\; -\; Y\; ¯)\; Z\; я\; знак\; равно\; M\; ¯\; +\; (Z\; ¯\; -\; M\; ¯)\; +\; (Z\; я\; -\; Z\; ¯)\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{align\}\; X\_\; \{i\}\; =\; \{\backslash \; bar\; \{M\}\}\; +\; (\{\backslash \; bar\; \{X\}\}\; -\; \{\backslash \; bar\; \{M\}\})\; +\; (X\_\; \{i\}\; -\; \{\backslash \; bar\; \{X\}\})\; \backslash \backslash \; Y\_\; \{i\}\; =\; \{\backslash \; bar\; \{M\}\}\; +\; (\; \{\backslash \; bar\; \{Y\}\}\; -\; \{\backslash \; bar\; \{M\}\})\; +\; (Y\_\; \{i\}\; -\; \{\backslash \; bar\; \{Y\}\})\; \backslash \backslash \; Z\_\; \{i\}\; =\; \{\backslash \; bar\; \{M\}\}\; +\; (\{\backslash \; bar\; \{Z\}\}\; -\; \{\backslash \; bar\; \{M\}\})\; +\; (Z\_\; \{i\}\; -\; \{\backslash \; bar\; \{Z\}\})\; \backslash \; end\; \{align\}\}\}$

где $X\; ¯,\; Y\; ¯,\; Z\; ¯\; \{\backslash \; displaystyle\; \{\backslash \; bar\; \{X\}\},\; \{\backslash \; bar\; \{Y\}\},\; \{\backslash \; bar\; \{Z\}\}\}$- средние значения отдельных образцов, а $M\; ¯\; =\; (\; Икс\; ¯\; +\; Y\; ¯\; +\; Z\; ¯)\; /\; 3\; \{\backslash \; displaystyle\; \{\backslash \; bar\; \{M\}\}\; =\; (\{\backslash \; bar\; \{X\}\}\; +\; \{\backslash \; bar\; \{Y\}\}\; +\; \{\backslash \; bar\; \{Z\}\})\; /\; 3\}$- среднее значение всех 3n наблюдений. В векторных обозначениях это разложение можно записать как

$(X\; 1\; ⋮\; X\; n\; Y\; 1\; ⋮\; Y\; n\; Z\; 1\; ⋮\; Z\; n)\; =\; M\; ¯\; (1\; ⋮\; 1\; 1\; ⋮\; 1\; 1\; ⋮\; 1)\; +\; (X\; ¯\; -\; M\; ¯\; ⋮\; X\; ¯\; -\; M\; ¯\; Y\; ¯\; -\; M\; ¯\; ⋮\; Y\; ¯\; -\; M\; ¯\; Z\; ¯\; -\; M\; ¯\; ⋮\; Z\; ¯\; -\; M\; ¯)\; +\; (X\; 1\; -\; X\; ¯\; ⋮\; X\; n\; -\; X\; ¯\; Y\; 1\; -\; Y\; ¯\; ⋮\; Y\; n\; -\; Y\; ¯\; Z\; 1\; -\; Z\; ¯\; ⋮\; Z\; n\; -\; Z\; ¯).\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{pmatrix\}\; X\_\; \{1\}\; \backslash \backslash \backslash \; vdots\; \backslash \backslash \; X\_\; \{n\}\; \backslash \backslash \; Y\_\; \{1\}\; \backslash \backslash \backslash \; vdots\; \backslash \backslash \; Y\_\; \{n\}\; \backslash \backslash \; Z\_\; \{1\}\; \backslash \backslash \backslash \; vdots\; \backslash \; \backslash \; Z\_\; \{n\}\; \backslash \; end\; \{pmatrix\}\}\; =\; \{\backslash \; bar\; \{M\}\}\; \{\backslash \; begin\; \{pmatrix\}\; 1\; \backslash \backslash \backslash \; vdots\; \backslash \backslash \; 1\; \backslash \backslash \; 1\; \backslash \backslash \backslash \; vdots\; \backslash \backslash \; 1\; \backslash \backslash \; 1\; \backslash \backslash \backslash \; vdots\; \backslash \backslash \; 1\; \backslash \; end\; \{pmatrix\}\}\; +\; \{\backslash \; begin\; \{pmatrix\}\; \{\backslash \; bar\; \{X\}\}\; -\; \{\backslash \; bar\; \{M\}\}\; \backslash \backslash \backslash \; vdots\; \backslash \backslash \; \{\backslash \; bar\; \{X\}\}\; -\; \{\backslash \; bar\; \{M\; \}\}\; \backslash \backslash \; \{\backslash \; bar\; \{Y\}\}\; -\; \{\backslash \; bar\; \{M\}\}\; \backslash \backslash \backslash \; vdots\; \backslash \backslash \; \{\backslash \; bar\; \{Y\}\}\; -\; \{\backslash \; bar\; \{M\}\}\; \backslash \backslash \; \{\backslash \; bar\; \{Z\}\}\; -\; \{\backslash \; bar\; \{M\}\}\; \backslash \backslash \backslash \; vdots\; \backslash \backslash \; \{\backslash \; bar\; \{Z\}\}\; -\; \{\backslash \; bar\; \{M\}\}\; \backslash \; end\; \{pmatrix\}\}\; +\; \{\backslash \; begin\; \{pmatrix\}\; X\_\; \{1\}\; -\; \{\backslash \; bar\; \{\; X\}\}\; \backslash \backslash \backslash \; vdots\; \backslash \backslash \; X\_\; \{n\}\; -\; \{\backslash \; bar\; \{X\}\}\; \backslash \backslash \; Y\_\; \{1\}\; -\; \{\backslash \; bar\; \{Y\}\}\; \backslash \backslash \backslash \; vdots\; \backslash \backslash \; Y\_\; \{n\}\; -\; \{\backslash \; bar\; \{\; Y\}\}\; \backslash \backslash \; Z\_\; \{1\}\; -\; \{\backslash \; bar\; \{Z\}\}\; \backslash \backslash \backslash \; vdots\; \backslash \backslash \; Z\_\; \{n\}\; -\; \{\backslash \; bar\; \{Z\}\}\; \backslash \; end\; \{pmatrix\}\}.\}$

Вектор наблюдения, в левой части имеет 3n степеней свободы. В правой части первый вектор имеет одну степень свободы (или размерность) для общего среднего. Второй вектор зависит от трех случайных величин: $X\; ¯\; -\; M\; ¯\; \{\backslash \; displaystyle\; \{\backslash \; bar\; \{X\}\}\; -\; \{\backslash \; bar\; \{M\}\}\}$, $Y\; ¯\; -\; M\; ¯\; \{\backslash \; displaystyle\; \{\backslash \; bar\; \{Y\}\}\; -\; \{\backslash \; bar\; \{M\}\}\}$и $Z\; ¯\; -\; M\; ¯\; \{\backslash \; displaystyle\; \{\backslash \; overline\; \{Z\}\}\; -\; \{\backslash \; overline\; \{M\}\}\}$. Однако они должны быть равны 0 и поэтому ограничены; поэтому вектор должен лежать в 2-мерном подпространстве и иметь 2 степени свободы. Остальные 3n - 3 степени свободы находятся в остаточном векторе (состоящем из n - 1 степеней свободы в каждой из популяций).

В задачах статистического тестирования обычно интересуют не сами составляющие векторы, а их квадраты длин или сумма квадратов. Степени свободы, связанные с суммой квадратов, представляют собой степени свободы соответствующих составляющих векторов.

Приведенный выше пример с тремя популяциями является примером одностороннего анализа отклонений. Модель, или обработка, сумма квадратов - это квадрат длины второго вектора,

$SST\; =\; n\; (X\; ¯\; -\; M\; ¯)\; 2\; +\; n\; (Y\; ¯\; -\; M\; ¯)\; 2\; +\; n\; (Z\; ¯\; -\; M\; ¯)\; 2\; \{\backslash \; displaystyle\; \{\backslash \; text\; \{SST\}\}\; =\; n\; (\{\backslash \; bar\; \{X\}\}\; -\; \{\backslash \; bar\; \{M\}\})\; ^\; \{2\}\; +\; n\; (\{\backslash \; bar\; \{Y\}\}\; -\; \{\backslash \; bar\; \{M\}\})\; ^\; \{2\}\; +\; n\; (\{\backslash \; bar\; \{Z\}\}\; -\; \{\backslash \; bar\; \{M\}\})\; ^\; \{2\}\}$

с 2 степенями свободы. Остаточная сумма квадратов, или ошибка, равна

$SSE\; =\; \sum \; i\; =\; 1\; n\; (X\; i\; -\; X\; ¯)\; 2\; +\; \sum \; i\; =\; 1\; n\; (Y\; i\; -\; Y\; ¯)\; 2\; +\; \sum \; i\; =\; 1\; n\; (Z\; я\; -\; Z\; ¯)\; 2\; \{\backslash \; displaystyle\; \{\backslash \; text\; \{SSE\}\}\; =\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; (X\_\; \{i\}\; -\; \{\backslash \; bar\; \{X\}\})\; ^\; \{2\}\; +\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; (Y\_\; \{i\}\; -\; \{\backslash \; bar\; \{Y\}\})\; ^\; \{2\}\; +\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; (Z\_\; \{i\}\; -\; \{\; \backslash \; bar\; \{Z\}\})\; ^\; \{2\}\}$

с 3 (n - 1) степенями свободы. Конечно, вводные книги по ANOVA обычно формулируют формулы без отображения векторов, но именно эта основная геометрия дает начало формулам SS и показывает, как однозначно определять степени свободы в любой данной ситуации.

При нулевой гипотезе об отсутствии разницы между средними значениями совокупности (и при условии, что стандартные предположения регулярности дисперсионного анализа удовлетворяются) суммы квадратов имеют масштабированные распределения хи-квадрат с соответствующими степенями свободы. Статистика F-критерия - это отношение после масштабирования по степеням свободы. Если нет разницы между совокупностями, значит, это соотношение соответствует F-распределению с 2 и 3n - 3 степенями свободы.

В некоторых сложных настройках, таких как несбалансированные планы с разделенным графиком, суммы квадратов больше не имеют масштабированного распределения хи-квадрат. Сравнение суммы квадратов со степенями свободы больше не имеет смысла, и в этих случаях программное обеспечение может сообщать об определенных дробных «степенях свободы». Такие числа не имеют подлинной интерпретации степеней свободы, а просто обеспечивают приблизительное распределение хи-квадрат для соответствующей суммы квадратов. Детали таких приближений выходят за рамки этой страницы.

Несколько часто встречающихся статистических распределений (t Стьюдента, хи-квадрат, F ) имеют параметры, которые обычно называют степенями свобода. Эта терминология просто отражает то, что во многих приложениях, где встречаются эти распределения, параметр соответствует степеням свободы лежащего в основе случайного вектора, как в предыдущем примере ANOVA. Другой простой пример: if $X\; i;\; я\; знак\; равно\; 1,\dots ,\; n\; \{\backslash \; displaystyle\; X\_\; \{i\};\; i\; =\; 1,\; \backslash \; ldots,\; n\}$являются независимыми нормальными $(\mu ,\; \sigma \; 2)\; \{\backslash \; displaystyle\; (\backslash \; mu,\; \backslash \; sigma\; ^\; \{2\})\}$случайные величины, статистика

$\sum \; i\; =\; 1\; n\; (X\; i\; -\; X\; ¯)\; 2\; \sigma \; 2\; \{\backslash \; displaystyle\; \{\backslash \; frac\; \{\backslash \; sum\; \backslash \; limits\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; (X\_\; \{i\}\; -\; \{\backslash \; bar\; \{X\}\})\; ^\; \{2\}\}\; \{\backslash \; sigma\; ^\; \{2\}\}\}\}$

следует распределению хи-квадрат с n - 1 степенью свободы. Здесь степени свободы возникают из остаточной суммы квадратов в числителе и, в свою очередь, из n - 1 степеней свободы основного остаточного вектора $\{X\; i\; -\; X\; ¯\}\; \{\backslash \; displaystyle\; \backslash \; \{X\_\; \{i\}\; -\; \{\backslash \; bar\; \{X\}\}\; \backslash \}\}$.

В применении этих распределений к линейным моделям параметры степеней свободы могут принимать только целые значения. Базовые семейства распределений допускают дробные значения для параметров степеней свободы, которые могут возникнуть при более сложных применениях. Один набор примеров - это задачи, в которых используются приближения хи-квадрат на основе эффективных степеней свободы. В других приложениях, таких как моделирование данных с тяжелыми хвостами, t- или F-распределение может использоваться в качестве эмпирической модели. В этих случаях нет конкретной интерпретации степеней свободы для параметров распределения, даже если терминология может и дальше использоваться.

Многие нестандартные методы регрессии, включая регуляризованные методы наименьших квадратов (например, гребенчатая регрессия ), линейные сглаживания, сглаживающие сплайны и полупараметрическая регрессия основаны не на обычных проекциях наименьших квадратов, а на регуляризованных ( обобщенный и / или штрафной) методом наименьших квадратов, поэтому степени свободы, определенные в терминах размерности, обычно не используются для этих процедур. Однако эти процедуры по-прежнему линейны в наблюдениях, и подобранные значения регрессии могут быть выражены в форме

$y\; ^\; =\; H\; y,\; \{\backslash \; displaystyle\; \{\backslash \; hat\; \{y\}\}\; =\; Hy,\; \backslash ,\}$

где $y\; ^\; \{\backslash \; displaystyle\; \{\backslash \; hat\; \{y\}\}\}$- это вектор подобранных значений для каждого из исходных значений ковариаты из подобранной модели, y - исходный вектор ответов., а H - матрица шляпы или, в более общем смысле, более гладкая матрица.

Для статистического вывода суммы квадратов все еще могут быть сформированы: сумма квадратов модели равна $\Vert \; H\; y\; \Vert \; 2\; \{\backslash \; displaystyle\; \backslash \; |\; Hy\; \backslash \; |\; ^\; \{2\}\}$; остаточная сумма квадратов равна $\Vert \; y\; -\; H\; y\; \Vert \; 2\; \{\backslash \; displaystyle\; \backslash \; |\; y-Hy\; \backslash \; |\; ^\; \{2\}\}$. Однако, поскольку H не соответствует обычному методу наименьших квадратов (то есть не является ортогональной проекцией), эти суммы квадратов больше не имеют (масштабированных, нецентральных) распределений хи-квадрат и размерно определенных степеней -свободы бесполезны.

Эффективные степени свободы подгонки можно определить различными способами для реализации критериев согласия, перекрестной проверки и других статистический вывод процедур. Здесь можно различать эффективные степени свободы регрессии и остаточные эффективные степени свободы.

Эффективные степени свободы регрессии

Для эффективных степеней свободы регрессии соответствующие определения могут включать в себя след матрицы шляпок, tr (H), след квадратичная форма матрицы шляпы tr (H'H), форма tr (2H - H H ') или приближение Саттертуэйта, tr (H'H) / tr (H'HH' ЧАС). В случае линейной регрессии матрица шляпы H - это X (X 'X) X', и все эти определения сводятся к обычным степеням свободы. Обратите внимание, что

$тр\; \; (H)\; =\; \sum \; ihii\; =\; \sum \; i\; \partial \; y\; ^\; i\; \partial \; yi,\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{tr\}\; (H)\; =\; \backslash \; sum\; \_\; \{i\}\; h\_\; \{ii\}\; =\; \backslash \; sum\; \_\; \{\; i\}\; \{\backslash \; frac\; \{\backslash \; partial\; \{\backslash \; hat\; \{y\}\}\; \_\; \{i\}\}\; \{\backslash \; partial\; y\_\; \{i\}\}\},\}$

регрессионные (не остаточные) степени свободы в линейных моделях - это "сумма чувствительности подобранных значений по отношению к наблюдаемым значениям отклика ", то есть сумма баллов рычага.

Один из способов помочь концептуализировать это - рассмотреть простую матрицу сглаживания, такую ​​как размытие по Гауссу, используется для уменьшения шума данных. В отличие от простой линейной или полиномиальной аппроксимации, вычисление эффективных степеней свободы сглаживающей функции непросто. В этих случаях важно оценить степени свободы, допускаемые матрицей $H\; \{\backslash \; displaystyle\; H\}$, чтобы затем можно было использовать остаточные степени свободы для оценки статистических тестов, таких как $\chi \; 2\; \{\backslash \; displaystyle\; \backslash \; chi\; ^\; \{2\}\}$.

Остаточные эффективные степени свободы

Существуют соответствующие определения остаточных эффективных степеней свободы (redf), где H заменено на I - H. Например, если цель состоит в оценке дисперсии ошибки, redf будет определен как tr ((I - H) '(I - H)), а несмещенная оценка будет (с $r\; ^\; =\; y\; -\; ЧАС\; Y\; \{\backslash \; Displaystyle\; \{\backslash \; Hat\; \{r\}\}\; =\; y-Hy\}$),

$\sigma \; ^\; 2\; =\; \Vert \; r\; ^\; \Vert \; 2\; tr\; \; ((I\; -\; H)\; \prime \; (I\; -\; H)),\; \{\backslash \; displaystyle\; \{\backslash \; hat\; \{\backslash \; sigma\}\}\; ^\; \{2\}\; =\; \{\backslash \; frac\; \{\backslash \; |\; \{\backslash \; hat\; \{r\}\}\; \backslash \; |\; ^\; \{2\}\}\; \{\backslash \; operatorname\; \{tr\}\; \backslash \; left\; ((IH)\; \text{'}(IH)\; \backslash \; right)\}\},\}$

или:

$\sigma \; ^\; 2\; =\; \Vert \; r\; ^\; \Vert \; 2\; n\; -\; tr\; \; (2\; H\; -\; HH\; \prime )\; =\; \Vert \; r\; ^\; \Vert \; 2\; n\; -\; 2\; tr\; \; (ЧАС)\; +\; тр\; \; (ЧЧ\; \text{'})\; \{\backslash \; Displaystyle\; \{\backslash \; hat\; \{\backslash \; sigma\}\}\; ^\; \{2\}\; =\; \{\backslash \; frac\; \{\backslash \; |\; \{\backslash \; hat\; \{r\}\}\; \backslash \; |\; ^\; \{2\}\}\; \{n-\; \backslash \; operatorname\; \{tr\}\; (2H-HH\; \text{'})\}\}\; =\; \{\backslash \; frac\; \{\backslash \; |\; \{\backslash \; hat\; \{r\}\}\; \backslash \; |\; ^\; \{2\}\}\; \{n-2\; \backslash \; operatorname\; \{tr\}\; (H)\; +\; \backslash \; operatorname\; \{tr\}\; (HH\; \text{'})\}\}\}$

$\sigma \; ^\; 2\; \approx \; \Vert \; r\; ^\; \Vert \; 2\; н\; -\; 1,25\; тр\; (H)\; +\; 0,5.\; \{\backslash \; displaystyle\; \{\backslash \; hat\; \{\backslash \; sigma\}\}\; ^\; \{2\}\; \backslash \; приблизительно\; \{\backslash \; frac\; \{\backslash \; |\; \{\backslash \; hat\; \{r\}\}\; \backslash \; |\; ^\; \{2\}\}\; \{n-1.25\; \backslash \; operatorname\; \{tr\}\; (H)\; +\; 0.5\}\}.\}$

Последнее приближение, приведенное выше, снижает вычислительные затраты с O (n) до O (n). В общем числитель будет минимизируемой целевой функцией; например, если матрица шляпы включает в себя матрицу ковариации наблюдения, Σ, то $\Vert \; r\; ^\; \Vert \; 2\; \{\backslash \; displaystyle\; \backslash \; |\; \{\backslash \; hat\; \{r\}\}\; \backslash \; |\; ^\; \{2\}\}$становится $r\; ^\; \prime \; \Sigma \; -\; 1\; r\; ^\; \{\backslash \; displaystyle\; \{\backslash \; hat\; \{r\}\}\; \text{'}\backslash \; Sigma\; ^\; \{-\; 1\}\; \{\backslash \; hat\; \{r\}\}\}$.

Общие

Обратите внимание, что в отличие от в исходном случае допускаются нецелочисленные степени свободы, хотя значение обычно должно быть ограничено от 0 до n.

Рассмотрим, например, k- ближайший сосед более гладкий, которая представляет собой среднее значение k ближайших измеренных значений к данной точке. Затем в каждой из n измеренных точек вес исходного значения линейной комбинации, которая составляет прогнозируемое значение, составляет всего 1 / k. Таким образом, след матрицы шляпы равен n / k. Таким образом, сглаживание стоит n / k эффективных степеней свободы.

В качестве другого примера рассмотрим существование почти повторяющихся наблюдений. Наивное применение классической формулы n - p привело бы к завышенной оценке степени свободы остатков, как если бы каждое наблюдение было независимым. Однако более реалистично матрица шляпы H = X (X 'Σ X) X' Σ будет включать в себя ковариационную матрицу наблюдения Σ, указывающую на ненулевую корреляцию между наблюдениями.

Более общая формулировка эффективной степени свободы приведет к более реалистичной оценке, например, дисперсии ошибки σ, которая, в свою очередь, масштабирует апостериорное стандартное отклонение неизвестных параметров; степень свободы также повлияет на коэффициент расширения, необходимый для получения эллипса ошибок для заданного уровня достоверности.

Другие формулировки

Подобные концепции являются эквивалентными степенями свободы в непараметрическая регрессия, степень свободы сигнала в атмосферных исследованиях и нецелочисленная степень свободы в геодезии.

Остаточная сумма квадратов $\Vert \; y\; -\; H\; y\; \Vert \; 2\; \{\backslash \; displaystyle\; \backslash \; |\; y-Hy\; \backslash \; |\; ^\; \{2\}\}$имеет обобщенное распределение хи-квадрат, и теория, связанная с этим распределением, предоставляет альтернативу путь к приведенным выше ответам.

• Портал математики

• Хи-квадрат на степень свободы
• Объединенные степени свободы
• Репликация (статистика)
• Размер выборки
• Статистическая модель
• Дисперсия

• Бауэрс, Дэвид (1982). Статистика для экономистов. Лондон: Макмиллан. С. 175–178. ISBN 0-333-30110-2.
• Эйзенхауэр, Дж. Г. (2008). "Степени свободы". Статистика обучения. 30 (3): 75–78. doi : 10.1111 / j.1467-9639.2008.00324.x.
• Хорошо, И. Дж. (1973). «Что такое степени свободы?». Американский статистик. 27(5): 227–228. doi : 10.1080 / 00031305.1973.10479042. JSTOR 3087407.
• Уокер, Х. У. (1940). "Степени свободы". Журнал педагогической психологии. 31 (4): 253–269. doi : 10.1037 / h0054588.Транскрипция К. Олсена с ошибками

• Ю, Чонг-хо (1997) Иллюстрирование степеней свободы в единицах выборки размер и размерность
• Даллал, GE. (2003) Степени свободы