Неполная сумма квадратов

В статистике сумма квадратов из-за недостаточного соответствия, или, более кратко, сумма квадратов недостаточного соответствия, является одним из компоненты раздела суммы квадратов остатков в дисперсионном анализе, используемые в числителе в F-тесте нулевой гипотезы, которая говорит, что предложенная модель хорошо подходит. Другой компонент - это сумма квадратов чистой ошибки .

Сумма квадратов чистой ошибки - это сумма квадратов отклонений каждого значения зависимой переменной от среднего значения по всем наблюдениям. разделяя его независимую переменную значение (я). Это ошибки, которых нельзя было бы избежать с помощью какого-либо прогнозного уравнения, которое назначало прогнозируемое значение для зависимой переменной как функцию значения (значений) независимой переменной (переменных). Оставшаяся часть остаточной суммы квадратов объясняется отсутствием соответствия модели, поскольку математически было бы возможно полностью устранить эти ошибки.

• 1 Набросок идеи
• 2 Математические детали
• 3 Распределения вероятностей
  • 3.1 Суммы квадратов
  • 3.2 Тестовая статистика
• 4 См. Также
• 5 Примечания

Для того, чтобы сумма квадратов несовпадения отличалась от суммы квадратов остатков, должно быть более одного значение переменной ответа по крайней мере для одного из значений набора переменных-предикторов. Например, рассмотрите возможность подбора линии

$y\; =\; \alpha \; x\; +\; \beta \; \{\backslash \; displaystyle\; y\; =\; \backslash \; alpha\; x\; +\; \backslash \; beta\; \backslash ,\}$

методом наименьших квадратов. В качестве оценок α и β принимаются значения, которые минимизируют сумму квадратов остатков, то есть сумму квадратов разностей между наблюдаемым значением y и подобранным значением y. Чтобы получить неадекватную сумму квадратов, которая отличается от остаточной суммы квадратов, необходимо наблюдать более одного значения y для каждого из одного или нескольких значений x. Затем «сумму квадратов из-за ошибки», т. Е. Сумму квадратов остатков, разбивают на два компонента:

сумма квадратов из-за ошибки = (сумма квадратов из-за «чистой» ошибки) + (сумма квадратов из-за несовпадения).

Сумма квадратов из-за "чистой" ошибки - это сумма квадратов разностей между каждым наблюдаемым значением y и средним значением всех значений y, соответствующих одному и тому же x- значение.

Сумма квадратов из-за отсутствия соответствия представляет собой взвешенную сумму квадратов разностей между каждым средним значением y, соответствующим одному и тому же значению x и соответствующему подобранному значению y, вес в каждом случае просто количество наблюдаемых значений y для этого значения x. Поскольку свойство регрессии наименьших квадратов состоит в том, что вектор, компоненты которого являются «чистыми ошибками», и вектор компонентов несовпадения ортогональны друг другу, выполняется следующее равенство:

$\sum \; (наблюдаемое\; значение\; -\; подобранное\; значение)\; 2\; (ошибка)\; =\; \sum \; (наблюдаемое\; значение\; -\; локальное\; среднее)\; 2\; (чистая\; ошибка)\; +\; \sum \; вес\; \times \; (локальное\; среднее\; -\; подобранное\; значение)\; 2\; (несоответствие)\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{align\}\; \backslash \; sum\; (\{\; \backslash \; text\; \{наблюдаемое\; значение\}\}\; -\; \{\backslash \; text\; \{установленное\; значение\}\})\; ^\; \{2\}\; \{\backslash \; text\; \{(error)\}\}\; \backslash \backslash \; \backslash \; qquad\; =\; \backslash \; sum\; (\{\backslash \; text\; \{наблюдаемое\; значение\}\}\; -\; \{\; \backslash \; text\; \{среднее\; местное\}\})\; ^\; \{2\}\; \{\backslash \; text\; \{(чистая\; ошибка)\}\}\; \backslash \backslash \; \backslash \; qquad\; \backslash \; qquad\; \{\}\; +\; \backslash \; sum\; \{\backslash \; text\; \{weight\}\}\; \backslash \; times\; (\{\backslash \; text\; \{local\; среднее\}\}\; -\; \{\backslash \; text\; \{подобранное\; значение\}\})\; ^\; \{2\}\; \{\backslash \; text\; \{(отсутствие\; соответствия)\}\}\; \backslash \; end\; \{align\}\}\}$

Следовательно, остаточная сумма квадратов была полностью разложена на два компонента.

Рассмотрите возможность подгонки строки с одной переменной-предиктором. Определите i как индекс каждого из n различных значений x, j как индекс наблюдений переменной ответа для данного значения x и n i как количество значений y, связанных со значением i x. Значение каждого наблюдения переменной ответа может быть представлено как

$Y\; i\; j\; =\; \alpha \; x\; i\; +\; \beta \; +\; \epsilon \; i\; j,\; i\; =\; 1,\dots ,\; n,\; j\; =\; 1,\dots ,\; n\; i.\; \{\backslash \; displaystyle\; Y\_\; \{ij\}\; =\; \backslash \; alpha\; x\_\; \{i\}\; +\; \backslash \; beta\; +\; \backslash \; varepsilon\; \_\; \{ij\},\; \backslash \; qquad\; i\; =\; 1,\; \backslash \; dots,\; n,\; \backslash \; quad\; j\; =\; 1,\; \backslash \; dots,\; n\_\; \{i\}.\; \}$

Пусть

$\alpha \; ^,\; \beta \; ^\; \{\backslash \; displaystyle\; \{\backslash \; widehat\; \{\backslash \; alpha\}\},\; \{\backslash \; widehat\; \{\backslash \; beta\}\}\; \backslash ,\}$

будет оценками методом наименьших квадратов ненаблюдаемых параметров α и β на основе наблюдаемых значений x i и Y ij.

Пусть

$Y\; ^\; i\; =\; \alpha \; ^\; xi\; +\; \beta \; ^\; \{\backslash \; displaystyle\; \{\backslash \; widehat\; \{Y\}\}\; \_\; \{i\}\; =\; \{\backslash \; widehat\; \{\backslash \; alpha\}\}\; x\_\; \{i\}\; +\; \{\backslash \; widehat\; \{\backslash \; beta\}\}\; \backslash ,\}$

- соответствующие значения переменной ответа. Тогда

$\epsilon \; ^\; ij\; =\; Y\; ij\; -\; Y\; ^\; i\; \{\backslash \; displaystyle\; \{\backslash \; widehat\; \{\backslash \; varepsilon\}\}\; \_\; \{ij\}\; =\; Y\_\; \{ij\}\; -\; \{\backslash \; widehat\; \{Y\}\}\; \_\; \{i\}\; \backslash ,\}$

- это остатки, которые представляют собой наблюдаемые оценки ненаблюдаемых значений члена ошибки ε ij. Из-за характера метода наименьших квадратов весь вектор остатков с

$N\; =\; \sum \; i\; =\; 1\; nni\; \{\backslash \; displaystyle\; N\; =\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; n\_\; \{i\}\}$

скалярные компоненты обязательно удовлетворяют двум ограничениям.

$\sum \; i\; =\; 1\; n\; \sum \; j\; =\; 1\; ni\; \epsilon \; ^\; ij\; =\; 0\; \{\backslash \; displaystyle\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; \backslash \; sum\; \_\; \{j\; =\; 1\}\; ^\; \{n\_\; \{i\}\}\; \{\backslash \; widehat\; \{\backslash \; varepsilon\}\}\; \_\; \{ij\}\; =\; 0\; \backslash ,\}$

$\sum \; i\; =\; 1\; n\; (xi\; \sum \; j\; =\; 1\; ni\; \epsilon \; ^\; ij)\; =\; 0.\; \{\backslash \; displaystyle\; \backslash \; sum\; \_\; \{я\; =\; 1\}\; ^\; \{n\}\; \backslash \; left\; (x\_\; \{i\}\; \backslash \; sum\; \_\; \{j\; =\; 1\}\; ^\; \{n\_\; \{i\}\}\; \{\backslash \; widehat\; \{\backslash \; varepsilon\}\}\; \_\; \{ij\}\; \backslash \; right)\; =\; 0.\; \backslash ,\}$

Таким образом, он ограничен лежать в (N - 2) -мерном подпространстве R, т.е. имеется N - 2 "степеней свободы за ошибку ».

Теперь пусть

$Y\; ¯\; i\; \bullet \; =\; 1\; ni\; \sum \; j\; =\; 1\; ni\; Y\; ij\; \{\backslash \; displaystyle\; \{\backslash \; overline\; \{Y\}\}\; \_\; \{i\; \backslash \; bullet\}\; =\; \{\backslash \; frac\; \{1\}\; \{n\_\; \{i\}\}\}\; \backslash \; sum\; \_\; \{j\; =\; 1\}\; ^\; \{n\_\; \{i\}\}\; Y\_\; \{ij\}\}$

- среднее значение всех значений Y, связанных с i-значением x.

Мы разделим сумму квадратов из-за ошибки на две составляющие:

$\sum \; i\; =\; 1\; n\; \sum \; j\; =\; 1\; ni\; \epsilon \; ^\; ij\; 2\; =\; \sum \; i\; =\; 1\; n\; \sum \; j\; =\; 1\; ni\; (Y\; ij\; -\; Y\; ^\; i)\; 2\; =\; \sum \; i\; =\; 1\; n\; \sum \; j\; =\; 1\; ni\; (Y\; ij\; -\; Y\; ¯\; i\; \bullet )\; 2\; ⏟\; (сумма\; квадратов\; из-за\; чистой\; ошибки)\; +\; \sum \; i\; =\; 1\; nni\; (Y\; ¯\; i\; \bullet \; -\; Y\; ^\; i)\; 2.\; ⏟\; (сумма\; квадратов\; из-за\; несовпадения)\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{align\}\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; \backslash \; sum\; \_\; \{j\; =\; 1\}\; ^\; \{n\_\; \{i\}\}\; \{\backslash \; widehat\; \{\backslash \; varepsilon\}\}\; \_\; \{ij\}\; ^\; \{\backslash ,\; 2\}\; =\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; \backslash \; sum\; \_\; \{j\; =\; 1\}\; ^\; \{n\_\; \{i\}\}\; \backslash \; left\; (Y\_\; \{ij\; \}\; -\; \{\backslash \; widehat\; \{Y\}\}\; \_\; \{i\}\; \backslash \; right)\; ^\; \{2\}\; \backslash \backslash \; =\; \backslash \; underbrace\; \{\backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; \backslash \; sum\; \_\; \{j\; =\; 1\}\; ^\; \{n\_\; \{i\}\}\; \backslash \; left\; (Y\_\; \{ij\}\; -\; \{\backslash \; overline\; \{Y\}\}\; \_\; \{i\; \backslash \; bullet\}\; \backslash \; right)\; ^\; \{2\}\}\; \_\; \{\backslash \; text\; \{(сумма\; квадратов\; из-за\; чистой\; ошибки)\}\}\; +\; \backslash \; underbrace\; \{\backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; n\_\; \{i\}\; \backslash \; left\; (\{\backslash \; overline\; \{Y\}\}\; \_\; \{i\; \backslash \; bullet\}\; -\; \{\backslash \; widehat\; \{Y\}\}\; \_\; \{i\}\; \backslash \; right)\; ^\; \{2\}.\}\; \_\; \{\backslash \; Text\; \{(сумма\; квадратов\; из-за\; несовпадения)\}\}\; \backslash \; end\; \{align\}\}\}$

Суммы квадратов

Предположим, что члены ошибки ε ij являются независимыми и нормально распределенными с ожидаемым значением 0 и дисперсией σ. Мы рассматриваем x i как постоянный, а не случайный. Тогда переменные реакции Y i j случайны только потому, что ошибки ε i j случайны.

Из этого можно показать, что если прямолинейная модель верна, то сумма квадратов из-за ошибки, разделенная на дисперсию ошибки,

$1\; \sigma \; 2\; \sum \; i\; Знак\; равно\; 1\; N\; \sum \; J\; знак\; равно\; 1\; ni\; \epsilon \; ^\; ij\; 2\; \{\backslash \; displaystyle\; \{\backslash \; frac\; \{1\}\; \{\backslash \; sigma\; ^\; \{2\}\}\}\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; \backslash \; sum\; \_\; \{j\; =\; 1\}\; ^\; \{n\_\; \{i\}\}\; \{\backslash \; widehat\; \{\backslash \; varepsilon\}\}\; \_\; \{ij\}\; ^\; \{\backslash ,\; 2\}\}$

имеет распределение хи-квадрат с N - 2 степенями свободы.

Более того, учитывая общее количество наблюдений N, количество уровней независимой переменной n и количество параметров в модели p:

• Сумма квадратов чистой ошибки, деленная на дисперсия ошибки σ имеет распределение хи-квадрат с N - n степенями свободы;
• сумма квадратов из-за отсутствия подгонки, деленная на дисперсию ошибки σ, имеет распределение хи-квадрат с n - p степеней свободы (здесь p = 2, поскольку в линейной модели есть два параметра);
• Две суммы квадратов вероятностно независимы.

Тестовая статистика

Отсюда следует, что статистика

$F\; =\; неподходящая\; сумма\; квадратов\; /\; степеней\; свободы\; сумма\; квадратов\; /\; степеней\; свободы\; чистой\; ошибки\; =\; \sum \; i\; =\; 1\; nni\; (Y\; ¯\; i\; \bullet \; -\; Y\; ^\; i)\; 2\; /\; (N\; -\; п)\; \sum \; я\; знак\; равно\; 1\; N\; \sum \; J\; знак\; равно\; 1\; NI\; (Y\; ij\; -\; Y\; ¯\; я\; \bullet )\; 2\; /\; (N\; -\; n)\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{align\}\; F\; =\; \{\backslash \; frac\; \{\{\backslash \; text\; \{неподходящая\; сумма\; квадратов\}\}\; /\; \{\backslash \; text\; \{степеней\; свободы\}\}\}\; \{\{\backslash \; text\; \{чистая\; сумма\; квадратов\; ошибок\}\}\; /\; \{\backslash \; text\; \{degre\; es\; of\; Freedom\}\}\}\}\; \backslash \backslash \; [8pt]\; =\; \{\backslash \; frac\; \{\backslash \; left.\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; n\_\; \{i\}\; \backslash \; left\; (\{\backslash \; overline\; \{Y\}\}\; \_\; \{i\; \backslash \; bullet\}\; -\; \{\backslash \; widehat\; \{Y\}\}\; \_\; \{i\}\; \backslash \; right)\; ^\; \{2\}\; \backslash \; right\; /\; (np)\}\; \{\backslash \; left.\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; \backslash \; sum\; \_\; \{j\; =\; 1\}\; ^\; \{n\_\; \{i\}\}\; \backslash \; left\; (Y\_\; \{ij\}\; -\; \{\backslash \; overline\; \{Y\}\}\; \_\; \{i\; \backslash \; bullet\}\; \backslash \; right)\; ^\; \{2\}\; \backslash \; right\; /\; (Nn)\}\}\; \backslash \; end\; \{выровнено\; \}\}\}$

имеет F-распределение с соответствующим числом степеней свободы в числителе и знаменателе, при условии, что модель верна. Если модель неверна, то распределение вероятностей знаменателя остается таким, как указано выше, а числитель и знаменатель по-прежнему независимы. Но числитель тогда имеет нецентральное распределение хи-квадрат, и, следовательно, частное в целом имеет нецентральное F-распределение.

. Этот F-статистический показатель используется для проверки нулевая гипотеза о том, что линейная модель верна. Поскольку нецентральное F-распределение стохастически больше, чем (центральное) F-распределение, отвергают нулевую гипотезу, если F-статистика больше критического значения F. Критическое значение соответствует кумулятивной функции распределения F-распределения с x, равным желаемому доверительному уровню, и степеням свободы d 1 = (n - p) и d 2 = (N - n).

Допущения нормального распределения ошибок и независимости могут быть показаны как влекущие за собой, что этот тест на отсутствие соответствия является критерий отношения правдоподобия этой нулевой гипотезы.

• Доля необъяснимой дисперсии
• Линейная регрессия