Остаточная сумма квадратов

В статистике, то остаточная сумма квадратов ( RSS), также известные как сумма квадратов остатков ( SSR) или сумму квадратов оценки ошибок ( SSE), является суммой из квадратов из остатков (отклонения предсказывали от реальных эмпирических значений данных). Это мера расхождения между данными и моделью оценки, такой как линейная регрессия. Небольшой RSS указывает на точное соответствие модели данным. Он используется как критерий оптимальности при выборе параметров и выбора модели.

В общем, общая сумма квадратов = объясненная сумма квадратов + остаточная сумма квадратов. Для доказательства этого в многомерном обычном случае наименьших квадратов (OLS) см. Разделение в общей модели OLS.

• 1 Одна объясняющая переменная
• 2 Матричное выражение для остаточной суммы квадратов OLS
• 3 Связь с корреляцией продукта и момента Пирсона
• 4 См. Также
• 5 ссылки

В модели с единственной независимой переменной RSS задается следующим образом:

${\ displaystyle \ operatorname {RSS} = \ sum _ {i = 1} ^ {n} (y_ {i} -f (x_ {i})) ^ {2}}$

где y i - это i- ^е значение переменной, которую нужно спрогнозировать, x i - это i- ^е значение объясняющей переменной, и - это предсказанное значение y i (также называемое). В стандартной линейной простой модели регрессии, где и являются коэффициентами, у и х являются regressand и регрессор, соответственно, а ε является вектор ошибок. Сумма квадратов остатков - это сумма квадратов ; это ${\ displaystyle f (x_ {i})}$${\ displaystyle {\ hat {y_ {i}}}}$ ${\ displaystyle y_ {i} = \ alpha + \ beta x_ {i} + \ varepsilon _ {i} \,}$${\ displaystyle \ alpha}$${\ displaystyle \ beta}$ ${\ Displaystyle {\ widehat {\ varepsilon \,}} _ {я}}$

${\ displaystyle \ operatorname {RSS} = \ sum _ {i = 1} ^ {n} ({\ widehat {\ varepsilon \,}} _ {i}) ^ {2} = \ sum _ {i = 1} ^ {n} (y_ {i} - ({\ widehat {\ alpha \,}} + {\ widehat {\ beta \,}} x_ {i})) ^ {2}}$

где - оценочное значение постоянного члена, а - оценочное значение коэффициента наклона. ${\ displaystyle {\ widehat {\ alpha \,}}}$${\ displaystyle \ alpha}$${\ displaystyle {\ widehat {\ beta \,}}}$${\ displaystyle \ beta}$

Общая регрессионная модель с n наблюдениями и k объяснителями, первый из которых представляет собой постоянный единичный вектор, коэффициент которого является пересечением регрессии, имеет вид

${\ Displaystyle у = Х \ бета + е}$

где y - вектор наблюдений зависимой переменной размера n × 1, каждый столбец матрицы X размера n × k - вектор наблюдений на одном из k объяснителей, - вектор истинных коэффициентов k × 1, а e - размер n × 1 вектор истинных основных ошибок. В обычный метод наименьших квадратов Оценщик IS ${\ displaystyle \ beta}$ ${\ displaystyle \ beta}$

${\ Displaystyle Х {\ шляпа {\ бета}} = у \ iff}$

${\ displaystyle X ^ {\ operatorname {T}} X {\ hat {\ beta}} = X ^ {\ operatorname {T}} y \ iff}$

${\ displaystyle {\ hat {\ beta}} = (X ^ {\ operatorname {T}} X) ^ {- 1} X ^ {\ operatorname {T}} y.}$

Остаточный вектор = ; поэтому остаточная сумма квадратов равна: ${\ displaystyle {\ hat {e}}}$${\ displaystyle yX {\ hat {\ beta}} = yX (X ^ {\ operatorname {T}} X) ^ {- 1} X ^ {\ operatorname {T}} y}$

${\ displaystyle \ operatorname {RSS} = {\ hat {e}} ^ {\ operatorname {T}} {\ hat {e}} = \ | {\ hat {e}} \ | ^ {2}}$,

(эквивалентно квадрату нормы остатков). В полном объеме:

${\ displaystyle \ operatorname {RSS} = y ^ {\ operatorname {T}} yy ^ {\ operatorname {T}} X (X ^ {\ operatorname {T}} X) ^ {- 1} X ^ {\ operatorname {T}} y = y ^ {\ operatorname {T}} [IX (X ^ {\ operatorname {T}} X) ^ {- 1} X ^ {\ operatorname {T}}] y = y ^ {\ имя оператора {T}} [IH] y}$,

где H - матрица шляпы или матрица проекции в линейной регрессии.

Линия регрессии методом наименьших квадратов определяется выражением

${\ displaystyle y = ax + b}$,

где и, где и${\ displaystyle b = {\ bar {y}} - а {\ bar {x}}}$${\ displaystyle a = {\ frac {S_ {xy}} {S_ {xx}}}}$${\ displaystyle S_ {xy} = \ sum _ {i = 1} ^ {n} ({\ bar {x}} - x_ {i}) ({\ bar {y}} - y_ {i})}$${\ displaystyle S_ {xx} = \ sum _ {i = 1} ^ {n} ({\ bar {x}} - x_ {i}) ^ {2}.}$

Следовательно,

${\ displaystyle {\ begin {align} \ operatorname {RSS} amp; = \ sum _ {i = 1} ^ {n} (y_ {i} -f (x_ {i})) ^ {2} = \ sum _ {i = 1} ^ {n} (y_ {i} - (ax_ {i} + b)) ^ {2} = \ sum _ {i = 1} ^ {n} (y_ {i} -ax_ {i } - {\ bar {y}} + a {\ bar {x}}) ^ {2} \\ [5pt] amp; = \ sum _ {i = 1} ^ {n} (a ({\ bar {x }} - x_ {i}) - ({\ bar {y}} - y_ {i})) ^ {2} = a ^ {2} S_ {xx} -2aS_ {xy} + S_ {yy} = S_ {yy} -aS_ {xy} = S_ {yy} \ left (1 - {\ frac {S_ {xy} ^ {2}} {S_ {xx} S_ {yy}}} \ right) \ end {выровнено} }}$

где ${\ displaystyle S_ {yy} = \ sum _ {i = 1} ^ {n} ({\ bar {y}} - y_ {i}) ^ {2}.}$

Соотношение произведение-момент Пирсона определяется следующим образом:${\ displaystyle r = {\ frac {S_ {xy}} {\ sqrt {S_ {xx} S_ {yy}}}};}$${\ displaystyle \ operatorname {RSS} = S_ {yy} (1-r ^ {2}).}$

• Информационный критерий Акаике # Сравнение методом наименьших квадратов
• Распределение хи-квадрат # Приложения
• Степени свободы (статистика) # Сумма квадратов и степеней свободы
• Ошибки и неточности в статистике
• Неподходящая сумма квадратов
• Среднеквадратичная ошибка
• Сниженная статистика хи-квадрат, RSS на степень свободы
• Квадратные отклонения
• Сумма квадратов (статистика)

• Draper, NR; Смит, Х. (1998). Прикладной регрессионный анализ (3-е изд.). Джон Вили. ISBN   0-471-17082-8.