Регрессия гребня

редактировать

Риджевая регрессия - это метод оценки коэффициентов моделей множественной регрессии в сценариях, в которых независимые переменные сильно коррелированы. Он используется в таких областях, как эконометрика, химия и инженерия.

Теория была впервые введена Hoerl и Кеннардом в 1970 год в своих Technometrics бумаги «ХРЕБЕТ регрессий: смещена оценка неортогональных проблем» и «ХРЕБЕТ регрессий: применение в неортогональных проблемах». Это стало результатом десяти лет исследований в области анализа гребней.

Регрессия гребня была разработана как возможное решение проблемы неточности оценок наименьших квадратов, когда модели линейной регрессии имеют несколько мультиколлинеарных (сильно коррелированных) независимых переменных - путем создания оценки регрессии гребня (RR). Это обеспечивает более точную оценку параметров гребня, так как его оценка дисперсии и среднего квадрата часто меньше, чем ранее полученные оценки методом наименьших квадратов.

Математические детали

В стандартной линейной регрессии вектор-столбец должен быть спроецирован на пространство столбцов матрицы плана (обычно), столбцы которого сильно коррелированы. В обычный метод наименьших квадратов оценкой коэффициентов, с помощью которого умножаются столбцы, чтобы ортогональная проекция является ${\ textstyle п \ раз 1}$ ${\ textstyle п \ раз 1}$ ${\ textstyle y}$ ${\ textstyle y}$ ${\ textstyle n \ times p}$ ${\ textstyle n \ times p}$ ${\ textstyle X}$ ${\ textstyle X}$ ${\ textstyle p \ ll n}$ ${\ textstyle p \ ll n}$ ${\ textstyle \ beta \ in \ mathbb {R} ^ {p \ times 1}}$ ${\ textstyle \ beta \ in \ mathbb {R} ^ {p \ times 1}}$ ${\ textstyle X \ beta}$ ${\ textstyle X \ beta}$

{\ displaystyle {\ widehat {\ beta}} = (X ^ {T} X) ^ {- 1} X ^ {T} y}

{\ displaystyle {\ widehat {\ beta}} = (X ^ {T} X) ^ {- 1} X ^ {T} y}

(где это транспонирование). ${\ textstyle X ^ {T}}$ ${\ textstyle X ^ {T}}$ ${\ textstyle X}$ ${\ textstyle X}$

В отличие от этого, оценка регрессии гребня

{\ displaystyle {\ widehat {\ beta}} _ {\ text {ridge}} = (X ^ {T} X + kI_ {p}) ^ {- 1} X ^ {T} y}

{\ displaystyle {\ widehat {\ beta}} _ {\ text {ridge}} = (X ^ {T} X + kI_ {p}) ^ {- 1} X ^ {T} y}

где - единичная матрица и мала. ${\ textstyle I_ {p}}$ ${\ textstyle I_ {p}}$ ${\ textstyle p \ times p}$ ${\ textstyle p \ times p}$ ${\ textstyle kgt; 0}$ ${\ textstyle kgt; 0}$

использованная литература

^ ^a ^b Hilt, Дональд Э.; Сигрист, Дональд В. (1977). «Ридж, компьютерная программа для расчета оценок регрессии гребня».
^ ^a ^b Грубер, Марвин (26 февраля 1998 г.). Повышение эффективности за счет сжатия: оценки регрессии Джеймса – Стейна и Риджа. ISBN 9780824701567.
^ Hoerl, Arthur E., и Роберт У. Kennard. «Регрессия хребта: предвзятая оценка неортогональных проблем». Технометрика, т. 12, вып. 1. 1970. С. 55–67. [www.jstor.org/stable/1267351 JSTOR]. Доступ 13 марта 2021 г.
^ Hoerl, Arthur E., и Роберт У. Kennard. «Регрессия хребта: приложения к неортогональным проблемам». Технометрика, том 12, номер 1, 1970 г., стр. 69–82. [www.jstor.org/stable/1267352 JSTOR]. Доступ 13 марта 2021 г.
^ Бек, Джеймс Вир; Арнольд, Кеннет Дж. (1977). Оценка параметров в технике и науке. ISBN 9780471061182.
^ Jolliffe, IT (9 мая 2006). Анализ главных компонентов. ISBN 9780387224404.