Полиномиальная регрессия

редактировать

В статистике, полиномиальная регрессия - это форма регрессионного анализа, в которой взаимосвязь между независимая переменная x и зависимая переменная y моделируются как полином n-й степени от x. Полиномиальная регрессия соответствует нелинейной зависимости между значением x и соответствующим условным средним y, обозначенным E (y | x). Хотя полиномиальная регрессия соответствует нелинейной модели данных, как проблема статистической оценки она является линейной в том смысле, что функция регрессии E (y | x) линейна относительно неизвестных параметров, которые оцениваются на основе данных . По этой причине полиномиальная регрессия считается частным случаем множественной линейной регрессии.

Объясняющие (независимые) переменные, полученные в результате полиномиального расширения «базовых» переменных, известны как члены более высокой степени. Такие переменные также используются в настройках классификации.

Содержание

1 История
2 Определение и пример
3 Матричная форма и расчет оценок
4 Интерпретация
5 Альтернативные подходы
6 См. Также
7 Примечания
8 Ссылки
9 Внешние ссылки

История

Модели полиномиальной регрессии обычно подбираются с использованием метода наименьших квадратов. Метод наименьших квадратов минимизирует дисперсию несмещенных оценок коэффициентов в условиях теоремы Гаусса – Маркова. Метод наименьших квадратов был опубликован в 1805 г. Лежандром и в 1809 г. Гауссом. Первый план эксперимента для полиномиальной регрессии появился в статье 1815 года Gergonne. В двадцатом веке полиномиальная регрессия сыграла важную роль в развитии регрессионного анализа, с большим упором на вопросы дизайна и вывода. Совсем недавно использование полиномиальных моделей было дополнено другими методами, при этом неполиномиальные модели имеют преимущества для некоторых классов проблем.

Определение и пример

Кубическая полиномиальная регрессия, подходящая для смоделированного набора данных. доверительный интервал - это 95% одновременный доверительный интервал, построенный с использованием подхода Шеффе.

Целью регрессионного анализа является моделирование ожидаемого значения зависимой переменной y в терминах значение независимой переменной (или вектора независимых переменных) x. В простой линейной регрессии модель

y = β 0 + β 1 x + ε, {\ displaystyle y = \ beta _ {0} + \ beta _ {1} x + \ varepsilon, \,}

{\ displaystyle y = \ beta _ {0} + \ beta _ {1} x + \ varepsilon, \, }

является где ε - ненаблюдаемая случайная ошибка со средним нулем, обусловленная скалярной переменной x. В этой модели для каждой единицы увеличения значения x условное ожидание y увеличивается на β 1 единиц.

Во многих настройках такая линейная зависимость может не соблюдаться. Например, если мы моделируем выход химического синтеза с точки зрения температуры, при которой происходит синтез, мы можем обнаружить, что выход улучшается за счет увеличения количества на каждую единицу увеличения температуры. В этом случае мы могли бы предложить квадратичную модель вида

y = β 0 + β 1 x + β 2 x 2 + ε. {\ displaystyle y = \ beta _ {0} + \ beta _ {1} x + \ beta _ {2} x ^ {2} + \ varepsilon. \,}

{\ displaystyle y = \ beta _ {0} + \ beta _ {1} x + \ beta _ {2} x ^ {2} + \ varepsilon. \,}

В этой модели, когда температура увеличивается от x до x + 1 единиц ожидаемый урожай изменится на $β 1 + β 2 (2 x + 1). {\ displaystyle \ beta _ {1} + \ beta _ {2} (2x + 1).}$ ${\ displaystyle \ beta _ {1} + \ beta _ {2} (2x + 1).}$ (Это можно увидеть, заменив x в этом уравнении на x + 1 и вычтя уравнение в x из уравнения в x + 1.) Для бесконечно малых изменений в x, влияние на y определяется полной производной по x: $β 1 + 2 β 2 х. {\ displaystyle \ beta _ {1} +2 \ beta _ {2} x.}$ ${\ displaystyle \ beta _ {1} +2 \ beta _ {2} x.}$ Тот факт, что изменение доходности зависит от x, делает отношения между x и y нелинейными, даже если модель линейна по оцениваемым параметрам.

В общем, мы можем смоделировать ожидаемое значение y как многочлен n-й степени, что дает общую модель полиномиальной регрессии

y = β 0 + β 1 x + β 2 x 2 + β 3 x 3 + ⋯ + β nxn + ε. {\ displaystyle y = \ beta _ {0} + \ beta _ {1} x + \ beta _ {2} x ^ {2} + \ beta _ {3} x ^ {3} + \ cdots + \ beta _ { n} x ^ {n} + \ varepsilon. \,}

{\ displaystyle y = \ beta _ {0} + \ beta _ {1} x + \ beta _ {2} x ^ {2} + \ beta _ {3} x ^ {3} + \ cdots + \ beta _ {n} x ^ {n} + \ varepsilon. \,}

Удобно, что все эти модели являются линейными с точки зрения оценки, поскольку функция регрессии линейна по неизвестным параметрам. β 0, β 1,.... Таким образом, для анализа методом наименьших квадратов вычислительные и логические задачи полиномиальной регрессии могут быть полностью решены с использованием методов множественной регрессии. Для этого x, x,... рассматриваются как отдельные независимые переменные в модели множественной регрессии.

Форма матрицы и расчет оценок

Модель полиномиальной регрессии

yi = β 0 + β 1 xi + β 2 xi 2 + ⋯ + β mxim + ε i (i = 1, 2,…, n) {\ displaystyle y_ {i} \, = \, \ beta _ {0} + \ beta _ {1} x_ {i} + \ beta _ {2} x_ {i} ^ {2 } + \ cdots + \ beta _ {m} x_ {i} ^ {m} + \ varepsilon _ {i} \ (i = 1,2, \ dots, n)}

{\ displaystyle y_ {i} \, = \, \ beta _ {0} + \ бета _ {1} x_ {i} + \ beta _ {2} x_ {i} ^ {2} + \ cdots + \ beta _ {m} x_ {i} ^ {m} + \ varepsilon _ {i} \ (я = 1,2, \ точки, п)}

может быть выражено в матричной форме в члены матрицы проекта $X {\ displaystyle \ mathbf {X}}$ $\ mathbf {X}$ , вектор ответа $y → {\ displaystyle {\ vec {y}}}$ $\ vec y$ , вектор параметров $β → {\ displaystyle {\ vec {\ beta}}}$ ${\ displaystyle {\ vec {\ beta}}}$ и вектор $ε → {\ displaystyle {\ vec {\ varepsilon}}}$ ${\ displaystyle {\ vec {\ varepsilon}}}$ случайных ошибок. I-я строка $X {\ displaystyle \ mathbf {X}}$ $\ mathbf {X}$ и $y → {\ displaystyle {\ vec {y}}}$ $\ vec y$ будет содержать значения x и y для i-й выборки данных. Тогда модель может быть записана как система линейных уравнений:

[y 1 y 2 y 3 ⋮ yn] = [1 x 1 x 1 2… x 1 m 1 x 2 x 2 2… x 2 m 1 x 3 x 3 2… x 3 м ⋮ ⋮ ⋮ ⋮ 1 xnxn 2… xnm] [β 0 β 1 β 2 ⋮ β m] + [ε 1 ε 2 ε 3 ⋮ ε n], {\ displaystyle {\ begin { bmatrix} y_ {1} \\ y_ {2} \\ y_ {3} \\\ vdots \\ y_ {n} \ end {bmatrix}} = {\ begin {bmatrix} 1 x_ {1} x_ {1} ^ {2} \ dots x_ {1} ^ {m} \\ 1 x_ {2} x_ {2} ^ {2} \ dots x_ {2} ^ {m} \\ 1 x_ {3} x_ {3} ^ {2} \ dots x_ {3} ^ {m} \\\ vdots \ vdots \ vdots \ ddots \ vdots \\ 1 x_ {n} x_ {n} ^ {2} \ dots x_ {n } ^ {m} \ end {bmatrix}} {\ begin {bmatrix} \ beta _ {0} \\\ beta _ {1} \\\ beta _ {2} \\\ vdots \\\ beta _ {m } \ end {bmatrix}} + {\ begin {bmatrix} \ varepsilon _ {1} \\\ varepsilon _ {2} \\\ varepsilon _ {3} \\\ vdots \\\ varepsilon _ {n} \ end {bmatrix}},}

{ \ Displaystyle {\ begin {bmatrix} y_ {1} \\ y_ {2} \\ y_ {3} \\\ vdots \\ y_ {n} \ end {bmatrix}} = {\ begin {bmatrix} 1 x_ {1 } x_ {1} ^ {2} \ dots x_ {1} ^ {m} \\ 1 x_ {2} x_ {2} ^ {2} \ dots x_ {2} ^ {m} \\ 1 x_ {3 } x_ {3} ^ {2} \ dots x_ {3} ^ {m} \\\ vdots \ vdots \ vdots \ ddots \ vdots \\ 1 x_ {n} x_ {n} ^ {2} \ dots x_ {n} ^ {m} \ end {bmatrix}} {\ begin {bmatrix} \ beta _ {0} \\\ beta _ {1} \\\ beta _ {2} \\\ vdots \ \\ beta _ {m} \ end {bmatrix}} + {\ begin {bmatrix} \ varepsilon _ {1} \\\ varepsilon _ {2} \\\ varepsilon _ {3} \\\ vdots \\\ varepsilon _ {n} \ end {bmatrix}},}

который при использовании чисто матричной записи записывается как

y → = X β → + ε →. {\ displaystyle {\ vec {y}} = \ mathbf {X} {\ vec {\ beta}} + {\ vec {\ varepsilon}}. \,}

{\ displaystyle {\ vec {y}} = \ mathbf {X} {\ vec {\ beta}} + {\ vec {\ varepsilon}}. \,}

Вектор оценочных коэффициентов полиномиальной регрессии (с использованием обычный метод наименьших квадратов оценка ):

β → ^ = (XTX) - 1 XT y →, {\ displaystyle {\ widehat {\ vec {\ beta}}} = ( \ mathbf {X} ^ {\ mathsf {T}} \ mathbf {X}) ^ {- 1} \; \ mathbf {X} ^ {\ mathsf {T}} {\ vec {y}}, \,}

{\ displaystyle {\ widehat {\ vec {\ beta}}} = (\ mathbf {X} ^ {\ mathsf {T}) } \ mathbf {X}) ^ {- 1} \; \ mathbf {X} ^ {\ mathsf {T}} {\ vec {y}}, \,}

если m < n which is required for the matrix to be invertible; then since $X {\ displaystyle \ mathbf {X}}$ $\ mathbf {X}$ является матрицей Вандермонда, условие обратимости гарантированно выполняется, если все $xi { \ displaystyle x_ {i}}$ $x_ {i}$ значения различны. Это единственное решение методом наименьших квадратов.

Интерпретация

Хотя полиномиальная регрессия технически является частным случаем множественной линейной регрессии, интерпретация подобранной модели полиномиальной регрессии требует несколько иной точки зрения. Часто бывает трудно интерпретировать отдельные коэффициенты при подборе полиномиальной регрессии, поскольку лежащие в основе мономы могут быть сильно коррелированы. Например, x и x имеют корреляцию около 0,97, когда x равномерно распределен на интервале (0, 1). Хотя корреляцию можно уменьшить, используя ортогональные многочлены, обычно более информативно рассматривать подобранную функцию регрессии в целом. Затем можно использовать точечные или одновременные доверительные интервалы, чтобы дать представление о неопределенности в оценке функции регрессии.

Альтернативные подходы

Полиномиальная регрессия - это один из примеров регрессионного анализа с использованием базисных функций для моделирования функциональной взаимосвязи между двумя величинами. В частности, он заменяет $x ∈ R dx {\ displaystyle x \ in \ mathbb {R} ^ {d_ {x}}}$ ${\ displaystyle x \ in \ mathbb {R} ^ {d_ {x}}}$ в линейной регрессии с полиномиальным базисом $φ (x) ∈ р d φ {\ displaystyle \ varphi (x) \ in \ mathbb {R} ^ {d _ {\ varphi}}}$ ${\ displaystyle \ varphi (x) \ in \ mathbb {R} ^ {d_ { \ varphi}}}$ , например $[1, x] → φ [1, x, x 2,…, xd] {\ displaystyle [1, x] {\ mathbin {\ stackrel {\ varphi} {\ rightarrow}}} [1, x, x ^ {2}, \ ldots, x ^ {d}]}$ ${\ displaystyle [1, x] {\ mathbin {\ stackrel {\ varphi} {\ rightarrow}}} [1, x, x ^ {2}, \ ldots, x ^ {d}]}$ . Недостатком полиномиальных базисов является то, что базисные функции являются «нелокальными», что означает, что подогнанное значение y для заданного значения x = x 0 сильно зависит от значений данных с x далеко от x 0. В современной статистике полиномиальные базисные функции используются вместе с новыми базисными функциями, такими как сплайны, радиальные базисные функции и вейвлеты.. Эти семейства базисных функций подходят для многих типов данных более экономно.

Целью полиномиальной регрессии является моделирование нелинейной взаимосвязи между независимыми и зависимыми переменными (технически, между независимой переменной и условным средним зависимой переменной). Это похоже на цель непараметрической регрессии, которая направлена на выявление отношений нелинейной регрессии. Следовательно, подходы непараметрической регрессии, такие как сглаживание, могут быть полезными альтернативами полиномиальной регрессии. Некоторые из этих методов используют локализованную форму классической полиномиальной регрессии. Преимущество традиционной полиномиальной регрессии состоит в том, что можно использовать логическую схему множественной регрессии (это также справедливо при использовании других семейств базисных функций, таких как сплайны).

Последней альтернативой является использование ядерных моделей, таких как поддержка векторной регрессии с полиномиальным ядром.

Если остатки имеют неравномерная дисперсия, для этого можно использовать взвешенную оценку методом наименьших квадратов.

См. Также

Примечания

Microsoft Excel использует полиномиальную регрессию при подгонке линии тренда к точкам данных на XY диаграмма рассеяния.

Ссылки

Внешние ссылки

Подгонка кривой, PhET Интерактивное моделирование, Университет Колорадо в Боулдере