Линейная регрессия

редактировать

В статистике, линейная регрессия - это линейный подход для моделирования взаимосвязи между скалярным ответом (или зависимой переменной ) и отдельными или независимыми переменными (или зависимыми переменными ). Случай одной независимой регрессии называется простой линейной регрессией. Для нескольких независимых факторов процесс называется множественной линейной регрессией . Этот термин отличается от многомерной линейной регрессии, где прогнозируются несколько коррелированных зависимых переменных, а не скалярная переменная.

В линейной регрессии отношения моделируются с использованием линейного предиктора функции, чьи параметры неизвестной модели являются оцененными из данных. Такие модели называются линейными моделями. Чаще всего, что условное среднее ответа с учетом независимых переменных (или предикторов) является аффинной функцией этих значений; реже используется условная медиана или какой-либо другой квантиль. Как и все формы регрессионного анализа, линейная регрессия фокусируется на условном распределении вероятностей ответа с учетом значений предикторов, а не на совместном распределении вероятностей всех этих чисел, которая является областью многомерного анализа.

Линейная регрессия был первым типом регрессионного анализа, который необходимо использовать и широко использовать в практических приложениях. Это связано с тем, что модели, которые линейно зависят от их неизвестных параметров, легче подобрать.

Линейная регрессия имеет множество практических применений. Большинство приложений попадают в одну из следующих двух широких категорий:

. Предназначено прогнозирование, прогнозирование или уменьшение ошибок, можно использовать линейную регрессию, чтобы подогнать прогнозную модель к наблюдаемому набору данных значений. ответных и объясняющих переменных. После разработки такой модели, если дополнительные значения объясняющие собираются без сопутствующего ответа значения.
. Если цель состоит в том, чтобы объяснить вариации ответа, которая может быть отнесена к вариациям в объясняющих переменных, линейный регрессионный анализ может быть использован для количественной силы взаимосвязи между ответом и объясняющими переменными, в частности, для Определить, какие подмножества независимых определений могут содержать избыточную информацию об ответе.

Модели линейной регрессии подбираются с использованием метода наименьших квадратов, но они также могут быть подогнаны и другими способами, например, минимизируя "несоответствие" в какой-либо другой норме (как с регрессией с наименьшими абсолютными отклонениями ) или минимизируя штрафные версии n наименьших квадратов функции стоимости, как в регрессии гребня (штраф L-нормы) и лассо (штраф L-нормы). И наоборот, подход наименьших квадратов можно использовать для подбора моделей, которые не являются линейными моделями. Таким образом, хотя термины «наименьшие квадраты» и «линейная модель» связаны, они не являются синонимами.

Содержание

1 Введение
- 1.1 Допущения
- 1.2 Интерпретация
2 Расширения
- 2.1 Простая и множественная линейная регрессия
- 2.2 Общие линейные модели
- 2.3 Гетероскедастические модели
- 2.4 Обобщенные линейные модели
- 2.5 Иерархические линейные модели
- 2.6 Ошибки в числа
- 2.7 Другое
3 Методы оценки
- 3.1 Оценка методом наименьших квадратов и связанных методов
- 3.2 Оценка Правдоподобия и связанные методы
- 3.3 Другие методы оценки
4 Приложения
- 4.1 Линия тренда
- 4.2 Эпидемиология
- 4.3 Финансы
- 4.4 Экономика
- 4.5 Экология
- 4.6 Машинное обучение
5 История
6 См. Также
7 Ссылки
- 7.1 Цитаты
- 7.2 Источники
8 Дополнительная литература
9 Внешние ссылки

Введение

В линейной регрессии наблюдения (красный ) последствием случайных отклонений (зеленый ) от лежащей в основе взаимосвязи (синий ) между зависимой зависимой (y) и независимой зависимой. переменная endent (x).

Для данных установить ${yi, xi 1,…, xip} i = 1 n {\ displaystyle \ {y_ {i}, \, x_ {i1}, \ ldots, x_ {ip} \} _ {i = 1} ^ {n}}$ $\ {y_ {i}, \, x_ {i1}, \ ldots, x_ {ip} \} _ {я = 1} ^ {n}$ из n статистических единиц, модель линейной регрессии предполагает, что связь между зависимая переменная y и p- вектор регрессоров x является линейным. Эта взаимосвязь моделируется с помощью члена возмущения или переменных ошибок - ненаблюдаемой случайной величины, которая определяет «шум» к линейной взаимосвязи между зависимой и регрессорами. Таким образом, модель принимает вид

yi = β 0 + β 1 xi 1 + ⋯ + β pxip + ε i = xi T β + ε i, i = 1,…, n, {\ displaystyle y_ {i} = \ beta _ {0} + \ beta _ {1} x_ {i1} + \ cdots + \ beta _ {p} x_ {ip} + \ varepsilon _ {i} = \ mathbf {x} _ {i} ^ { \ mathsf {T}} {\ boldsymbol {\ beta}} + \ varepsilon _ {i}, \ qquad i = 1, \ ldots, n,}

{\ displaystyle y_ {i} = \ beta _ {0} + \ beta _ {1} x_ {i1} + \ cdots + \ beta _ {p} x_ {ip} + \ varepsilon _ {i } = \ mathbf {x} _ {i} ^ {\ mathsf {T}} {\ boldsymbol {\ beta}} + \ varepsilon _ {i}, \ qquad i = 1, \ ldots, n,}

где обозначает транспонирование, так что xiβ- это внутренний продукт между деньми xiи β.

. Часто эти n уравнений складываются вместе и записываются в матричной нотации как

y = X β + ε, {\ displaystyle \ mathbf {y} = X {\ boldsymbol {\ beta}} + {\ boldsymbol {\ varepsilon}}, \,}

{\ displaystyle \ mathbf {y} = X {\ boldsymbol {\ beta}} + {\ boldsymbol {\ varepsilon}}, \,}

где

y = (y 1 y 2 ⋮ yn), {\ displaystyle \ mathbf {y} = {\ begin {pmatrix} y_ {1} \\ y_ { 2} \\\ vdots \\ y_ {n} \ end {pmatrix}}, \ quad}

\ mathbf {y} = {\ begin {pmatrix} y_ {1} \\ y_ {2} \\\ vdots \\ y_ {n} \ end {pmatrix}}, \ quad

Икс знак равно (Икс 1 T Икс 2 T ⋮ xn T) знак равно (1 x 11 ⋯ x 1 п 1 Икс 21 ⋯ Икс 2 п ⋮ ⋮ ⋱ ⋮ 1 xn 1 ⋯ xnp), {\ displaystyle X = {\ begin {pmatrix} \ mathbf {x} _ {1} ^ {\ mathsf {T}} \\\ mathbf { x} _ {2} ^ {\ mathsf {T}} \\\ vdots \\\ mathbf {x} _ {n} ^ {\ mathsf {T}} \ end {pmatrix}} = {\ begin {p matrix } 1 x_ {11} \ cdots x_ {1p} \\ 1 x_ {21} \ cdots x_ {2p} \\\ vdots \ vdots \ ddots \ vdots \\ 1 x_ { n1} \ cdots x_ {np} \ end {pmatrix}},}

{\ displaystyle X = {\ begin {pmatrix} \ mathbf {x} _ {1} ^ {\ mathsf {T}} \\\ mathbf {x} _ {2} ^ {\ mathsf {T}} \\\ vdots \\\ mathbf {x} _ {n} ^ {\ mathsf {T}} \ end {pmatrix}} = {\ begin {pmatrix} 1 x_ {11} \ cdots x_ {1p} \\ 1 x_ {21} \ cdots x_ {2p} \\\ vdots \ vdots \ ddots \ vdots \ \ 1 x_ {n1} \ cdots x_ {np} \ end {pmatrix}},}

β = (β 0 β 1 β 2 β p), ε = (ε 1 ε 2 ⋮ ε n). {\ displaystyle {\ boldsymbol {\ beta}} = {\ begin {pmatrix} \ beta _ {0} \\\ beta _ {1} \\\ beta _ {2} \\\ vdots \\\ beta _ { p} \ end {pmatrix}}, \ quad {\ boldsymbol {\ varepsilon}} = {\ begin {pmatrix} \ varepsilon _ {1} \\\ varepsilon _ {2} \\\ vdots \\\ varepsilon _ { n} \ end {pmatrix}}.}

{\ displaystyle {\ boldsymbol {\ beta}} = {\ begin {pmatrix} \ beta _ {0} \\\ beta _ {1} \\\ beta _ {2} \\\ vdots \\\ beta _ { p} \ end {pmatrix}}, \ quad {\ boldsymbol {\ varepsilon}} = {\ begin {pmatrix} \ varepsilon _ {1} \\\ varepsilon _ {2} \\\ vdots \\\ varepsilon _ { n} \ end {pmatrix}}.}

Некоторые замечания по обозначениям и терминологии:

$y {\ displaystyle \ mathbf {y}}$ $\ mathbf {y}$ - вектор наблюдаемых $yi (i = 1,…, n) {\ displaystyle y_ {i} \ (i = 1, \ ldots, n)}$ ${\ displaystyle y_ {i} \ (я = 1, \ ldots, n)}$ стандартной, называемой регрессией, эндогенной переменной ответа, измеряемой переменной, критерия переменная или зависимая переменная. Эта переменная также иногда называется прогнозируемой переменной, которая обозначается как $y ^ {\ displaystyle {\ hat {y}}}$ ${\ hat {y}}$ . Решение о том, какая переменная в наборе данных моделируется как зависимая переменная, а какая - как независимая, может быть основана на предположении, что значение одной из переменных вызвано или находится под прямым другим другим. В качестве альтернативы, может быть операционная причина для моделирования одной из чисел в терминах других, и в этом случае не требуется презумпции причинной связи.
X {\ displaystyle X}можно рассматривать как матрица векторов-строк xi {\ displaystyle \ mathbf {x} _ {i}}или n-мерных векторов -столбцов X j {\ displaystyle X_ {j}}, которые известны как регрессоры, экзогенные переменные, объясняющие переменные, ковариаты, входные переменные, переменные-предикторы или независимые переменные (не путать с концепцией независимых случайных переменные ). Матрица X {\ displaystyle X}иногда называется матрицей плана.
- Обычно константа включается в качестве одного из регрессоров. В частности, $xi 0 = 1 {\ displaystyle \ mathbf {x} _ {i0} = 1}$ ${\ displaystyle \ mathbf {x} _ {i0} = 1}$ для $i = 1,…, n {\ displaystyle i = 1, \ ldots, n}$ $я = 1, \ ldots, n$ . Соответствующий элемент β называется точечным пересечением . Многие процедуры статистических выводов для линейных моделей требуют точки рассмотрения, поэтому ее часто включают, даже если теоретические предположения предполагают, что ее значение должно быть равно нулю.
- Иногда один из регрессоров может быть дополнительной функцией другого регрессора или данных, как в полиномиальной регрессии и сегментированной регрессии. Модель остается линейной до тех пор, пока она линейна по вектору параметров β.
- . Значения x ij можно рассматривать либо как наблюдаемые значения случайных величин Xj, либо как фиксированные значения, выбранные до наблюдения за зависимой переменной. Обе интерпретации могут быть уместными в разных случаях и обычно приводят к одинаковым процедурам оценки; однако в этих двух ситуациях используются разные подходы к асимптотическому анализу.
$β {\ displaystyle {\ boldsymbol {\ beta}}}$ ${\ boldsymbol {\ beta}}$ - это $(p + 1) {\ displaystyle (p +1)}$ $(p + 1)$ -мерный вектор параметров, где $β 0 {\ displaystyle \ beta _ {0}}$ $\ beta _ {0}$ - член пересечения (если он включен в модель - в случае потери $β {\ displaystyle {\ boldsymbol {\ beta) }}}$ ${\ boldsymbol {\ beta}}$ п-мерно). Его элементы известны как эффекты или коэффициенты регрессии (хотя термин иногда используется для эффектов эффектов). Статистическая оценка и вывод в линейной регрессии фокусируется на β . Элементы этого инструмента интерпретируются как частные производные зависимой переменной по независимым переменным.
$ε {\ displaystyle {\ boldsymbol {\ varepsilon}}}$ ${\ displaystyle {\ boldsymbol {\ varepsilon}}}$ - значения вектора $ε i {\ displaystyle \ varepsilon _ {i}}$ $\ varepsilon _ {i}$ . Эта часть модели называется ошибкой, помехой или иногда шумом (в отличие от «сигнала», предоставляемого остальной частью модели). Эта переменная учитывает все другие факторы, влияющие на зависимую переменную y, кроме регрессоров x . Связь между формуочным членом и регрессорами, например их корреляцией, является решающим фактором прилировании модели линейной регрессии, поскольку она определит соответствующий метод оценки.

Подгонка линейной модели к модели данный набор данных обычно требует коэффициентов регрессии $β {\ displaystyle {\ boldsymbol {\ beta}}}$ ${\ boldsymbol {\ beta}}$ так, чтобы член ошибки $ε = y - Икс β {\ displaystyle {\ boldsymbol {\ varepsilon}} = \ mathbf {y} -X {\ boldsymbol {\ beta}}}$ ${\ displaystyle {\ boldsymbol {\ varepsilon}} = \ mathbf {y} -X {\ boldsymbol {\ beta}}}$ свернуто. Например, обычно используется сумма квадратов ошибок $| | ε | | {\ displaystyle || {\ boldsymbol {\ varepsilon}} ||}$ ${\ displaystyle || {\ boldsymbol {\ varepsilon}} ||}$ как качество подгонки.

Пример . Рассмотрим ситуацию, когда маленький шарик подбрасывается в воздух, а затем мы измеряем высоту его подъема h i в различные моменты времени t i. Физика говорит нам, что, игнорируя сопротивление, можно смоделировать как

hi = β 1 ti + β 2 ti 2 + ε i, {\ displaystyle h_ {i} = \ beta _ {1} t_ {i} + \ beta _ {2} t_ {i} ^ {2} + \ varepsilon _ {i},}

h_ {i} = \ beta _ {1} t_ {i} + \ beta _ {2} t_ {i} ^ {2} + \ varepsilon _ {i},

где β 1 определяет начальную скорость мяча, β 2 пропорционально стандартной плотности, а ε i возникает из-за ошибок измерения. Линейная регрессия может быть ине для оценки значений β 1 и β 2 по измеренным данным. Эта модель но нелинейна по временной переменной, линейна по параметрам β 1 и β 2 ; если взять регрессоры xi= (x i1, x i2) = (t i, t i), модель принимает стандартный вид

hi = xi T β + ε i. {\ displaystyle h_ {i} = \ mathbf {x} _ {i} ^ {\ mathsf {T}} {\ boldsymbol {\ beta}} + \ varepsilon _ {i}.}

{\ displaystyle h_ {i} = \ mathbf {x} _ {i} ^ {\ mathsf {T}} {\ boldsymbol {\ beta}} + \ varepsilon _ {i}.}

Допущения

Стандартные модели линейной регрессии со стандартными методами оценки делают ряд предположений относительно числа-предикторов, числа отклика и их взаимосвязи. Было разработано множество расширений, которые позволяют ослабить из этих предположений полностью исключить. Обычно эти расширения делают оценки более сложной и трудоемкой, а также могут потребовать больше данных для создания столь же точной модели.

Пример кубической полиномиальной регрессии, которая представляет собой тип линейной регрессии.

Ниже приведены основные допущения, полученные стандартными моделями линейной регрессии со стандартными методами оценки (например, обычным методом наименьших квадратов ):

Слабая экзогенность . По сути, это означает, что переменные-предикторы x можно рассматривать как фиксированные значения, а не как случайные величины. Это, например, что означает, что переменные-предикторы не содержат ошибок, то есть не содержат ошибок измерения. Хотя это предположение нереально во многих условиях, отказ от него приводит к значительно более сложным моделям ошибок в чисел.
Линейность . Это означает, что среднее значение переменной представляет собой ответ линейную комбинацию параметров (коэффициентов регрессии) и чисел-предикторов. Обратите внимание, что это предположение гораздо менее ограниченно, чем может показаться на первый взгляд. Временные переменные-предикторы обрабатываются как фиксированные значения (см. Выше), линейность на самом деле является ограничением для параметров. Сами переменные-предикторы произвольно преобразовать, и фактически можно добавить несколько копий одной и той же основной-предиктора, причем каждая из них будет преобразована по-разному. Этот метод используется, например, в полиномиальной регрессии, которая использует линейную регрессию для подбора ответа как произвольной полиномиальной функции (до заданного ранга) стандарт-предиктора. Обладая такой большой гибкостью, такие модели, как полиномиальная регрессия, часто обладают «слишком большой мощностью», имеют тенденцию переобучать данные. В результате первой инстанции какая-то предотвращение появления необоснованных решений в процессе оценки. Типичными примерами являются регрессия гребня и регрессия лассо. Также местная линейная регрессия, которая по своей природе более или менее защищена от проблемы переобучения. (Фактически, гребенчатая регрессия и лассо-регрессия рассматриваться как частные случаи байесовской линейной регрессии, с определенными типами предшествующих распределений, помещенных на коэффициенты регрессии.)
Постоянная дисперсия (также известная как гомоскедастичность ). Это, что разные значения отличаются друг от друга означает дисперсию в своих ошибках, независимо от чисел-предикторов. На практике это предположение неверно (т. Е. Ошибки гетероскедастические ), если переменная ответа может варьироваться в широких пределах. Чтобы проверить неоднородную дисперсию ошибок или когда образецнарушает допущения модели о гомоскедастичности (ошибка одинаково оценивается вокруг «линии наилучшего совпадения» для всех точек x), разумно искать «эффект веером» между остаточной ошибкой и прогнозируемыми значениями. Гетероскедастичность к усреднению различных отклонений вокруг точек, чтобы получить единственное усреднению различных отклонений вокруг точек, чтобы получить единственное представление всех отклонений линии, систематическое изменение абсолютных или квадратичных при нанесении на график против прогнозных чисел. разбросанными на их предсказанные графики для больших и меньших значений для точек вдоль линии линейной регрессии, и среднеквадратическая ошибка для модели будет неправильной. Обычно, например, переменная отклика, среднее значение которой велико, будет иметь большую дисперсию., чем переменная, среднее значение которой мало. Например, данное лицо, чей доход прогнозируется в размере 100 000 долларов, может легко иметь фактический доход в размере 80 000 или 120 000 долларов (стандартное отклонение около 20 000 долларов), в то время как другой человек с прогнозируемым доходом в 10 000 долларов не может быть такое же стандартное отклонение в 20 000 долларов, что означает, что их фактический доход будет от -10 000 до 30 000 долларов. (Фактически, как это показывает, во многих случаях, когда допущение нормально распределенных ошибок не выполняется - дисперсию или стандартное отклонение следует прогнозировать как пропорциональные среднему значению, а не константе.) Простые методы оценки линейной регрессии. вводят точные значения менее, такие как стандартные ошибки, когда присутствует значительная гетероскедастичность. Однако различные оценки (например, взвешенные наименьшие квадраты и стандартные методы, согласованные с гетероскедастичностью ) могут обрабатывать гетероскедастичность довольно общим образом. Байесовская линейная регрессия также инстанция, когда я обязана, что дисперсия функция среднего значения. В некоторых случаях также возможно решить проблему, применив преобразование к альтернативному ответу (например, подгонка логарифма альтернативного ответа с помощью модели линейной регрессии, что означает, что переменная логарифмически-нормальное распределение, а не нормальное распределение ).
Независимость ошибок друг. Это предполагает, что ошибки измерения отклика не коррелированы с другом. (Фактическая статистическая независимость является более сильным условием, чем простое отсутствие корреляции, и часто не требуется, хотя его можно использовать, если известно, что оно выполняется.) Некоторые методы (например, обобщенный метод наименьших квадратов ) способны обрабатывать коррелированные ошибки, хотя обычно для них требуется значительно больше данных, если не используется какая-то регуляризация для смещения модели в сторону допущения некоррелированных ошибок. Байесовская линейная регрессия является общим с пособом решения этой проблемы.
Отсутствие идеальной мультиколлинеарности в е предикторы. Для стандартных методов оценки наименьших квадратов матрица плана X должна иметь полный ранг столбца p; в противном случае мы имеем условие, известное как идеальная мультиколлинеарность в переменных-предикторах. Это может быть вызвано наличием двух или более идеально коррелированных переменных-предикторов (например, если одна и та же переменная-предиктор ошибочно задана дважды, либо без преобразования одной из копий, либо путем линейного преобразования одной из копий). Это также может произойти, если данных слишком мало по сравнению с количеством параметров, которые необходимо оценить (например, меньше точек данных, чем коэффициенты регрессии). В случае идеальной мультиколлинеарности вектор параметров β будет неидентифицируемым - у него нет однозначного решения. В лучшем случае мы сможем идентифицировать некоторые параметры, т.е. сузить его значение до некоторого линейного подпространства R . См. регрессию частичных наименьших квадратов. Разработаны методы аппроксимации линейных моделей с мультиколлинеарностью; для некоторых требуются дополнительные допущения, такие как «разреженность эффекта» - что большая часть эффектов равна нулю.. Обратите внимание, что более затратные в вычислительном отношении итерационные алгоритмы для оценки параметров, такие как те, которые используются в обобщенных линейных моделях, не страдают от этой проблемы.

Помимо этих предположений, несколько других статистических свойств данных сильно влияют на производительность различных методов оценки:

Статистическая взаимосвязь между членами ошибки и регрессорами играет важную роль в определение того, имеет ли процедура оценки желаемые свойства выборки, такие как несмещенность и согласованность.
Расположение или распределение вероятностей переменных-предикторов x имеет большое влияние натого, процесс байесовской оценки дает не единичную точечную оценку «лучших» значений коэффициентов регрессии, полное апостериорное распределение, полностью описывающее неопределенность, известность. Это можно использовать для оценки «лучших» коэффициентов с использованием значений, режима, медианы, любого среднего квантиля (см. квантильная регрессия ) или любой другой функции апостериорного распределения.
Квантильная регрессия фокусируется на условных квантилях y при данном X, а не на условном среднем значении y при данном X. Линейная квантильная регрессия моделирует конкретный условный квантиль, например условную медиану, как линейную функцию βx предикторов.
Смешанный модели широко используются для анализа взаимосвязей линейной регрессии, включающих зависимые данные, когда зависимость имеют известную структуру. Общие применения смешанных моделей включают анализ данных, включающих повторные измерения, такие как продольные данные или данные, полученные в результате кластерной выборки. Обычно они подходят как параметры модели с использованием правдоподобия или байесовской оценки. В случае, когда ошибки моделируются как нормальные случайные величины, существует тесная связь между смешанными моделями и обобщенными методами наименьших квадратов. Оценка фиксированных эффектов является альтернативным подходом к анализу этого типа данных.
Регрессия главных компонентов (PCR) используется, когда существует количество-предикторов велико или когда между переменными-предикторами существует сильная корреляция. Эта двухэтапная процедура сначала уменьшает переменные-предикторы с помощью анализа главных компонентов, а затем использует сокращенные переменные в подгонке регрессии OLS. Это часто хорошо работает на практике, нет общей теоретической причины, по которой используется наиболее информативная линейная функция числа-предикторов, находящихся среди доминирующих главных компонентов распределения переменных распределения-предикторов. частичная регрессия наименьших квадратов - это расширение метода ПЦР, которое не страдает указанным недостатком.
Регрессия наименьшего угла - это процедура оценки для моделей линейной регрессии, которая была разработана для многом обработки ковариатныхов, равным с большим вектором ковариат, чем наблюдений.
Оценка Тейла - Сена - это простая надежная оценка метод, который выбирает наклон линии аппроксимации в качестве медианы наклонов линий через пары точек выборки. Он имеет аналогичные эффективные простые линейной регрессии, но менее чувствителен к выбросам <557 свойства>Другие надежные методы, включая α-усеченное среднее и L-, M Были введены -, S- и R-оценки .

Приложения

Линейная регрессия широко используется в биологических, поведенческих и социальных науках для описания отношений между переменными. Он одним из самых важных инструментов, используемых в этих дисциплинах.

Линия тренда

A Линия тренда представляет тренд, долгосрочное движение в данных временных рядов после учета других компонентов. Он сообщает, увеличился или увеличился конкретный набор данных (например, ВВП, цены на нефть или акции на акции) за период времени. Линию тренда можно просто провести на глаз через набор точек данных, но более правильно их положение и наклон представлены с использованием статистических методов, как линейная регрессия. Линии обычно используются прямыми линиями, хотя в некоторых вариантах используются полиномы более высокой степени в зависимости от желаемой степени кривизны линии.

Линии тренда иногда используются в бизнес-аналитике для отображения изменений данных с течением времени. Преимущество этого заключается в простоте. Линии используются часто используемые для доказательства того, что конкретное действие или событие (например, обучение рекламная кампания) вызвали наблюдаемые изменения в конкретный момент времени. Это простой метод, не требующий контрольной группы, плана эксперимента или сложной техники анализа. Однако он отсутствовал возможности научной обоснованности в случаях, когда другие потенциальные изменения.

Эпидемиология

Ранние данные, связывающие курение табака со смертностью и заболеваемостью, были получены в обсервационных исследованийх с использованием регрессионного анализа. Чтобы уменьшить ложные корреляции при анализе данных наблюдений, исследователи обычно включают в свои регрессионные модели несколько дополнений к интересующей основной. Анализирующая модель, в которой можно использовать независимую финансовую отчетность, представляющую интересующее влияние на жизнь, измеряемую в годах, включить образование и доход в качестве независимых источников, что любое наблюдаемое влияние курения на модели. продолжительность жизни не из-за других социально-экономических факторов. Однако невозможно включить все возможные мешающие переменные в эмпирический анализ. Например, гипотетический ген может увеличить смертность, а также заставить людей больше курить. По этой причине рандомизированные контролируемые испытания часто могут дать более убедительные доказательства наблюдано-следственных связей, чем можно получить с помощью регрессионного анализа данных наблюдений. Когда проверенные эксперименты неосуществимы, варианты регрессионного анализа, такие как инструментальные переменные регрессия, экспериментальные оценки причинно-следственные связи на основе наблюдений.

Финансы

В модели ценообразования капитальных активов используется линейная регрессия, а также концепция бета для анализа и количественной оценки систематического риска инвестиций. Это связано с коэффициентом бета модели линейной регрессии, который связывает доход с доходностью всех рискованных активов.

Экономика

Линейная регрессия - преобладающий эмпирический инструмент в экономике. Например, он используется для прогнозирования расходов на потребление, расходов в основной капитал расходов, инвестиций в запасы, закупок экспорта страны, расходов на импорт, спрос на удержание ликвидных активов, спрос на рабочую силу и спрос на рабочую силу.

Экология

Результаты линейной регрессии применение в широком спектре приложений об окружающей среде. В Канаде Программа мониторинга воздействия на Европейскую среду использует статистический анализ рыб и исследования бентоса для воздействия стоков целлюлозных заводов или металлических рудников на водную экосистему.

Машинное обучение

Линейная регрессия играет важную роль в области искусственного интеллекта, например, машинного обучения. Алгоритм линейной регрессии является одним из фундаментальных алгоритмов контролируемого машинного обучения из-за его относительной простоты и хороших свойств.

История

Линейная регрессия методом наименьших квадратов, поскольку средство нахождения хорошей приблизительной линейной аппроксимации для точек набора было выполнено Лежандром (1805) и Гауссом ( 1809) для предсказания движения планет. Кетле отвечал за то, чтобы процедура широко известной и широко использовалась в социальных науках.

См. Также

Портал математики

Ссылки

Цитаты

Источники

Дальнейшее чтение

Педхазур, Элазар Дж. (1982). Множественная регрессия в поведенческих исследованиях: объяснение и прогноз (2-е изд.). Нью-Йорк: Холт, Райнхарт и Уинстон. ISBN 978-0-03-041760-3.
Матье Руо, 2013: Вероятность, статистика и оценка Глава 2: Линейная регрессия, линейная регрессия с полосами ошибок и нелинейная регрессия.
Национальная физическая лаборатория (1961). «Глава 1: Линейные уравнения и матрицы: прямые методы». Современные вычислительные методы. Заметки по прикладной науке. 16 (2-е изд.). Канцелярия Ее Величества.

Внешние ссылки

В Викиверсии есть учебные ресурсы по Линейной регрессии

В Викибуке Программирование на R есть страница по теме: Линейные модели

На Викискладе есть материалы, связанные с линейной регрессией.

регрессией наименьших квадратов, PhET Интерактивное моделирование, Университеторадо в Боулдере
Линейная подгонка DIY