Простая линейная регрессия

Закон Окуня в макроэкономике является примером простой линейной регрессии. Здесь предполагается, что зависимая переменная (рост ВВП) находится в линейной зависимости от изменений уровня безработицы.

В статистике, простая линейная регрессия - это модель линейной регрессии с единственной независимой переменной. То есть он касается двумерных точек выборки с одной независимой переменной и одной зависимой переменной (обычно координаты x и y в декартовой системе координат ) и находит линейную функцию ( невертикальная прямая ), которая с максимально возможной точностью предсказывает значения зависимой переменной как функцию независимой переменной. Прилагательное просто относится к тому факту, что переменная результата связана с одним предиктором.

Обычно делается дополнительное условие, что следует использовать метод наименьших квадратов (OLS): точность каждого предсказанного значения измеряется его квадратом невязки (расстояние по вертикали между точкой набора данных и подобранной линией), и цель состоит в том, чтобы как можно меньше сумма этих квадратов отклонений. Другие методы регрессии, которые можно использовать вместо обычных наименьших квадратов, включают наименьших абсолютных отклонений (минимизация суммы абсолютных значений остатков) и оценка Тейла – Сена (которая выбирает линию наклон которого представляет собой медиана наклонов, определенных парами точек выборки). Регрессия Деминга (суммарные наименьшие квадраты) также находит линию, которая соответствует набору двумерных точек выборки, но (в отличие от обычных наименьших квадратов, наименьших абсолютных отклонений и регрессии среднего наклона) на самом деле это не пример простой линейной регрессии, потому что она не разделяет координаты на одну зависимую и одну независимую переменные и потенциально может вернуть вертикальную линию как подходящую.

Остальная часть статьи предполагает обычную регрессию наименьших квадратов. В этом случае наклон подобранной линии равен корреляции между y и x, скорректированной на отношение стандартных отклонений этих переменных. Пересечение подобранной линии таково, что линия проходит через центр масс (x, y) точек данных.

• 1 Подгонка линии регрессии
  • 1.1 Интуитивное объяснение
  • 1.2 Простая линейная регрессия без члена пересечения (единственный регрессор)
• 2 Числовые свойства
• 3 Свойства на основе модели
  • 3.1 Беспристрастность
  • 3.2 Доверительные интервалы
  • 3.3 Допущение нормальности
  • 3.4 Асимптотическое предположение
• 4 Числовой пример
• 5 См. Также
• 6 Ссылки
• 7 Внешние ссылки

Рассмотрим функцию модели

$y\; =\; \alpha \; +\; \beta \; x,\; \{\backslash \; displaystyle\; y\; =\; \backslash \; alpha\; +\; \backslash \; beta\; x,\}$

, которая описывает линию с наклоном β и y-пересечение α. В общем, такая взаимосвязь может не соблюдаться в точности для большей части ненаблюдаемой совокупности значений независимых и зависимых переменных; мы называем ненаблюдаемые отклонения от приведенного выше уравнения ошибками. Предположим, мы наблюдаем n пар данных и называем их {(x i, y i), i = 1,..., n}. Мы можем описать лежащую в основе взаимосвязь между y i и x i с использованием этого члена ошибки ε i как

$y\; i\; =\; \alpha \; +\; \beta \; x\; i\; +\; \epsilon \; i.\; \{\backslash \; displaystyle\; y\_\; \{i\}\; =\; \backslash \; alpha\; +\; \backslash \; beta\; x\_\; \{i\}\; +\; \backslash \; varepsilon\; \_\; \{i\}.\}$

Эта связь между истинными (но ненаблюдаемыми) базовыми параметрами α и β и точками данных называется модель линейной регрессии.

Цель состоит в том, чтобы найти оценочные значения $\alpha \; ^\; \{\backslash \; displaystyle\; \{\backslash \; widehat\; \{\backslash \; alpha\}\}\}$и $\beta \; ^\; \{\backslash \; displaystyle\; \{\backslash \; widehat\; \{\backslash \; beta\}\}\}$для параметров α и β, которые в некотором смысле обеспечат "наилучшее" соответствие для точек данных. Как упоминалось во введении, в этой статье «наилучшее» соответствие будет пониматься как подход наименьших квадратов : линия, которая минимизирует сумму квадратов остатков $\epsilon \; ^\; i\; \{\backslash \; displaystyle\; \{\backslash \; widehat\; \{\backslash \; varepsilon\}\}\; \_\; \{i\}\}$(различия между фактическими и прогнозируемыми значениями зависимой переменной y), каждое из которых задается для любых значений параметров-кандидатов $\alpha \; \{\backslash \; displaystyle\; \backslash \; alpha\}$и $\beta \; \{\backslash \; displaystyle\; \backslash \; beta\}$,

$\epsilon \; ^\; i\; =\; yi\; -\; \alpha \; -\; \beta \; xi.\; \{\backslash \; displaystyle\; \{\backslash \; widehat\; \{\backslash \; varepsilon\}\}\; \_\; \{i\}\; =\; y\_\; \{i\}\; -\; \backslash \; alpha\; -\; \backslash \; beta\; x\_\; \{i\}.\}$

Другими словами, $\alpha \; ^\; \{\backslash \; displaystyle\; \{\backslash \; widehat\; \{\backslash \; alpha\}\}\}$и $\beta \; ^\; \{\backslash \; displaystyle\; \{\backslash \; widehat\; \{\backslash \; beta\}\}\}$решают следующую задачу минимизации:

$Найти\; min\; \alpha ,\; \beta \; Q\; (\alpha ,\; \beta ),\; если\; Q\; (\alpha ,\; \beta )\; =\; \sum \; i\; =\; 1\; n\; \epsilon \; ^\; i\; 2\; =\; \sum \; i\; =\; 1\; n\; (yi\; -\; \alpha \; -\; \beta \; xi)\; 2.\; \{\backslash \; displaystyle\; \{\backslash \; text\; \{Find\}\}\; \backslash \; min\; \_\; \{\backslash \; alpha,\; \backslash ,\; \backslash \; beta\}\; Q\; (\backslash \; alpha,\; \backslash \; beta),\; \backslash \; quad\; \{\backslash \; text\; \{for\}\}\; Q\; (\backslash \; alpha,\; \backslash \; beta)\; =\; \backslash \; сумма\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; \{\backslash \; widehat\; \{\backslash \; varepsilon\}\}\; \_\; \{i\}\; ^\; \{\backslash ,\; 2\}\; =\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; (y\_\; \{i\}\; -\; \backslash \; alpha\; -\; \backslash \; beta\; x\_\; \{i\})\; ^\; \{2\}\; \backslash .\}$

Расширяя, чтобы получить квадратичное выражение в $\alpha \; \{\backslash \; displaystyle\; \backslash \; alpha\}$и $\beta ,\; \{\backslash \; displaystyle\; \backslash \; beta,\}$мы можем получить значения $\alpha \; \{\backslash \; displaystyle\; \backslash \; alpha\}$и $\beta \; \{\backslash \; displaystyle\; \backslash \; beta\}$, которые минимизировать целевую функцию Q (эти минимизирующие значения обозначаются $\alpha \; ^\; \{\backslash \; displaystyle\; \{\backslash \; widehat\; \{\backslash \; alpha\}\}\}$и $\beta \; ^\; \{\backslash \; displaystyle\; \{\backslash \; widehat\; \{\backslash \; beta\}\; \}\}$):

$\alpha \; ^\; =\; y\; ¯\; -\; \beta \; ^\; x\; ¯,\; \beta \; ^\; =\; \sum \; i\; =\; 1\; n\; (xi\; -\; x\; ¯)\; (yi\; -\; y\; ¯)\; \sum \; i\; =\; 1\; n\; (xi\; -\; x\; ¯)\; 2\; =\; sx,\; ysx\; 2\; =\; rxysysx.\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{align\}\; \{\backslash \; widehat\; \{\backslash \; alpha\}\}\; =\; \{\backslash \; bar\; \{y\}\}\; -\; \{\backslash \; widehat\; \{\backslash \; beta\}\}\; \backslash ,\; \{\backslash \; bar\; \{x\}\},\; \backslash \backslash \; [5pt]\; \{\backslash \; widehat\; \{\backslash \; beta\}\}\; =\; \{\backslash \; frac\; \{\backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; (x\_\; \{i\}\; -\; \{\backslash \; bar\; \{x\}\})\; (y\_\; \{i\; \}\; -\; \{\backslash \; bar\; \{y\}\})\}\; \{\backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; (x\_\; \{i\}\; -\; \{\backslash \; bar\; \{x\}\})\; ^\; \{2\}\}\}\; \backslash \backslash \; [6pt]\; =\; \{\backslash \; frac\; \{s\_\; \{x,\; y\}\}\; \{s\_\; \{x\}\; ^\; \{2\}\}\}\; \backslash \backslash \; [5pt]\; =\; r\_\; \{xy\}\; \{\backslash \; frac\; \{s\_\; \{y\}\}\; \{s\_\; \{x\}\}\; \}.\; \backslash \backslash \; [6pt]\; \backslash \; end\; \{align\}\}\}$

Здесь мы ввели

• $x\; ¯\; \{\backslash \; displaystyle\; \{\backslash \; bar\; \{x\}\}\}$и $y\; ¯\; \{\; \backslash \; displaystyle\; \{\backslash \; bar\; \{y\}\}\}$как среднее значение x i и y i, соответственно
• rxyкак выборочная корреляция коэффициент между x и y
• sxи s y как нескорректированные стандартные отклонения выборки x и y
• $sx\; 2\; \{\backslash \; displaystyle\; s\_\; \{x\}\; ^\; \{\; 2\}\}$и $sx,\; y\; \{\backslash \; displaystyle\; s\_\; \{x,\; y\}\}$как выборочная дисперсия и выборочная ковариация соответственно

Подставив приведенные выше выражения для $\alpha \; ^\; \{\backslash \; displaystyle\; \{\backslash \; widehat\; \{\backslash \; alpha\}\}\}$и $\beta \; ^\; \{\backslash \; displaystyle\; \{\backslash \; widehat\; \{\backslash \; beta\}\; \}\}$в

$f\; =\; \alpha \; ^\; +\; \beta \; ^\; x,\; \{\backslash \; displaystyle\; f\; =\; \{\backslash \; widehat\; \{\backslash \; alpha\}\}\; +\; \{\backslash \; widehat\; \{\backslash \; beta\}\}\; x,\}$

дает

$f\; -\; y\; ¯\; sy\; =\; rxyx\; -\; x\; ¯\; sx.\; \{\backslash \; displaystyle\; \{\backslash \; frac\; \{f\; -\; \{\backslash \; bar\; \{y\}\}\}\; \{s\_\; \{y\}\}\}\; =\; r\_\; \{xy\}\; \{\backslash \; frac\; \{x\; -\; \{\backslash \; bar\; \{x\}\}\}\; \{s\_\; \{x\}\}\}.\}$

Это показывает, что r xy - это наклон линии регрессии для стандартизованных точек данных (и что эта линия проходит через начало координат).

Обобщая нотацию $x\; ¯\; \{\backslash \; displaystyle\; \{\backslash \; bar\; \{x\}\}\}$, мы можем написать горизонтальную полосу над выражением, чтобы указать среднее значение этого выражения за набор образцов. Например:

$x\; y\; ¯\; =\; 1\; n\; \sum \; i\; =\; 1\; n\; x\; i\; y\; i.\; \{\backslash \; displaystyle\; \{\backslash \; overline\; \{xy\}\}\; =\; \{\backslash \; frac\; \{1\}\; \{n\}\}\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; x\_\; \{i\}\; y\_\; \{i\}.\}$

Это обозначение позволяет нам краткая формула для r xy:

$rxy\; =\; xy\; ¯\; -\; x\; ¯\; y\; ¯\; (x\; 2\; ¯\; -\; x\; ¯\; 2)\; (y\; 2\; ¯\; -\; y\; ¯\; 2).\; \{\backslash \; displaystyle\; r\_\; \{xy\}\; =\; \{\backslash \; frac\; \{\{\backslash \; overline\; \{xy\}\}\; -\; \{\backslash \; bar\; \{x\}\}\; \{\backslash \; bar\; \{y\}\}\}\; \{\backslash \; sqrt\; \{\backslash \; left\; (\{\backslash \; overline\; \{x\; ^\; \{2\; \}\}\}\; -\; \{\backslash \; bar\; \{x\}\}\; ^\; \{2\}\; \backslash \; right)\; \backslash \; left\; (\{\backslash \; overline\; \{y\; ^\; \{2\}\}\}\; -\; \{\backslash \; bar\; \{y\}\}\; ^\; \{2\}\; \backslash \; right)\}\}\}.\}$

Коэффициент детерминации ("R в квадрате") равен $rxy\; 2\; \{\backslash \; displaystyle\; r\_\; \{xy\}\; ^\; \{2\}\}$, когда модель линейна с единственной независимой переменной. См. коэффициент корреляции образца для получения дополнительных сведений.

Интуитивное объяснение

Умножением всех элементов суммирования в числителе на: $(xi\; -\; x\; ¯)\; (xi\; -\; x\; ¯)\; =\; 1\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{\; выровнено\}\; \{\backslash \; frac\; \{(x\_\; \{i\}\; -\; \{\backslash \; bar\; \{x\}\})\}\; \{(x\_\; \{i\}\; -\; \{\backslash \; bar\; \{x\}\})\}\}\; =\; 1\; \backslash \; end\; \{align\}\}\}$(тем самым не меняя его):

$\beta \; ^\; =\; \sum \; i\; =\; 1\; n\; (xi\; -\; x\; ¯)\; (yi\; -\; y\; ¯)\; \sum \; i\; =\; 1\; n\; (xi\; -\; x\; ¯)\; 2\; =\; \sum \; i\; =\; 1\; n\; (xi\; -\; x\; ¯)\; 2\; \ast \; (yi\; -\; y\; ¯)\; (xi\; -\; x\; ¯)\; \sum \; я\; =\; 1\; n\; (xi\; -\; x\; ¯)\; 2\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{align\}\; \{\backslash \; widehat\; \{\backslash \; beta\}\}\; =\; \{\backslash \; frac\; \{\backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; (x\_\; \{i\}\; -\; \{\backslash \; bar\; \{x\}\})\; (y\_\; \{i\}\; -\; \{\backslash \; bar\; \{y\}\})\}\; \{\backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; (x\_\; \{i\}\; -\; \{\backslash \; bar\; \{x\}\})\; ^\; \{2\}\}\}\; =\; \{\backslash \; frac\; \{\backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; (x\_\; \{\; i\}\; -\; \{\backslash \; bar\; \{x\}\})\; ^\; \{2\}\; *\; \{\backslash \; frac\; \{(y\_\; \{i\}\; -\; \{\backslash \; bar\; \{y\}\})\}\; \{(x\_\; \{i\}\; -\; \{\backslash \; bar\; \{x\}\})\; \}\}\}\; \{\backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; (x\_\; \{i\}\; -\; \{\backslash \; bar\; \{x\}\})\; ^\; \{2\}\}\}\; \backslash \backslash \; [6pt]\; \backslash \; end\; \{align\}\}\}$

Мы видим, что наклон (тангенс угла) линии регрессии представляет собой средневзвешенное значение $(yi\; -\; y\; ¯)\; (xi\; -\; x\; ¯)\; \{\backslash \; displaystyle\; \{\backslash \; frac\; \{(y\_\; \{i\}\; -\; \{\; \backslash \; bar\; \{y\}\})\}\; \{(x\_\; \{i\}\; -\; \{\backslash \; bar\; \{x\}\})\}\}\}$это наклон (тангенс угла) линия, соединяющая i-ю точку со средним значением всех точек, взвешенная по $(xi\; -\; x\; ¯)\; 2\; \{\backslash \; displaystyle\; (x\_\; \{i\}\; -\; \{\backslash \; bar\; \{x\}\})\; ^\; \{2\}\}$, потому что чем дальше точка, тем она «важнее», потому что небольшие ошибки в ее положении меньше влияют на уклон, соединяющий ее с центральной точкой.

$\alpha \; ^\; =\; y\; ¯\; -\; \beta \; ^\; x\; ¯,\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{align\}\; \{\backslash \; widehat\; \{\backslash \; alpha\}\}\; =\; \{\backslash \; bar\; \{y\}\}\; -\; \{\backslash \; widehat\; \{\backslash \; beta\}\}\; \backslash ,\; \{\backslash \; bar\; \{x\}\},\; \backslash \backslash \; [5pt]\; \backslash \; end\; \{align\}\}\}$

Учитывая $\beta \; ^\; =\; tan\; \; (\theta )\; =\; dy\; /\; dx\; \to \; dy\; =\; dx\; \ast \; \beta \; ^\; \{\backslash \; displaystyle\; \{\backslash \; widehat\; \{\backslash \; beta\}\}\; =\; \backslash \; tan\; (\backslash \; theta)\; =\; dy\; /\; dx\; \backslash \; rightarrow\; dy\; =\; dx\; *\; \{\backslash \; widehat\; \{\backslash \; beta\}\}\}$с $\theta \; \{\backslash \; displaystyle\; \backslash \; theta\; \}$угол, под которым линия образует положительную ось x, мы имеем $yintersection\; =\; y\; ¯\; -\; dx\; \ast \; \beta \; ^\; =\; y\; ¯\; -\; dy\; \{\backslash \; displaystyle\; y\; \_\; \{\backslash \; rm\; \{correction\}\}\; =\; \{\; \backslash \; bar\; \{y\}\}\; -\; dx\; *\; \{\backslash \; widehat\; \{\backslash \; beta\}\}\; =\; \{\backslash \; bar\; \{y\}\}\; -\; dy\}$

Простая линейная регрессия без члена пересечения (единственный регрессор)

Иногда это подходит для принудительного прохождения линии регрессии через начало координат, поскольку предполагается, что x и y пропорциональны. Для модели без члена пересечения, y = βx, МНК-оценка для β упрощается до

$\beta \; ^\; =\; \sum \; i\; =\; 1\; nxiyi\; \sum \; i\; =\; 1\; nxi\; 2\; =\; xy\; ¯\; x\; 2\; ¯\; \{\backslash \; displaystyle\; \{\backslash \; widehat\; \{\backslash \; beta\}\}\; =\; \{\backslash \; frac\; \{\backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; x\_\; \{i\}\; y\_\; \{i\}\}\; \{\backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; x\_\; \{i\}\; ^\; \{2\}\; \}\}\; =\; \{\backslash \; frac\; \{\backslash \; overline\; \{xy\}\}\; \{\backslash \; overline\; \{x\; ^\; \{2\}\}\}\}\}$

Подстановка (x - h, y - k) вместо (x, y) дает регрессию через (h, k):

$\beta \; ^\; =\; (x\; -\; h)\; (y\; -\; k)\; ¯\; (x\; -\; h)\; 2\; ¯\; =\; xy\; ¯\; -\; kx\; ¯\; -\; hy\; ¯\; +\; hkx\; 2\; ¯\; -\; 2\; hx\; ¯\; +\; h\; 2\; =\; xy\; ¯\; -\; x\; ¯\; y\; ¯\; +\; (x\; ¯\; -\; h)\; (y\; ¯\; -\; k)\; x\; 2\; ¯\; -\; x\; ¯\; 2\; +\; (x\; ¯\; -\; h)\; 2\; =\; Cov\; \; (x,\; y)\; +\; (x\; ¯\; -\; час)\; (Y\; ¯\; -\; k)\; Вар\; \; (x)\; +\; (x\; ¯\; -\; h)\; 2,\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{align\}\; \{\backslash \; widehat\; \{\backslash \; beta\}\}\; =\; \{\backslash \; frac\; \{\backslash \; overline\; \{(xh)\; (yk)\}\}\; \{\backslash \; overline\; \{(xh)\; ^\; \{2\}\}\}\}\; \backslash \backslash \; [6pt]\; =\; \{\backslash \; frac\; \{\{\backslash \; overline\; \{xy\}\}\; -\; k\; \{\backslash \; bar\; \{x\}\}\; -\; h\; \{\; \backslash \; bar\; \{y\}\}\; +\; hk\}\; \{\{\backslash \; overline\; \{x\; ^\; \{2\}\}\}\; -\; 2h\; \{\backslash \; bar\; \{x\}\}\; +\; h\; ^\; \{2\}\}\}\; \backslash \backslash \; [6pt]\; =\; \{\backslash \; frac\; \{\{\; \backslash \; overline\; \{xy\}\}\; -\; \{\backslash \; bar\; \{x\}\}\; \{\backslash \; bar\; \{y\}\}\; +\; (\{\backslash \; bar\; \{x\}\}\; -\; h)\; (\{\backslash \; bar\; \{y\}\}\; -\; k)\}\; \{\{\backslash \; overline\; \{\; x\; ^\; \{2\}\}\}\; -\; \{\backslash \; bar\; \{x\}\}\; ^\; \{2\}\; +\; (\{\backslash \; bar\; \{x\}\}\; -\; h)\; ^\; \{2\}\}\}\; \backslash \backslash \; [6pt]\; =\; \{\backslash \; frac\; \{\backslash \; operator\; имя\; \{Cov\}\; (x,\; y)\; +\; (\{\backslash \; bar\; \{x\}\}\; -\; h)\; (\{\backslash \; bar\; \{y\}\}\; -\; k)\}\; \{\backslash \; operatorname\; \{Var\}\; (x)\; +\; (\{\backslash \; bar\; \{x\}\; \}\; -h)\; ^\; \{2\}\}\},\; \backslash \; end\; \{align\}\}\}$

где Cov и Var относятся к ковариации и дисперсии выборочных данных (без поправки на смещение).

Последняя форма выше демонстрирует, как перемещение линии от центра масс точек данных влияет на наклон.

1. Линия регрессии проходит через точку центра масс, $(x\; ¯,\; y\; ¯)\; \{\backslash \; displaystyle\; (\{\backslash \; bar\; \{x\}\},\; \backslash ,\; \{\backslash \; bar\; \{\; y\}\})\}$, если модель включает член перехвата (т. е. не принудительно проходит через начало координат).
2. Сумма остатков равна нулю, если модель включает член перехвата:

   $\sum \; я\; =\; 1\; N\; \epsilon \; ^\; i\; =\; 0.\; \{\backslash \; displaystyle\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; \{\backslash \; widehat\; \{\backslash \; varepsilon\}\}\; \_\; \{i\}\; =\; 0.\}$

3. остатки и значения x не коррелированы (независимо от того, есть ли в модели перехватывающий член), что означает:
   $\sum \; i\; =\; 1\; nxi\; \epsilon \; ^\; i\; =\; 0\; \{\backslash \; displaystyle\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{\; n\}\; x\_\; \{i\}\; \{\backslash \; widehat\; \{\backslash \; varepsilon\}\}\; \_\; \{i\}\; \backslash ;\; =\; \backslash ;\; 0\}$

Описание статистических свойств оценщиков простой линейной регрессии оценки требует использования статистической модели . Следующее основано на предположении о применимости модели, при которой оценки являются оптимальными. Также возможно оценить свойства при других предположениях, таких как неоднородность, но это обсуждается в другом месте.

Беспристрастность

Оценки $\alpha \; ^\; \{\backslash \; displaystyle\; \{\backslash \; widehat\; \{\backslash \; alpha\}\}\}$и $\beta \; ^\; \{\backslash \; displaystyle\; \{\backslash \; widehat\; \{\backslash \; beta\}\}\}$беспристрастны.

Формализовать В этом утверждении мы должны определить структуру, в которой эти оценки являются случайными величинами. Мы рассматриваем остатки ε i как случайные величины, полученные независимо от некоторого распределения с нулевым средним. Другими словами, для каждого значения x соответствующее значение y генерируется как средний отклик α + βx плюс дополнительная случайная величина ε, называемая членом ошибки, равная в среднем нулю. При такой интерпретации оценки методом наименьших квадратов $\alpha \; ^\; \{\backslash \; displaystyle\; \{\backslash \; widehat\; \{\backslash \; alpha\}\}\}$и $\beta \; ^\; \{\backslash \; displaystyle\; \{\backslash \; widehat\; \{\backslash \; beta\}\}\}$сами будут случайными величинами, средние значения которых будут равны «истинным значениям» α и β. Это определение беспристрастной оценки.

Доверительные интервалы

Формулы, приведенные в предыдущем разделе, позволяют вычислить точечные оценки α и β, то есть коэффициенты линии регрессии для данного набора данных. Однако эти формулы не говорят нам, насколько точны оценки, т.е. сколько оценок $\alpha \; ^\; \{\backslash \; displaystyle\; \{\backslash \; widehat\; \{\backslash \; alpha\}\}\}$и $\beta \; ^\; \{\backslash \; displaystyle\; \{\backslash \; widehat\; \{\backslash \; beta\}\}\}$варьируются от образца к образцу для указанного размера выборки. Доверительные интервалы были разработаны, чтобы дать правдоподобный набор значений для оценок, которые можно было бы получить, если повторить эксперимент очень большое количество раз.

Стандартный метод построения доверительных интервалов для коэффициентов линейной регрессии основывается на предположении нормальности, которое оправдано, если:

1. ошибки в регрессии нормально распределены (так- называется классическим предположением регрессии), или
2. количество наблюдений n достаточно велико, и в этом случае оценка приблизительно нормально распределена.

Последний случай оправдан центральной предельной теоремой.

Предположение о нормальности

При первом предположении, приведенном выше, о нормальности членов ошибки, оценка коэффициента наклона сама будет нормально распределена со средним β и дисперсией $\sigma \; 2\; /\; \sum \; (xi\; -\; х\; ¯)\; 2,\; \{\backslash \; Displaystyle\; \backslash \; sigma\; ^\; \{2\}\; \backslash \; left\; /\; \backslash \; sum\; (x\_\; \{i\}\; -\; \{\backslash \; bar\; \{x\}\})\; ^\; \{2\}\; \backslash \; right.,\}$где σ - дисперсия ошибочных членов (см. Доказательства с использованием обычных наименьших квадратов ). При этом сумма квадратов остатков Q распределяется пропорционально χ с n - 2 степенями свободы и независимо от $\beta \; ^\; \{\backslash \; displaystyle\; \{\backslash \; widehat\; \{\backslash \; beta\}\}\}$. Это позволяет нам построить значение t

$t\; =\; \beta \; ^\; -\; \beta \; s\; \beta \; ^\; \sim \; tn\; -\; 2,\; \{\backslash \; displaystyle\; t\; =\; \{\backslash \; frac\; \{\{\backslash \; widehat\; \{\backslash \; beta\}\}\; -\; \backslash \; beta\}\; \{s\_\; \{\; \backslash \; widehat\; \{\backslash \; beta\}\}\}\}\; \backslash \; \backslash \; sim\; \backslash \; t\_\; \{n-2\},\}$

где

$s\; \beta \; ^\; =\; 1\; n\; -\; 2\; \sum \; i\; =\; 1\; n\; \epsilon \; ^\; i\; 2\; \sum \; i\; =\; 1\; n\; (xi\; -\; x\; ¯)\; 2\; \{\backslash \; displaystyle\; s\; \_\; \{\backslash \; widehat\; \{\backslash \; beta\}\}\; =\; \{\backslash \; sqrt\; \{\backslash \; frac\; \{\{\backslash \; frac\; \{1\}\; \{n-2\}\}\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\; \}\; \{\backslash \; widehat\; \{\backslash \; varepsilon\}\}\; \_\; \{i\}\; ^\; \{\backslash ,\; 2\}\}\; \{\backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; (x\_\; \{i\}\; -\; \{\backslash \; bar\; \{x\}\})\; ^\; \{2\; \}\}\}\}\}$

- стандартная ошибка оценщика. $\beta \; ^\; \{\backslash \; displaystyle\; \{\backslash \; widehat\; \{\backslash \; beta\}\}\}$.

Это значение t имеет t Стьюдента - распределение с n - 2 степенями свободы. Используя его, мы можем построить доверительный интервал для β:

$\beta \; \in \; [\beta \; ^\; -\; s\; \beta \; ^\; tn\; -\; 2\; \ast ,\; \beta \; ^\; +\; s\; \beta \; ^\; tn\; -\; 2\; \ast ],\; \{\backslash \; displaystyle\; \backslash \; beta\; \backslash \; in\; \backslash \; left\; [\; \{\backslash \; widehat\; \{\backslash \; beta\}\}\; -\; s\; \_\; \{\backslash \; widehat\; \{\backslash \; beta\}\}\; t\_\; \{n-2\}\; ^\; \{*\},\; \backslash \; \{\backslash \; widehat\; \{\backslash \; beta\}\}\; +\; s\; \_\; \{\backslash \; widehat\; \{\backslash \; beta\}\}\; t\_\; \{\; n-2\}\; ^\; \{*\}\; \backslash \; right],\}$

на уровне достоверности (1 - γ), где $tn\; -\; 2\; \ast \; \{\backslash \; displaystyle\; t\_\; \{n-2\}\; ^\; \{*\}\}$- это $(1\; -\; \gamma \; 2)\; -й\; \{\backslash \; displaystyle\; \backslash \; scriptstyle\; \backslash \; left\; (1\; \backslash ;\; -\; \backslash ;\; \{\backslash \; frac\; \{\backslash \; gamma\}\; \{2\}\}\; \backslash \; right)\; \{\backslash \; text\; \{-th\; \}\}\}$квантиль распределения t n − 2. Например, если γ = 0,05, то уровень достоверности составляет 95%.

Аналогичным образом доверительный интервал для коэффициента пересечения α определяется как

$\alpha \; \in \; [\alpha \; ^\; -\; s\; \alpha \; ^\; tn\; -\; 2\; \ast ,\; \alpha \; ^\; +\; s\; \alpha \; ^\; tn\; -\; 2\; \ast ],\; \{\backslash \; displaystyle\; \backslash \; alpha\; \backslash \; in\; \backslash \; left\; [\{\backslash \; widehat\; \{\backslash \; alpha\}\}\; -\; s\; \_\; \{\backslash \; widehat\; \{\backslash \; alpha\}\}\; t\_\; \{n-2\}\; ^\; \{*\},\; \backslash \; \{\backslash \; widehat\; \{\backslash \; alpha\}\}\; +\; s\; \_\; \{\backslash \; widehat\; \{\backslash \; alpha\}\}\; t\_\; \{n-2\}\; ^\; \{*\}\; \backslash \; right],\}$

на уровне достоверности (1 - γ), где

$s\; \alpha \; ^\; =\; s\; \beta \; ^\; 1\; n\; \sum \; i\; =\; 1\; nxi\; 2\; знак\; равно\; 1\; n\; (n\; -\; 2)\; (\sum \; я\; =\; 1\; n\; \epsilon \; ^\; i\; 2)\; \sum \; я\; =\; 1\; nxi\; 2\; \sum \; я\; =\; 1\; n\; (xi\; -\; x\; ¯)\; 2\; \{\backslash \; displaystyle\; s\; \_\; \{\backslash \; widehat\; \{\backslash \; alpha\}\; \}\; =\; s\; \_\; \{\backslash \; widehat\; \{\backslash \; beta\}\}\; \{\backslash \; sqrt\; \{\{\backslash \; frac\; \{1\}\; \{n\}\}\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; x\_\; \{i\}\; ^\; \{2\}\}\}\; =\; \{\backslash \; sqrt\; \{\{\backslash \; frac\; \{1\}\; \{n\; (n-2)\}\}\; \backslash \; left\; (\backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; \{\backslash \; widehat\; \{\backslash \; varepsilon\}\}\; \_\; \{i\}\; ^\; \{\backslash ,\; 2\}\; \backslash \; right)\; \{\backslash \; frac\; \{\backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; x\_\; \{i\}\; ^\; \{2\}\}\; \{\backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; (x\_\; \{i\}\; -\; \{\backslash \; bar\; \{x\}\})\; ^\; \{2\}\}\}\}\}\}$

Американская регрессия «изменения безработицы - рост ВВП» с 95% доверительными диапазонами.

Доверительные интервалы для α и β дают нам общее представление где эти коэффициенты регрессии наиболее вероятны. Например, в приведенной здесь регрессии закона Окуня точечные оценки равны

$\alpha \; ^\; =\; 0,859,\; \beta \; ^\; =\; -\; 1,817.\; \{\backslash \; displaystyle\; \{\backslash \; widehat\; \{\backslash \; alpha\}\}\; =\; 0,859,\; \backslash \; qquad\; \{\backslash \; widehat\; \{\backslash \; beta\}\}\; =\; -\; 1,817.\}$

95% доверительный интервал для этих оценок:

$\alpha \; \in \; [0,76,\; 0,96\; ],\; \beta \; \in \; [-\; 2,06,\; -\; 1,58].\; \{\backslash \; displaystyle\; \backslash \; alpha\; \backslash \; in\; \backslash \; left\; [\backslash ,\; 0.76,0.96\; \backslash \; right],\; \backslash \; qquad\; \backslash \; beta\; \backslash \; in\; \backslash \; left\; [-2.06,\; -1.58\; \backslash ,\; \backslash \; right].\}$

Для графического представления этой информации, в виде доверительных полос вокруг линии регрессии, нужно действовать осторожно и учитывать совместное распределение оценок. Можно показать, что на уровне достоверности (1 - γ) доверительный интервал имеет гиперболический вид, задаваемый уравнением

$(\alpha \; +\; \beta \; \xi )\; \in \; [\alpha \; ^\; +\; \beta \; ^\; \xi \; \pm \; tn\; -\; 2\; \ast \; (1\; n\; -\; 2\; {\rm E}\; ^\; i\; 2)\; \cdot \; (1\; n\; +\; (\xi \; -\; x\; ¯)\; 2\; \sum \; (xi\; -\; x\; ¯)\; 2)].\; \{\backslash \; Displaystyle\; (\backslash \; альфа\; +\; \backslash \; бета\; \backslash \; xi)\; \backslash \; in\; \backslash \; left\; [\backslash ,\; \{\backslash \; widehat\; \{\backslash \; alpha\}\}\; +\; \{\backslash \; widehat\; \{\backslash \; beta\}\}\; \backslash \; xi\; \backslash \; pm\; t\_\; \{n-2\}\; ^\; \{*\}\; \{\backslash \; sqrt\; \{\backslash \; left\; (\{\backslash \; frac\; \{1\}\; \{n-2\}\}\; \backslash \; sum\; \{\backslash \; widehat\; \{\backslash \; varepsilon\}\}\; \_\; \{i\}\; ^\; \{\backslash ,\; 2\}\; \backslash \; right)\; \backslash \; cdot\; \backslash \; left\; (\{\backslash \; frac\; \{1\}\; \{n\}\}\; +\; \{\backslash \; frac\; \{(\backslash \; xi\; -\; \{\backslash \; bar\; \{x\}\})\; ^\; \{2\}\}\; \{\backslash \; sum\; (x\_\; \{i\}\; -\; \{\backslash \; bar\; \{x\}\})\; ^\; \{2\}\; \}\}\; \backslash \; right)\}\}\; \backslash ,\; \backslash \; right].\}$

Асимптотическое предположение

Альтернативное второе предположение гласит, что когда количество точек в наборе данных «достаточно велико», закон больших чисел и центральная предельная теорема становятся применимыми, и тогда распределение оценок становится приблизительно нормальным. При этом предположении все формулы, полученные в предыдущем разделе, остаются в силе, за единственным исключением, что квантиль t * n − 2 распределения Стьюдента t заменяется квантилем q * стандартное нормальное распределение. Иногда дробь 1 / n − 2 заменяется на 1 / n. При большом n такое изменение существенно не меняет результаты.

Этот набор данных дает среднюю массу тела женщин как функцию их роста в выборке американских женщин в возрасте 30–39 лет. Хотя в статье OLS утверждается, что для этих данных было бы более подходящим запустить квадратичную регрессию, здесь вместо этого применяется простая модель линейной регрессии.

Высота (м), x i	1,47	1,50	1,52	1,55	1,57	1,60	1,63	1,65	1,68	1,70	1,73	1,75	1,78	1.80	1,83
Масса (кг), y i	52,21	53,12	54,48	55,84	57,20	58,57	59,93	61,29	63,11	64,47	66,28	68,10	69,92	72,19	74,46

$i\; \{\backslash \; displaystyle\; i\}$	$xi\; \{\backslash \; displaystyle\; x\_\; \{i\}\}$	$yi\; \{\backslash \; displaystyle\; y\_\; \{i\}\}$	$xi\; 2\; \{\backslash \; displaystyle\; x\_\; \{i\}\; ^\; \{2\}\}$	$xiyi\; \{\backslash \; displaystyle\; x\_\; \{i\}\; y\_\; \{i\}\}$	$yi\; 2\; \{\backslash \; displaystyle\; y\_\; \{i\}\; ^\; \{2\}\}$
1	1.47	52.21	2.1609	76.7487	2725.8841
2	1.50	53,12	2.2500	79.6800	2821.7344
3	1.52	54.48	2.3104	82.8096	2968.0704
4	1.55	55.84	2.4025	86.5520	3118.1056
5	1.57	57.20	2.4649	89.8040	3271.8400
6	1.60	58.57	2.5600	93.7120	3430.4449
7	1.63	59.93	2.6569	97.6859	3591.6049
8	1.65	61.29	2.7225	101.1285	3756.4641
9	1.68	63.11	2.8224	106.0248	3982.8721
10	1.70	64.47	2.8900	109.5990	4156.3809
11	1.73	66.28	2.9929	114.6644	4393.0384
12	1.75	68.10	3.0625	119.1750	4637.6100
13	1,78	69.92	3.1684	124.4576	4888.8064
14	1.80	72.19	3.2400	129.9420	5211.3961
15	1.83	74.46	3.3489	136.2618	5544.2916
$\Sigma \; \{\backslash \; displaystyle\; \backslash \; Sigma\}$	24,76	931.17	41.0532	1548.2453	58498.5439

В этом наборе данных n = 15 точек. Ручные вычисления будут начаты с нахождения следующих пяти сумм:

$S\; x\; =\; \sum \; xi\; =\; 24,76,\; S\; y\; =\; \sum \; yi\; =\; 931,17,\; S\; xx\; =\; \sum \; xi\; 2\; =\; 41,0532,\; S\; yy\; =\; \sum \; yi\; 2\; =\; 58498,5439,\; S\; ху\; =\; \sum \; xiyi\; =\; 1548.2453\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{выровнено\}\; S\_\; \{x\}\; =\; \backslash \; sum\; x\_\; \{i\}\; \backslash ,\; =\; 24,76,\; \backslash \; qquad\; S\_\; \{y\}\; =\; \backslash \; sum\; y\_\; \{i\}\; \backslash ,\; =\; 931,17,\; \backslash \backslash \; [5pt]\; S\_\; \{xx\}\; =\; \backslash \; sum\; x\_\; \{i\}\; ^\; \{2\}\; =\; 41.0532,\; \backslash ;\; \backslash ;\; \backslash ,\; S\_\; \{yy\}\; =\; \backslash \; sum\; y\_\; \{i\}\; ^\; \{2\}\; =\; 58498.5439,\; \backslash \backslash \; [5pt]\; S\_\; \{xy\}\; =\; \backslash \; sum\; x\_\; \{i\}\; y\_\; \{i\}\; =\; 1548.2453\; \backslash \; end\; \{align\}\}\}$

Эти величины будут использоваться для вычисления оценок коэффициентов регрессии и их стандартных ошибок.

$\beta \; ^\; =\; n\; S\; xy\; -\; S\; x\; S\; yn\; S\; xx\; -\; S\; x\; 2\; =\; 61,272\; \alpha \; ^\; =\; 1\; n\; S\; y\; -\; \beta \; ^\; 1\; n\; S\; x\; =\; -\; 39,062\; с\; \epsilon \; 2\; =\; 1\; n\; (n\; -\; 2)\; [n\; S\; yy\; -\; S\; y\; 2\; -\; \beta \; ^\; 2\; (n\; S\; xx\; -\; S\; x\; 2)]\; =\; 0,5762\; с\; \beta \; ^\; 2\; =\; ns\; \epsilon \; 2\; n\; S\; xx\; -\; S\; x\; 2\; =\; 3,1539\; с\; \alpha \; ^\; 2\; =\; s\; \beta \; ^\; 2\; 1\; n\; S\; xx\; =\; 8,63185\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{align\}\; \{\backslash \; widehat\; \{\backslash \; beta\}\}\; =\; \{\backslash \; frac\; \{nS\_\; \{xy\}\; -S\_\; \{x\}\; S\_\; \{y\}\}\; \{nS\_\; \{xx\}\; -S\_\; \{x\}\; ^\; \{2\}\}\}\; =\; 61,272\; \backslash \backslash \; [8pt]\; \{\backslash \; widehat\; \{\backslash \; alpha\}\}\; =\; \{\backslash \; frac\; \{1\}\; \{n\}\}\; S\_\; \{y\}\; -\; \{\backslash \; widehat\; \{\backslash \; beta\}\}\; \{\; \backslash \; frac\; \{1\}\; \{n\}\}\; S\_\; \{x\}\; =\; -\; 39,062\; \backslash \backslash \; [8pt]\; s\; \_\; \{\backslash \; varepsilon\}\; ^\; \{2\}\; =\; \{\backslash \; frac\; \{1\}\; \{n\; (n-2)\}\}\; \backslash \; left\; [\; nS\_\; \{yy\}\; -S\_\; \{y\}\; ^\; \{2\}\; -\; \{\backslash \; widehat\; \{\backslash \; beta\}\}\; ^\; \{2\}\; (nS\_\; \{xx\}\; -S\_\; \{x\}\; ^\; \{2\})\; \backslash \; right]\; =\; 0,5762\; \backslash \backslash \; [8pt\; ]\; s\; \_\; \{\backslash \; widehat\; \{\backslash \; beta\}\}\; ^\; \{2\}\; =\; \{\backslash \; frac\; \{ns\; \_\; \{\backslash \; varepsilon\}\; ^\; \{2\}\}\; \{nS\_\; \{xx\}\; -S\_\; \{x\}\; ^\; \{2\}\}\}\; =\; 3,1539\; \backslash \backslash \; [8pt]\; s\; \_\; \{\backslash \; widehat\; \{\backslash \; alpha\}\}\; ^\; \{2\}\; =\; s\; \_\; \{\backslash \; widehat\; \{\backslash \; beta\}\}\; ^\; \{2\}\; \{\backslash \; frac\; \{1\}\; \{n\}\}\; S\_\; \{xx\}\; =\; 8,63185\; \backslash \; end\; \{\; выровнено\}\}\}$

График точек и линий наименьших квадратов в числовом примере простой линейной регрессии

Квантиль t-распределения Стьюдента 0,975 с 13 степенями свободы равен t 13 = 2,1604, и, таким образом, 95% доверительные интервалы для α и β равны

$\alpha \; \in \; [\alpha \; ^\; \mp \; t\; 13\; \ast \; s\; \alpha ]\; =\; [-\; 45,4,\; -\; 32,7]\; \beta \; \in \; [\beta \; ^\; \mp \; t\; 13\; \ast \; s\; \beta ]\; =\; [57,4,\; 65,1]\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{align\}\; \backslash \; alpha\; \backslash \; in\; [\backslash ,\; \{\backslash \; widehat\; \{\backslash \; alpha\}\}\; \backslash \; mp\; t\_\; \{13\}\; ^\; \{*\}\; s\; \_\; \{\backslash \; alpha\}\; \backslash ,]\; =\; [\backslash ,\; \{-\; 45.4\},\; \backslash \; \{-32.7\}\; \backslash ,]\; \backslash \backslash \; [5pt]\; \backslash \; beta\; \backslash \; in\; [\backslash ,\; \{\backslash \; widehat\; \{\backslash \; beta\}\}\; \backslash \; mp\; t\_\; \{13\}\; ^\; \{*\}\; s\; \_\; \{\backslash \; beta\}\; \backslash ,]\; =\; [\backslash ,\; 57.4,\; \backslash \; 65.1\; \backslash ,]\; \backslash \; end\; \{align\}\}\}$

Также можно вычислить коэффициент корреляции продукт-момент :

$r\; ^\; =\; n\; S\; xy\; -\; S\; x\; S\; y\; (\; n\; S\; xx\; -\; S\; x\; 2)\; (n\; S\; yy\; -\; S\; y\; 2)\; =\; 0,9945\; \{\backslash \; displaystyle\; \{\backslash \; widehat\; \{r\}\}\; =\; \{\backslash \; frac\; \{nS\_\; \{xy\}\; -S\_\; \{x\}\; S\_\; \{y\}\}\; \{\backslash \; sqrt\; \{(nS\_\; \{xx\}\; -S\_\; \{x\}\; ^\; \{2\})\; (nS\_\; \{yy\}\; -S\_\; \{y\}\; ^\; \{2\})\}\}\}\; =\; 0.9945\}$

Этот пример также демонстрирует, что сложные вычисления не преодолеть использование плохо подготовленных данных. Первоначально высота была дана в дюймах и была преобразована в ближайший сантиметр. Поскольку преобразование привело к ошибке округления, это не точное преобразование. Исходные дюймы можно восстановить с помощью функции Round (x / 0,0254), а затем повторно преобразовать в метрическую систему без округления: если это будет сделано, результаты станут

$\beta \; ^\; =\; 61,6746,\; \alpha \; ^\; =\; -\; 39,7468.\; \{\backslash \; displaystyle\; \{\backslash \; widehat\; \{\backslash \; beta\}\}\; =\; 61.6746,\; \backslash \; qquad\; \{\backslash \; widehat\; \{\backslash \; alpha\}\}\; =\; -\; 39.7468.\}$

Таким образом, кажущееся небольшое изменение данных имеет реальный эффект.

• Матрица проекта # Простая линейная регрессия
• Аппроксимация линии
• Оценка линейного тренда
• Линейная сегментированная регрессия
• Доказательства с использованием обычного метода наименьших квадратов - вывод всех формул используется в этой статье в общем многомерном случае

• Объяснение Wolfram MathWorld аппроксимации методом наименьших квадратов и его вычислений
• Математика простой регрессии (Роберт Нау, Университет Дьюка)