Теорема Гаусса – Маркова

В статистике теорема Гаусса – Маркова утверждает, что Оценщик методом наименьших квадратов (МНК) имеет самую низкую дисперсию выборки в пределах класса из линейных несмещенных оценок, если ошибки в модели линейной регрессии являются некоррелированными, имеют равные дисперсии и нулевое математическое ожидание. Ошибки не обязательно должны быть нормальными, и они не должны быть независимыми и одинаково распределенными (только некоррелированными с нулевым средним и гомоскедастическими с конечной дисперсией). От требования о том, чтобы оценка была несмещенной, нельзя отказаться, поскольку существуют смещенные оценки с более низкой дисперсией. См., Например, оценку Джеймса – Стейна (которая также снижает линейность), регрессию гребня или просто любую вырожденную оценку.

Теорема была названа в честь Карла Фридриха Гаусса и Андрея Маркова, хотя работа Гаусса значительно предшествует Маркову. Но в то время как Гаусс получил результат в предположении независимости и нормальности, Марков привел предположения к изложенной выше форме. Дальнейшее обобщение несферических ошибок было дано Александром Эйткеном.

• 1 Утверждение
  • 1.1 Замечание
• 2 Доказательство
• 3 Замечания к доказательству
• 4 Обобщенная оценка методом наименьших квадратов
• 5 Теорема Гаусса – Маркова, сформулированная в эконометрике
  • 5.1 Линейность
  • 5.2 Строгая экзогенность
  • 5.3 Полный ранг
  • 5.4 Сферические ошибки
• 6 См. Также
  • 6.1 Другая объективная статистика
• 7 Ссылки
• 8 Дополнительная литература
• 9 Внешние ссылки

Предположим, у нас есть матричная запись,

$y\; \_\; =\; X\; \beta \; \_\; +\; \epsilon \; \_,\; (Y\; \_,\; \epsilon \; \_\; \in \; R\; N,\; \beta \; \_\; \in \; RK\; и\; X\; \in \; R\; n\; \times \; K)\; \{\backslash \; displaystyle\; \{\backslash \; underline\; \{y\}\}\; =\; X\; \{\backslash \; underline\; \{\backslash \; beta\}\}\; +\; \{\backslash \; underline\; \{\backslash \; varepsilon\}\},\; \backslash \; quad\; (\{\backslash \; underline\; \{y\}\},\; \{\backslash \; underline\; \{\backslash \; varepsilon\}\}\; \backslash \; in\; \backslash \; mathbb\; \{R\}\; ^\; \{n\},\; \{\backslash \; underline\; \{\backslash \; beta\}\}\; \backslash \; in\; \backslash \; mathbb\; \{R\}\; ^\; \{K\}\; \{\backslash \; text\; \{and\}\}\; X\; \backslash \; in\; \backslash \; mathbb\; \{R\}\; ^\; \{n\; \backslash \; times\; K\})\}$

расширение до,

$yi\; =\; \sum \; j\; =\; 1\; K\; \beta \; j\; X\; ij\; +\; \epsilon \; я\; \forall \; я\; знак\; равно\; 1,\; 2,\dots ,\; n\; \{\backslash \; displaystyle\; y\_\; \{i\}\; =\; \backslash \; sum\; \_\; \{j\; =\; 1\}\; ^\; \{K\}\; \backslash \; beta\; \_\; \{j\}\; X\_\; \{ij\}\; +\; \backslash \; varepsilon\; \_\; \{i\}\; \backslash \; quad\; \backslash для\; всех\; i\; =\; 1,2,\; \backslash \; ldots,\; n\}$

где $\beta \; j\; \{\backslash \; displaystyle\; \backslash \; beta\; \_\; \{j\}\}$неслучайны, но un наблюдаемые параметры, $X\; ij\; \{\backslash \; displaystyle\; X\_\; \{ij\}\}$неслучайны и наблюдаемы (так называемые «объясняющие переменные»), $\epsilon \; i\; \{\backslash \; displaystyle\; \backslash \; varepsilon\; \_\; \{i\}\}$случайны, поэтому $yi\; \{\backslash \; displaystyle\; y\_\; \{i\}\}$случайны. Случайные переменные $\epsilon \; i\; \{\backslash \; displaystyle\; \backslash \; varepsilon\; \_\; \{i\}\}$называются «возмущением», «шумом» или просто «ошибкой» (будет контрастировать с «остатком» позже в статью; см. ошибки и остатки в статистике ). Обратите внимание, что для включения константы в модель выше можно выбрать константу как переменную $\beta \; K\; +\; 1\; \{\backslash \; displaystyle\; \backslash \; beta\; \_\; \{K\; +\; 1\}\}$с новым введенным последний столбец X равен единице, т. е. $X\; i\; (K\; +\; 1)\; =\; 1\; \{\backslash \; displaystyle\; X\_\; \{i\; (K\; +\; 1)\}\; =\; 1\}$для всех $i\; \{\backslash \; displaystyle\; i\}$. Обратите внимание, что хотя $yi,\; \{\backslash \; displaystyle\; y\_\; \{i\},\}$в качестве примеров ответов можно наблюдать, следующие утверждения и аргументы, включая предположения, доказательства и другие, предполагают только в рамках условие знания $X\; ij,\; \{\backslash \; displaystyle\; X\_\; \{ij\},\}$, но не $yi.\; \{\backslash \; displaystyle\; y\_\; \{i\}.\}$

Допущения Гаусса-Маркова касаются набора случайных величин ошибок, $\epsilon \; i\; \{\backslash \; displaystyle\; \backslash \; varepsilon\; \_\; \{i\}\}$:

• Они имеют нулевое среднее значение: $E\; \; [\epsilon \; i]\; =\; 0.\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{E\}\; [\backslash \; varepsilon\; \_\; \{i\}]\; =\; 0.\}$
• Они гомоскедастические, что все имеют одинаковую конечную дисперсию: для всех $i\; \{\backslash \; displaystyle\; i\}$и
• различных терминов ошибок некоррелированы: $Cov\; (\epsilon \; i,\; \epsilon \; j)\; =\; 0,\; \forall \; i\; \ne \; j.\; \{\backslash \; displaystyle\; \{\backslash \; text\; \{Cov\}\}\; (\backslash \; varepsilon\; \_\; \{i\},\; \backslash \; varepsilon\; \_\; \{j\})\; =\; 0,\; \backslash \; forall\; i\; \backslash \; neq\; j.\}$

A линейная оценка из $\beta \; j\; \{\backslash \; displaystyle\; \backslash \; beta\; \_\; \{j\}\}$- линейная комбинация

$\beta \; ^\; j\; =\; c\; 1\; jy\; 1\; +\; \cdots \; +\; cnjyn\; \{\backslash \; displaystyle\; \{\backslash \; widehat\; \{\backslash \; beta\}\}\; \_\; \{j\}\; =\; c\_\; \{1j\}\; y\_\; \{1\}\; +\; \backslash \; cdots\; +\; c\_\; \{nj\}\; y\_\; \{n\}\}$

, в котором коэффициенты $cij\; \{\backslash \; displaystyle\; c\_\; \{ij\}\}$недопустимы зависеть от лежащих в основе коэффициентов $\beta \; j\; \{\backslash \; displaystyle\; \backslash \; beta\; \_\; \{j\}\}$, поскольку они не наблюдаются, но могут зависеть от значений $X\; ij\; \{\backslash \; displaystyle\; X\_\; \{ij\}\}$, поскольку эти данные наблюдаемы. (Зависимость коэффициентов от каждого $X\; ij\; \{\backslash \; displaystyle\; X\_\; \{ij\}\}$обычно нелинейна; оценка линейна для каждого $yi\; \{\backslash \; displaystyle\; y\_\; \{i\}\}$и, следовательно, в каждом случайном $\epsilon ,\; \{\backslash \; displaystyle\; \backslash \; varepsilon,\}$, поэтому это «линейная» регрессия.) Оценщик называется быть непредвзятымтогда и только тогда, когда

$E\; \; [\beta \; ^\; j]\; =\; \beta \; j\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{E\}\; \backslash \; left\; [\{\backslash \; widehat\; \{\backslash \; beta\}\}\; \_\; \{j\; \}\; \backslash \; right]\; =\; \backslash \; beta\; \_\; \{j\}\}$

независимо от значений $X\; ij\; \{\backslash \; displaystyle\; X\_\; \{ij\}\}$. Теперь пусть $\sum \; j\; =\; 1\; K\; \lambda \; j\; \beta \; j\; \{\backslash \; displaystyle\; \backslash \; sum\; \backslash \; nolimits\; \_\; \{j\; =\; 1\}\; ^\; \{K\}\; \backslash \; lambda\; \_\; \{j\}\; \backslash \; beta\; \_\; \{j\}\}$- некоторая линейная комбинация коэффициентов. Тогда среднеквадратичная ошибка соответствующей оценки равна

$E\; \; [(\sum \; j\; =\; 1\; K\; \lambda \; j\; (\beta \; ^\; j\; -\; \beta \; j))\; 2],\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{E\}\; \backslash \; left\; [\backslash \; left\; (\backslash \; sum\; \_\; \{j\; =\; 1\}\; ^\; \{K\}\; \backslash \; lambda\; \_\; \{j\}\; \backslash \; left\; (\{\backslash \; widehat\; \{\backslash \; beta\}\}\; \_\; \{j\}\; -\; \backslash \; beta\; \_\; \{\; j\}\; \backslash \; right)\; \backslash \; right)\; ^\; \{2\}\; \backslash \; right],\}$

другими словами, это математическое ожидание квадрата взвешенной суммы (по параметрам) разностей между оценками и соответствующими параметрами. по оценкам. (Поскольку мы рассматриваем случай, когда все оценки параметров несмещены, эта среднеквадратичная ошибка совпадает с дисперсией линейной комбинации.) Лучшая линейная несмещенная оценка (СИНИЙ) вектора $\beta \; \{\backslash \; displaystyle\; \backslash \; beta\}$параметров $\beta \; j\; \{\backslash \; displaystyle\; \backslash \; beta\; \_\; \{j\}\}$- параметр с наименьшей среднеквадратичной ошибкой для каждого вектора $\lambda \; \{\backslash \; displaystyle\; \backslash \; lambda\}$параметров линейной комбинации. Это эквивалентно условию, что

$Вар\; \; (\beta \; ~)\; -\; Вар\; \; (\beta \; ^)\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{Var\}\; \backslash \; left\; (\{\backslash \; widetilde\; \{\backslash \; beta\}\}\; \backslash \; right)\; -\; \backslash \; operatorname\; \{Var\; \}\; \backslash \; left\; (\{\backslash \; widehat\; \{\backslash \; beta\}\}\; \backslash \; right)\}$

- положительная полуопределенная матрица для любой другой линейной несмещенной оценки $\beta \; ~\; \{\backslash \; displaystyle\; \{\backslash \; widetilde\; \{\backslash \; beta\}\}\}$.

Оценщик методом наименьших квадратов (OLS) - это функция

$\beta \; ^\; =\; (X\; \prime \; X)\; -\; 1\; X\; \prime \; y\; \{\backslash \; displaystyle\; \{\backslash \; widehat\; \{\backslash \; beta\}\}\; =\; (X\; \text{'}\; X)\; ^\; \{-\; 1\}\; X\text{'}y\}$

из $y\; \{\backslash \; displaystyle\; y\}$и $X\; \{\backslash \; displaystyle\; X\}$(где $X\; \prime \; \{\backslash \; displaystyle\; X\; \text{'}\}$обозначает транспонирование из $X\; \{\backslash \; displaystyle\; X\}$), которое минимизирует сумму квадратов из остатков (ошибочное предсказание):

$\sum \; i\; =\; 1\; n\; (yi\; -\; y\; ^\; i)\; 2\; =\; \sum \; i\; =\; 1\; n\; (yi\; -\; \sum \; j\; =\; 1\; K\; \beta \; ^\; j\; X\; ij)\; 2.\; \{\backslash \; displaystyle\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; \backslash \; left\; (y\_\; \{i\}\; -\; \{\backslash \; widehat\; \{y\}\}\; \_\; \{i\}\; \backslash \; right)\; ^\; \{2\}\; =\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; \backslash \; left\; (y\_\; \{i\}\; -\; \backslash \; sum\; \_\; \{j\; =\; 1\}\; ^\; \{K\}\; \{\backslash \; widehat\; \{\backslash \; beta\}\}\; \_\; \{j\}\; X\_\; \{ij\}\; \backslash \; right)\; ^\; \{2\}.\}$

Теперь теорема утверждает, что МНК-оценка - СИНИЙ. Основная идея доказательства состоит в том, что оценка методом наименьших квадратов некоррелирована с любой линейной несмещенной оценкой нуля, то есть с любой линейной комбинацией $a\; 1\; y\; 1\; +\; \cdots \; +\; anyn\; \{\backslash \; displaystyle\; a\_\; \{1\}\; y\_\; \{1\; \}\; +\; \backslash \; cdots\; +\; a\_\; \{n\}\; y\_\; \{n\}\}$, коэффициенты которого не зависят от ненаблюдаемого $\beta \; \{\backslash \; displaystyle\; \backslash \; beta\}$, но ожидаемое значение которого всегда нуль.

Замечание

Доказательство того, что OLS действительно МИНИМИЗИРУЕТ сумму квадратов остатков, может действовать следующим образом с вычислением матрицы Гессе и демонстрацией того, что она положительно определена.

Функция MSE, которую мы хотим минимизировать, это

$f\; (\beta \; 0,\; \beta \; 1,\dots ,\; \beta \; p)\; =\; \sum \; i\; =\; 1\; n\; (yi\; -\; \beta \; 0\; -\; \beta \; 1\; xi\; 1\; -\; \cdots \; -\; \beta \; pxip)\; 2\; \{\backslash \; displaystyle\; f\; (\backslash \; beta\; \_\; \{0\},\; \backslash \; beta\; \_\; \{1\},\; \backslash \; dots,\; \backslash \; beta\; \_\; \{p\})\; =\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; (y\_\; \{i\}\; -\; \backslash \; beta\; \_\; \{0\}\; -\; \backslash \; beta\; \_\; \{1\}\; x\_\; \{i1\}\; -\; \backslash \; dots\; -\; \backslash \; beta\; \_\; \{p\}\; x\_\; \{ip\})\; ^\; \{2\}\}$

для модели множественной регрессии с переменными p. Первая производная равна

$dd\; \beta \; \to \; f\; =\; -\; 2\; XT\; (y\; \to \; -\; X\; \beta \; \to )\; =\; -\; 2\; [\sum \; i\; =\; 1\; n\; (yi\; -\; \cdots \; -\; \beta \; pxip)\; \sum \; i\; =\; 1\; nxi\; 1\; (yi\; -\; \cdots \; -\; \beta \; pxip)\; ⋮\; \sum \; я\; =\; 1\; nxip\; (yi\; -\; \cdots \; -\; \beta \; pxip)]\; =\; 0\; \to \; p\; +\; 1\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{align\}\; \{\backslash \; frac\; \{d\}\; \{d\; \{\backslash \; overrightarrow\; \{\backslash \; beta\}\}\; \}\}\; f\; =\; -\; 2X\; ^\; \{T\}\; (\{\backslash \; overrightarrow\; \{y\}\}\; -\; X\; \{\backslash \; overrightarrow\; \{\backslash \; beta\}\})\; \backslash \backslash \; =\; -\; 2\; \{\backslash \; begin\; \{bmatrix\}\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; (y\_\; \{i\}\; -\; \backslash \; dots\; -\; \backslash \; beta\; \_\; \{p\}\; x\_\; \{ip\})\; \backslash \backslash \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; x\_\; \{i1\}\; (y\_\; \{i\}\; -\; \backslash \; dots\; -\; \backslash \; beta\; \_\; \{p\}\; x\_\; \{ip\})\; \backslash \backslash \backslash \; vdots\; \backslash \backslash \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; x\_\; \{ip\}\; (y\_\; \{i\}\; -\; \backslash \; dots\; -\; \backslash \; beta\; \_\; \{p\}\; x\_\; \{\; ip\})\; \backslash \; end\; \{bmatrix\}\}\; \backslash \backslash \; =\; \{\backslash \; overrightarrow\; \{0\}\}\; \_\; \{p\; +\; 1\}\; \backslash \; end\; \{align\}\}\}$

, где X - матрица плана

$X\; =\; [1\; x\; 11\dots \; x\; 1\; p\; 1\; x\; 21\dots \; x\; 2\; p\dots \; 1\; xn\; 1\dots \; xnp]\; \in \; R\; n\; \times \; (p\; +\; 1);\; п\; ⩾\; п\; +\; 1\; \{\backslash \; Displaystyle\; X\; =\; \{\backslash \; begin\; \{bmatrix\}\; 1\; x\_\; \{11\}\; \backslash \; dots\; x\_\; \{1p\}\; \backslash \backslash \; 1\; x\_\; \{21\}\; \backslash \; dots\; x\_\; \{2p\}\; \backslash \backslash \; \backslash \; dots\; \backslash \backslash \; 1\; x\_\; \{n1\; \}\; \backslash \; dots\; x\_\; \{np\}\; \backslash \; end\; \{bmatrix\}\}\; \backslash \; in\; \backslash \; mathbb\; \{R\}\; ^\; \{n\; \backslash \; times\; (p\; +\; 1)\};\; \backslash \; qquad\; n\; \backslash \; geqslant\; p\; +\; 1\}$

Гессен матрица вторых производных:

$H\; =\; 2\; [n\; \sum \; i\; =\; 1\; nxi\; 1\dots \; \sum \; i\; =\; 1\; nxip\; \sum \; i\; =\; 1\; nxi\; 1\; \sum \; i\; =\; 1\; nxi\; 1\; 2\dots \; \sum \; i\; =\; 1\; nxi\; 1\; xip\; ⋮\; ⋮\; \ddots \; ⋮\; \sum \; я\; знак\; равно\; 1\; nxip\; \sum \; я\; =\; 1\; nxipxi\; 1\dots \; \sum \; я\; =\; 1\; nxip\; 2]\; =\; 2\; XTX\; \{\backslash \; displaystyle\; \{\backslash \; mathcal\; \{H\}\}\; =\; 2\; \{\backslash \; begin\; \{bmatrix\}\; n\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; x\_\; \{i1\}\; \backslash \; dots\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; x\_\; \{ip\}\; \backslash \backslash \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; x\_\; \{i1\}\; \backslash \; сумма\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; x\_\; \{i1\}\; ^\; \{2\}\; \backslash \; dots\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; x\_\; \{i1\}\; x\_\; \{ip\}\; \backslash \backslash \backslash \; vdots\; \backslash \; vdots\; \backslash \; ddots\; \backslash \; vdots\; \backslash \backslash \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; x\_\; \{ip\}\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; x\_\; \{ip\}\; x\_\; \{i1\}\; \backslash \; dots\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; x\_\; \{ip\}\; ^\; \{2\}\; \backslash \; end\; \{bmatrix\}\}\; =\; 2X\; ^\; \{T\}\; X\}$

Предполагая, что столбцы $X\; \{\backslash \; displaystyle\; X\}$линейно независимы, так что $XTX\; \{\backslash \; displaystyle\; X\; ^\; \{T\}\; X\}$обратимо, пусть $X\; =\; [v\; 1\; \to \; v\; 2\; \to \dots \; v\; \to \; p\; +\; 1]\; \{\backslash \; displaystyle\; X\; =\; \{\backslash \; begin\; \{bmatrix\}\; \{\backslash \; overrigh\; tarrow\; \{v\_\; \{1\}\}\}\; \{\backslash \; overrightarrow\; \{v\_\; \{2\}\}\}\; \backslash \; dots\; \{\backslash \; overrightarrow\; \{v\}\}\; \_\; \{p\; +\; 1\}\; \backslash \; end\; \{bmatrix\}\}\}$, тогда

$k\; 1\; v\; 1\; \to \; +\; \cdots \; +\; kp\; +\; 1\; v\; \to \; p\; +\; 1\; =\; 0\; ⟺\; k\; 1\; =\; \cdots \; =\; kp\; +\; 1\; =\; 0\; \{\backslash \; displaystyle\; k\_\; \{1\}\; \{\backslash \; overrightarrow\; \{v\_\; \{1\}\}\}\; +\; \backslash \; dots\; +\; k\_\; \{p\; +\; 1\}\; \{\backslash \; overrightarrow\; \{v\}\}\; \_\; \{p\; +\; 1\}\; =\; 0\; \backslash \; iff\; k\_\; \{1\}\; =\; \backslash \; dots\; =\; k\_\; \{p\; +\; 1\}\; =\; 0\}$

Теперь пусть $К\; \to \; =\; (К\; 1,\dots ,\; kp\; +\; 1)\; T\; \in \; R\; (p\; +\; 1)\; \times \; 1\; \{\backslash \; displaystyle\; \{\backslash \; overrightarrow\; \{k\}\}\; =\; (k\_\; \{1\},\; \backslash \; dots,\; k\_\; \{p\; +\; 1)\; \})\; ^\; \{T\}\; \backslash \; in\; \backslash \; mathbb\; \{R\}\; ^\; \{(p\; +\; 1)\; \backslash \; times\; 1\}\}$быть собственным вектором $H\; \{\backslash \; displaystyle\; \{\backslash \; mathcal\; \{H\}\}\}$.

$К\; \to \; \ne \; 0\; \to \; ⟹\; (К\; 1\; v\; 1\; \to \; +\; \cdots \; +\; kp\; +\; 1\; v\; \to \; p\; +\; 1)\; 2>0\; \{\backslash \; displaystyle\; \{\backslash \; overrightarrow\; \{k\}\}\; \backslash \; neq\; \{\backslash \; overrightarrow\; \{0\}\}\; \backslash \; подразумевает\; (k\_\; \{1\}\; \{\backslash \; overrightarrow\; \{v\_\; \{1\}\}\}\; +\; \backslash \; dots\; +\; k\_\; \{p\; +\; 1\}\; \{\backslash \; overrightarrow\; \{v\}\}\; \_\; \{p\; +\; 1\})\; ^\; \{2\}>0\}$

В терминах умножения векторов это означает

$[k\; 1\dots \; kp\; +\; 1]\; [v\; 1\; \to \; ⋮\; v\; \to \; p\; +\; 1]\; [v\; 1\; \to \dots \; v\; \to \; p\; +\; 1]\; [k\; 1\; ⋮\; kp\; +\; 1]\; =\; k\; \to \; TH\; k\; \to \; =\; \lambda \; k\; \to \; T\; k\; \to >0\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{bmatrix\}\; k\_\; \{1\}\; \backslash \; dots\; k\_\; \{\; p\; +\; 1\}\; \backslash \; end\; \{bmatrix\}\}\; \{\backslash \; begin\; \{bmatrix\}\; \{\backslash \; overrightarrow\; \{v\_\; \{1\}\}\}\; \backslash \backslash \backslash \; vdots\; \backslash \backslash \; \{\backslash \; overrightarrow\; \{v\}\}\; \_\; \{p\; +\; 1\}\; \backslash \; end\; \{bmatrix\}\; \}\; \{\backslash \; begin\; \{bmatrix\}\; \{\backslash \; overrightarrow\; \{v\_\; \{1\}\}\}\; \backslash \; dots\; \{\backslash \; overrightarrow\; \{v\}\}\; \_\; \{p\; +\; 1\}\; \backslash \; end\; \{bmatrix\}\}\; \{\backslash \; begin\; \{bmatrix\}\; k\_\; \{1\}\; \backslash \backslash \backslash \; vdots\; \backslash \backslash \; k\_\; \{p\; +\; 1\}\; \backslash \; end\; \{bmatrix\}\}\; =\; \{\backslash \; overrightarrow\; \{k\}\}\; ^\; \{T\}\; \{\backslash \; mathcal\; \{H\}\}\; \{\backslash \; overrightarrow\; \{k\}\}\; =\; \backslash \; lambda\; \{\backslash \; overrightarrow\; \{k\}\}\; ^\; \{T\}\; \{\backslash \; overrightarrow\; \{k\}\}>0\}$

где $\lambda \; \{\backslash \; displaystyle\; \backslash \; lambda\}$- собственное значение, соответствующее $\{\backslash \; displaystyle\; \{\backslash \; overrightarrow\; \{k\}\}\}$. Кроме того,

$k\; \to \; T\; k\; \to \; =\; \sum \; i\; =\; 1\; p\; +\; 1\; ki\; 2>0\; ⟹\; \lambda >0\; \{\backslash \; displaystyle\; \{\backslash \; overrightarrow\; \{k\}\}\; ^\; \{T\}\; \{\backslash \; overrightarrow\; \{k\}\}\; =\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{p\; +\; 1\}\; k\_\; \{i\}\; ^\; \{2\}>0\; \backslash \; подразумевает\; \backslash \; lambda>0\}$

Наконец, как eigenvector $k\; \to \; \{\; \backslash \; displaystyle\; \{\backslash \; overrightarrow\; \{k\}\}\}$было произвольным, это означает, что все собственные значения $H\; \{\backslash \; displaystyle\; \{\backslash \; mathcal\; \{H\}\}\}$положительны, поэтому $H\; \{\backslash \; displaystyle\; \{\backslash \; mathcal\; \{H\}\}\}$положительно определено. Таким образом,

$\beta \; \to \; =\; (XTX)\; -\; 1\; XTY\; \{\backslash \; displaystyle\; \{\backslash \; overrightarrow\; \{\backslash \; beta\}\}\; =\; (X\; ^\; \{T\}\; X)\; ^\; \{-\; 1\}\; X\; ^\; \{T\}\; Y\}$

действительно является локальным минимумом.

Пусть $\beta \; ~\; =\; C\; y\; \{\backslash \; displaystyle\; \{\backslash \; tilde\; \{\backslash \; beta\}\}\; =\; Cy\}$- еще одна линейная оценка $\beta \; \{\backslash \; displaystyle\; \backslash \; beta\}$с $C\; =\; (X\; \prime \; X)\; -\; 1\; X\; \prime \; +\; D\; \{\backslash \; displaystyle\; C\; =\; (X\text{'}X)\; ^\; \{-\; 1\}\; X\; \text{'}+\; D\}$где $D\; \{\backslash \; displaystyle\; D\}$представляет собой $K\; \times \; n\; \{\backslash \; displaystyle\; K\; \backslash \; times\; n\}$ненулевую матрицу. Поскольку мы ограничиваемся несмещенными оценками, минимальная среднеквадратическая ошибка подразумевает минимальную дисперсию. Поэтому цель состоит в том, чтобы показать, что такая оценка имеет дисперсию не меньше, чем дисперсия $\beta \; ^,\; \{\backslash \; displaystyle\; \{\backslash \; widehat\; \{\backslash \; beta\}\},\}$оценки OLS. Вычисляем:

$E\; \; [\beta \; ~]\; =\; E\; \; [C\; y]\; =\; E\; \; [((X\; \prime \; X)\; -\; 1\; X\; \prime \; +\; D)\; (X\; \beta \; +\; \epsilon )]\; =\; ((X\; \prime \; X)\; -\; 1\; X\; \prime \; +\; D)\; X\; \beta \; +\; ((X\; \prime \; X)\; -\; 1\; X\; \prime \; +\; D)\; E\; \; [\epsilon ]\; =\; ((X\; \prime \; X)\; -\; 1\; X\; \prime \; +\; D)\; X\; \beta \; E\; \; [\epsilon ]\; =\; 0\; =\; (X\; \prime \; X)\; -\; 1\; X\; \prime \; X\; \beta \; +\; DX\; \beta \; =\; (IK\; +\; DX)\; \beta .\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{align\}\; \backslash \; operatorname\; \{E\}\; \backslash \; left\; [\{\backslash \; tilde\; \{\backslash \; beta\}\}\; \backslash \; right]\; =\; \backslash \; operatorname\; \{E\}\; [Cy]\; \backslash \backslash \; =\; \backslash \; operatorname\; \{E\}\; \backslash \; left\; [\; \backslash \; left\; ((X\text{'}X)\; ^\; \{-\; 1\}\; X\; \text{'}+\; D\; \backslash \; right)\; (X\; \backslash \; beta\; +\; \backslash \; varepsilon)\; \backslash \; right]\; \backslash \backslash \; =\; \backslash \; left\; ((X\text{'}X)\; ^\; \{-\; 1\}\; X\text{'}\; +\; D\; \backslash \; right)\; X\; \backslash \; beta\; +\; \backslash \; left\; ((X\text{'}X)\; ^\; \{-\; 1\}\; X\; \text{'}+\; D\; \backslash \; right)\; \backslash \; operatorname\; \{E\}\; [\backslash \; varepsilon]\; \backslash \backslash \; =\; \backslash \; left\; ((X\text{'}X)\; ^\; \{-\; 1\}\; X\; \text{'}+\; D\; \backslash \; right)\; X\; \backslash \; beta\; \backslash \; operatorname\; \{E\}\; [\backslash \; varepsilon]\; =\; 0\; \backslash \backslash \; =\; (X\text{'}X)\; ^\; \{-\; 1\}\; X\text{'}X\; \backslash \; beta\; +\; DX\; \backslash \; beta\; \backslash \backslash \; =\; (I\_\; \{K\}\; +\; DX)\; \backslash \; beta.\; \backslash \backslash \backslash \; конец\; \{выровнено\}\}\}$

Следовательно, поскольку $\beta \; \{\backslash \; displaystyle\; \backslash \; beta\}$равно un observable, $\beta \; ~\; \{\backslash \; displaystyle\; \{\backslash \; tilde\; \{\backslash \; beta\}\}\}$несмещен, если и только если $DX\; =\; 0\; \{\backslash \; displaystyle\; DX\; =\; 0\}$. Тогда:

$Var ⁡ (β ~) = Var ⁡ (C y) = C Var (y) C ′ = σ 2 CC ′ = σ 2 ((X ′ X) - 1 X ′ + D) (X ( X ′ X) - 1 + D ′) = σ 2 ((X ′ X) - 1 X ′ X (X ′ X) - 1 + (X ′ X) - 1 X ′ D ′ + DX (X ′ X)). - 1 + DD ′) = σ 2 (X ′ X) - 1 + σ 2 (X ′ X) - 1 (DX) ′ + σ 2 DX (X ′ X) - 1 + σ 2 DD ′ = σ 2 ( X ′ X) - 1 + σ 2 DD ′ DX = 0 = Var ⁡ (β ^) + σ 2 DD ′ σ 2 (X ′ X) - 1 = Var ⁡ (β ^) {\ displaystyle {\ begin {выровнено } \ operatorname {Var} \ left ({\ tilde {\ beta}} \ right) = \ operatorname {Var} (Cy) \\ = C {\ text {Var}} (y) C '\\ = \ sigma ^ {2} CC '\\ = \ sigma ^ {2} \ left ((X'X) ^ {- 1} X' + D \ right) \ left (X (X'X) ^ { -1} + D '\ right) \\ = \ sigma ^ {2} \ left ((X'X) ^ {- 1} X'X (X'X) ^ {- 1} + (X'X) ^ {- 1} X'D '+ DX (X'X) ^ {- 1} + DD' \ right) \\ = \ sigma ^ {2} (X'X) ^ {- 1} + \ sigma ^ {2} (X'X) ^ {- 1} (DX) '+ \ sigma ^ {2} DX (X'X) ^ {- 1} + \ sigma ^ {2} DD' \\ = \ sigma ^ {2} (X'X) ^ {- 1} + \ sigma ^ {2} DD 'DX = 0 \\ = \ operatorname {Var} \ left ({\ widehat {\ beta}} \ right) + \ sigma ^ {2} DD '\ sigma ^ {2} (X'X) ^ {- 1} = \ operatorname {Var} \ left ({\ widehat {\ beta}} \ right) \ en d {align}}}$

Поскольку DD 'является положительно полуопределенной матрицей, $Var\; \; (\beta \; ~)\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{Var\}\; \backslash \; left\; (\{\backslash \; tilde\; \{\backslash \; beta\}\}\; \backslash \; right)\}$превышает $Var\; \; (\beta \; ^)\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{Var\}\; \backslash \; left\; (\{\backslash \; widehat\; \{\backslash \; beta\}\}\; \backslash \; right)\}$на положительную полуопределенную матрицу.

Как было сказано ранее, условие $Var\; \; (\beta \; ~)\; -\; Var\; \; (\beta \; ^)\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{Var\}\; \backslash \; left\; (\{\backslash \; tilde\; \{\backslash \; beta\}\}\; \backslash \; right)\; -\; \backslash \; operatorname\; \{Var\}\; \backslash \; left\; (\{\backslash \; widehat\; \{\backslash \; beta\}\}\; \backslash \; right)\}$эквивалентно тому свойству, что лучший линейный объективная оценка $\ell \; t\; \beta \; \{\backslash \; displaystyle\; \backslash \; ell\; ^\; \{t\}\; \backslash \; beta\}$равна $\ell \; t\; \beta \; ^\; \{\backslash \; displaystyle\; \backslash \; ell\; ^\; \{t\}\; \{\backslash \; widehat\; \{\backslash \; beta\; \}\}\}$(лучше всего в том смысле, что имеет минимальную дисперсию). Чтобы убедиться в этом, пусть $\ell \; t\; \beta \; ~\; \{\backslash \; displaystyle\; \backslash \; ell\; ^\; \{t\}\; \{\backslash \; tilde\; \{\backslash \; beta\}\}\}$другой линейный несмещенный оценщик $\ell \; t\; \beta \; \{\backslash \; displaystyle\; \backslash \; ell\; ^\; \{t\}\; \backslash \; beta\}$.

$Var\; \; (\ell \; t\; \beta \; ~)\; =\; \ell \; t\; Var\; \; (\beta \; ~)\; \ell \; =\; \sigma \; 2\; \ell \; t\; (X\; \prime \; X)\; -\; 1\; \ell \; +\; \ell \; t\; DD\; t\; \ell \; =\; Var\; \; (\ell \; t\; \beta \; ^)\; +\; (D\; t\; \ell )\; t\; (D\; t\; \ell )\; \sigma \; 2\; \ell \; t\; (X\; \prime \; X)\; -\; 1\; \ell \; =\; Var\; \; (\ell \; t\; \beta \; ^)\; =\; Var\; \; (\ell \; t\; \beta \; ^)\; +\; \Vert \; D\; t\; \ell \; \Vert \; ⩾\; Var\; \; (\ell \; t\; \beta \; ^)\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{align\}\; \backslash \; operatorname\; \{Var\}\; \backslash \; left\; (\backslash \; ell\; ^\; \{t\}\; \{\backslash \; tilde\; \{\backslash \; beta\}\}\; \backslash \; right)\; =\; \backslash \; ell\; ^\; \{t\}\; \backslash \; operatorname\; \{Var\}\; \backslash \; left\; (\{\backslash \; tilde\; \{\backslash \; beta\}\}\; \backslash \; right)\; \backslash \; ell\; \backslash \backslash \; =\; \backslash \; sigma\; ^\; \{2\}\; \backslash \; ell\; ^\; \{t\}\; (X\text{'}X)\; ^\; \{-1\}\; \backslash \; ell\; +\; \backslash \; ell\; ^\; \{t\}\; DD\; ^\; \{t\}\; \backslash \; ell\; \backslash \backslash \; =\; \backslash \; operatorname\; \{Var\}\; \backslash \; left\; (\backslash \; ell\; ^\; \{t\}\; \{\backslash \; widehat\; \{\backslash \; beta\}\}\; \backslash \; right)\; +\; (D\; ^\; \{t\}\; \backslash \; ell)\; ^\; \{t\}\; (D\; ^\; \{t\}\; \backslash \; ell)\; \backslash \; sigma\; ^\; \{2\}\; \backslash \; ell\; ^\; \{t\}\; (X\text{'}X)\; ^\; \{-\; 1\}\; \backslash \; ell\; =\; \backslash \; operatorname\; \{Var\}\; \backslash \; left\; (\backslash \; ell\; ^\; \{t\}\; \{\backslash \; widehat\; \{\backslash \; beta\}\}\; \backslash \; right)\; \backslash \backslash \; =\; \backslash \; operatorname\; \{Var\}\; \backslash \; left\; (\backslash \; ell\; ^\; \{t\}\; \{\backslash \; widehat\; \{\backslash \; beta\}\}\; \backslash \; right)\; +\; \backslash \; |\; D\; ^\; \{t\}\; \backslash \; ell\; \backslash \; |\; \backslash \backslash \; \backslash \; geqslant\; \backslash \; operatorname\; \{Var\}\; \backslash \; left\; (\backslash \; ell\; ^\; \{t\}\; \{\backslash \; widehat\; \{\backslash \; beta\}\}\; \backslash \; right)\; \backslash \; end\; \{выровнено\}\}\; \}$

Более того, равенство выполняется, если и только если $D\; t\; \ell \; =\; 0\; \{\backslash \; displaystyle\; D\; ^\; \{t\}\; \backslash \; ell\; =\; 0\}$. Вычисляем

$\ell \; t\; \beta \; ~\; =\; \ell \; t\; (((X\; \prime \; X)\; -\; 1\; X\; \prime \; +\; D)\; Y)\; сверху\; =\; \ell \; t\; (X\; \prime \; X)\; -\; 1\; X\; \prime \; Y\; +\; \ell \; t\; DY\; =\; \ell \; t\; \beta \; ^\; +\; (D\; T\; \ell )\; T\; Y\; знак\; равно\; \ell \; T\; \beta \; ^\; D\; T\; \ell \; знак\; равно\; 0\; \{\backslash \; Displaystyle\; \{\backslash \; begin\; \{align\}\; \backslash \; ell\; ^\; \{t\}\; \{\backslash \; tilde\; \{\backslash \; beta\}\}\; =\; \backslash \; ell\; ^\; \{t\; \}\; \backslash \; left\; (((X\text{'}X)\; ^\; \{-\; 1\}\; X\; \text{'}+\; D)\; Y\; \backslash \; right)\; \{\backslash \; text\; \{сверху\}\}\; \backslash \backslash \; =\; \backslash \; ell\; ^\; \{t\}\; (X\text{'}X)\; ^\; \{\; -1\}\; X\text{'}Y\; +\; \backslash \; ell\; ^\; \{t\}\; DY\; \backslash \backslash \; =\; \backslash \; ell\; ^\; \{t\}\; \{\backslash \; widehat\; \{\backslash \; beta\}\}\; +\; (D\; ^\; \{t\}\; \backslash \; ell)\; ^\; \{t\}\; Y\; \backslash \backslash \; =\; \backslash \; ell\; ^\; \{t\}\; \{\backslash \; widehat\; \{\backslash \; beta\}\}\; D\; ^\; \{t\}\; \backslash \; ell\; =\; 0\; \backslash \; end\; \{align\}\}\}$

Это доказывает, что равенство выполняется тогда и только тогда, когда $\ell \; t\; \beta \; ~\; =\; \ell \; t\; \beta \; ^\; \{\backslash \; displaystyle\; \backslash \; ell\; ^\; \{t\}\; \{\backslash \; tilde\; \{\backslash \; beta\}\}\; =\; \backslash \; ell\; ^\; \{t\}\; \{\backslash \; widehat\; \{\backslash \; beta\}\}\}$, что придает уникальность Оценщик OLS отмечен СИНИМ цветом.

Метод обобщенных наименьших квадратов (GLS), разработанный Эйткеном, расширяет теорему Гаусса – Маркова на случай, когда вектор ошибок имеет нескалярную ковариационную матрицу. Оценщик Эйткена также СИНИЙ.

В большинстве случаев МНК регрессоры (интересующие параметры) в матрице плана $X\; \{\backslash \; displaystyle\; Предполагается,\; что\; \backslash \; mathbf\; \{X\}\}$фиксируется в повторяющихся выборках. Это предположение считается неприемлемым для преимущественно неэкспериментальной науки, такой как эконометрика. Вместо этого предположения теоремы Гаусса-Маркова сформулированы при условии $X\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{X\}\}$.

Linearity

Предполагается, что зависимая переменная является линейной функцией переменных указана в модели. Спецификация должна быть линейной по своим параметрам. Это не означает, что между независимыми и зависимыми переменными должна быть линейная зависимость. Независимые переменные могут принимать нелинейную форму, если параметры линейны. Уравнение $y\; =\; \beta \; 0\; +\; \beta \; 1\; x\; 2,\; \{\backslash \; displaystyle\; y\; =\; \backslash \; beta\; \_\; \{0\}\; +\; \backslash \; beta\; \_\; \{1\}\; x\; ^\; \{2\},\}$квалифицируется как линейное, а $y\; =\; \beta \; 0\; +\; \beta \; 1\; 2\; x\; \{\backslash \; displaystyle\; y\; =\; \backslash \; beta\; \_\; \{0\}\; +\; \backslash \; beta\; \_\; \{1\}\; ^\; \{2\}\; x\}$можно преобразовать в линейное, заменив $\beta \; 1\; 2\; \{\backslash \; displaystyle\; \backslash \; beta\; \_\; \{1\}\; ^\; \{2\}\}$по другому параметру, например, $\gamma \; \{\backslash \; displaystyle\; \backslash \; gamma\}$. Уравнение с параметром, зависящим от независимой переменной, не квалифицируется как линейное, например $y\; =\; \beta \; 0\; +\; \beta \; 1\; (x)\; \cdot \; x\; \{\backslash \; displaystyle\; y\; =\; \backslash \; beta\; \_\; \{0\}\; +\; \backslash \; beta\; \_\; \{1\; \}\; (x)\; \backslash \; cdot\; x\}$, где $\beta \; 1\; (x)\; \{\backslash \; displaystyle\; \backslash \; beta\; \_\; \{1\}\; (x)\}$является функцией от $x\; \{\backslash \; displaystyle\; x\}$.

Преобразования данных часто используются для преобразования уравнения в линейную форму. Например, функция Кобба – Дугласа, часто используемая в экономике, является нелинейной:

$Y\; =\; AL\; \alpha \; K\; 1\; -\; \alpha \; e\; \epsilon \; \{\backslash \; displaystyle\; Y\; =\; AL\; ^\; \{\backslash \; alpha\}\; K\; ^\; \{\; 1-\; \backslash \; alpha\}\; e\; ^\; \{\backslash \; varepsilon\}\}$

Но это можно выразить в линейной форме, взяв натуральный логарифм с обеих сторон:

$ln\; \; Y\; =\; ln\; \; A\; +\; \alpha \; пер\; \; L\; +\; (1\; -\; \alpha )\; пер\; \; К\; +\; \epsilon \; знак\; равно\; \beta \; 0\; +\; \beta \; 1\; пер\; \; L\; +\; \beta \; 2\; пер\; \; К\; +\; \epsilon \; \{\backslash \; displaystyle\; \backslash \; ln\; Y\; =\; \backslash \; ln\; A\; +\; \backslash \; альфа\; \backslash \; ln\; L\; +\; (1-\; \backslash \; alpha)\; \backslash \; ln\; K\; +\; \backslash \; varepsilon\; =\; \backslash \; beta\; \_\; \{0\}\; +\; \backslash \; beta\; \_\; \{1\}\; \backslash \; ln\; L\; +\; \backslash \; beta\; \_\; \{2\}\; \backslash \; ln\; K\; +\; \backslash \; varepsilon\}$

Это предположение также охватывает вопросы спецификации: предполагается, что правильная была выбрана функциональная форма, и отсутствуют пропущенные переменные..

Однако следует знать, что параметры, которые минимизируют остатки преобразованного уравнения, не обязательно минимизируют остатки исходного уравнения.

Строгая экзогенность

Для всех наблюдений $n\; \{\backslash \; displaystyle\; n\}$ожидание - условное для регрессоров - члена ошибки равно нулю:

$E\; \; [\epsilon \; я\; \mid \; Икс]\; =\; E\; \; [\epsilon \; я\; \mid \; Икс\; 1,\dots ,\; xn]\; =\; 0.\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{E\}\; [\backslash ,\; \backslash \; varepsilon\; \_\; \{i\}\; \backslash \; mid\; \backslash \; mathbf\; \{X\}\; ]\; =\; \backslash \; operatorname\; \{E\}\; [\backslash ,\; \backslash \; varepsilon\; \_\; \{i\}\; \backslash \; mid\; \backslash \; mathbf\; \{x\_\; \{1\}\},\; \backslash \; dots,\; \backslash \; mathbf\; \{x\_\; \{n\}\}]\; =\; 0.\}$

где $xi\; =\; [xi\; 1\; xi\; 2\dots \; xik]\; T\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{x\}\; \_\; \{i\}\; =\; \{\backslash \; begin\; \{bmatrix\}\; x\_\; \{i1\}\; x\_\; \{i2\}\; \backslash \; dots\; x\_\; \{ik\}\; \backslash \; end\; \{bmatrix\}\; \}\; ^\; \{\backslash \; mathsf\; \{T\}\}\}$- вектор данных регрессоров для i-го наблюдения, и, следовательно, $X\; =\; [x\; 1\; T\; x\; 2\; T\dots \; xn\; T]\; T\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{X\}\; =\; \{\backslash \; begin\; \{bmatrix\}\; \backslash \; mathbf\; \{x\_\; \{1\}\; ^\; \{\backslash \; mathsf\; \{T\}\}\}\; \backslash \; mathbf\; \{x\_\; \{2\}\; ^\; \{\backslash \; mathsf\; \{T\}\}\}\; \backslash \; dots\; \backslash \; mathbf\; \{x\_\; \{n\}\; ^\; \{\backslash \; mathsf\; \{T\}\}\}\; \backslash \; end\; \{bmatrix\}\}\; ^\; \{\backslash \; mathsf\; \{T\}\}\}$- матрица данных или матрица плана.

Геометрически это предположение подразумевает, что $xi\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{x\}\; \_\; \{i\}\}$и $\epsilon \; i\; \{\backslash \; displaystyle\; \backslash \; varepsilon\; \_\; \{i\}\; \}$являются ортогональными друг другу, так что их внутренний продукт (то есть их перекрестный момент) равен нулю.

$E\; \; [xj\; \cdot \; \epsilon \; i]\; =\; [E\; \; [xj\; 1\; \cdot \; \epsilon \; i]\; E\; \; [xj\; 2\; \cdot \; \epsilon \; i]\; ⋮\; E\; \; [xjk\; \cdot \; \epsilon \; i]]\; =\; 0\; для\; всех\; i,\; j\; \in \; n\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{E\}\; [\backslash ,\; \backslash \; mathbf\; \{x\}\; \_\; \{j\}\; \backslash \; cdot\; \backslash \; varepsilon\; \_\; \{i\}\; \backslash ,]\; =\; \{\backslash \; begin\; \{bmatrix\}\; \backslash \; operatorname\; \{E\}\; [\backslash ,\; \{x\}\; \_\; \{j1\}\; \backslash \; cdot\; \backslash \; varepsilon\; \_\; \{i\}\; \backslash ,]\; \backslash \backslash \backslash \; имя\; оператора\; \{E\}\; [\backslash ,\; \{x\}\; \_\; \{j2\}\; \backslash \; cdot\; \backslash \; varepsilon\; \_\; \{i\}\; \backslash ,]\; \backslash \backslash \backslash \; vdots\; \backslash \backslash \backslash \; имя\; оператора\; \{E\}\; [\backslash ,\; \{x\}\; \_\; \{jk\}\; \backslash \; cdot\; \backslash \; varepsilon\; \_\; \{i\}\; \backslash ,]\; \backslash \; end\; \{bmatrix\}\}\; =\; \backslash \; mathbf\; \{0\}\; \backslash \; quad\; \{\backslash \; text\; \{для\; всех\}\}\; i,\; j\; \backslash \; in\; n\}$

Это предположение нарушается, если независимые переменные являются стохастическими, например, когда они измерены с ошибкой, или являются эндогенными. Эндогенность может быть результатом одновременности, когда причинно-следственная связь течет туда и обратно как между зависимой, так и независимой переменной. Для решения этой проблемы обычно используются методы инструментальных переменных.

Полный ранг

Образец матрицы данных $X\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{X\}\}$должен иметь полный столбец rank.

$rank\; \; (X)\; =\; k\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{rank\}\; (\backslash \; mathbf\; \{X\})\; =\; k\}$

В противном случае $X\; \prime \; X\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{X\text{'}X\}\}$не обратима, и оценка МНК не может быть вычислена.

Нарушением этого предположения является совершенная мультиколлинеарность, т.е. некоторые независимые переменные линейно зависимы. Один сценарий, в котором это произойдет, называется «ловушка фиктивной переменной», когда базовая фиктивная переменная не пропущена, что приводит к идеальной корреляции между фиктивными переменными и постоянным членом.

Мультиколлинеарность (пока это не так. «идеальный») может приводить к менее эффективной, но все же несмещенной оценке. Оценки будут менее точными и очень чувствительными к конкретным наборам данных. Мультиколлинеарность может быть обнаружена с помощью номера условия или коэффициента увеличения дисперсии, среди других тестов.

Сферические ошибки

Внешний продукт вектора ошибки должен быть сферическим.

$E\; \; [\epsilon \; \epsilon \; T\; \mid \; X]\; =\; Var\; \; [\epsilon \; \mid \; X]\; =\; [\sigma \; 2\; 0\dots \; 0\; 0\; \sigma \; 2\dots \; 0\; ⋮\; ⋮\; \ddots \; 0\; 0\dots \; \sigma \; 2]\; =\; \sigma \; 2\; I\; с\; \sigma \; 2>0\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{E\}\; [\backslash ,\; \{\backslash \; boldsymbol\; \{\backslash \; varepsilon\}\}\; \{\backslash \; boldsymbol\; \{\backslash \; varepsilon\; ^\; \{\backslash \; mathsf\; \{T\}\}\}\}\; \backslash \; mid\; \backslash \; mathbf\; \{X\}]\; =\; \backslash \; operatorname\; \{Var\}\; [\backslash ,\; \{\backslash \; boldsymbol\; \{\backslash \; varepsilon\}\}\; \backslash \; mid\; \backslash \; mathbf\; \{X\}]\; =\; \{\backslash \; begin\; \{bmatrix\}\; \backslash \; sigma\; ^\; \{2\}\; 0\; \backslash \; dots\; 0\; \backslash \backslash \; 0\; \backslash \; sigma\; ^\; \{2\}\; \backslash \; dots\; 0\; \backslash \; \backslash \backslash \; vdots\; \backslash \; vdots\; \backslash \; ddots\; \backslash \; vdots\; \backslash \backslash \; 0\; 0\; \backslash \; dots\; \backslash \; sigma\; ^\; \{2\}\; \backslash \; end\; \{bmatrix\}\}\; =\; \backslash \; sigma\; ^\; \{2\}\; \backslash \; mathbf\; \{I\}\; \backslash \; quad\; \{\backslash \; text\; \{with\}\; \}\; \backslash \; sigma\; ^\; \{2\}>0\}$

Это означает, что термин ошибки имеет однородную дисперсию (гомоскедастичность ) и не имеет последовательной зависимости. Если это предположение нарушается, OLS остается беспристрастным, но неэффективным. «сферические ошибки» описывают многомерное нормальное распределение: если $Var\; \; [\epsilon \; \mid \; X]\; =\; \sigma \; 2\; I\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{Var\}\; [\backslash ,\; \{\backslash \; boldsymbol\; \{\backslash \; varep\; silon\}\}\; \backslash \; mid\; \backslash \; mathbf\; \{X\}]\; =\; \backslash \; sigma\; ^\; \{2\}\; \backslash \; mathbf\; \{I\}\}$в многомерной нормальной плотности, тогда уравнение $f\; (\epsilon )\; =\; c\; \{\backslash \; displaystyle\; f\; (\backslash \; varepsilon)\; =\; c\}$- это формула для шара с центром в μ и радиусом σ в n-мерном пространстве.

Гетероскедастичность возникает, когда количество ошибки коррелирует с независимой переменной. Например, при регрессии расходов на питание и доходов ошибка коррелирует с доходом. Люди с низким доходом обычно тратят на еду одинаковую сумму, тогда как люди с высоким доходом могут тратить очень большую сумму или столько же, сколько тратят люди с низким доходом. Гетероскедастичность также может быть вызвана изменениями в практике измерения. Например, по мере того, как статистические управления улучшают свои данные, ошибка измерения уменьшается, поэтому член ошибки уменьшается с течением времени.

Это предположение нарушается при наличии автокорреляции. Автокорреляция может быть визуализирована на графике данных, когда данное наблюдение с большей вероятностью находится выше подобранной линии, если соседние наблюдения также лежат выше подобранной линии регрессии. Автокорреляция часто встречается в данных временных рядов, где ряд данных может испытывать «инерцию». Если зависимой переменной требуется время, чтобы полностью поглотить шок. Пространственная автокорреляция также может возникать в географических областях, которые могут иметь аналогичные ошибки. Автокорреляция может быть результатом неправильной спецификации, например неправильного выбора функциональной формы. В этих случаях исправление спецификации - один из возможных способов борьбы с автокорреляцией.

При наличии сферических ошибок обобщенная оценка методом наименьших квадратов может отображаться СИНИМ цветом.

• Независимые и одинаково распределенные случайные величины
• Линейная регрессия
• Неопределенность измерения

Другая несмещенная статистика

• Наилучший линейный несмещенный прогноз (BLUP)
• Несмещенная оценка с минимальной дисперсией (MVUE)

• Дэвидсон, Джеймс (2000). «Статистический анализ регрессионной модели». Эконометрическая теория. Оксфорд: Блэквелл. С. 17–36. ISBN 0-631-17837-6.
• Голдбергер, Артур (1991). «Классическая регрессия». Курс эконометрики. Кембридж: Издательство Гарвардского университета. Стр. 160 –169. ISBN 0-674-17544-1.
• Тейл, Анри (1971). «Наименьшие квадраты и стандартная линейная модель». Принципы эконометрики. Нью-Йорк: Джон Вили и сыновья. Стр. 101 –162. ISBN 0-471-85845-5.

• Самые ранние известные варианты использования некоторых слов математики: G (краткая история и объяснение названия)
• Доказательство теоремы Гаусса-Маркова для множественной линейной регрессии (использует матричную алгебру)
• Доказательство теоремы Гаусса-Маркова с использованием геометрии