Смещение пропущенной переменной

В статистика, систематическая ошибка пропущенной переменной (OVB ) возникает, когда статистическая модель не учитывает одну или несколько релевантных переменных. Смещение приводит к тому, что модель объясняет влияние отсутствующих переменных на те, которые были включены.

Более конкретно, OVB - это смещение, которое появляется в оценках параметров в регрессионном анализе, когда предполагаемая спецификация неверен в том смысле, что в нем не указана независимая переменная, которая является определяющим фактором зависимой переменной и коррелирует с одной или несколькими включенными независимыми переменными.

• 1 В линейной регрессии
  • 1.1 Интуиция
  • 1.2 Детальный анализ
• 2 Эффект в обычном методе наименьших квадратов
• 3 См. Также
• 4 Ссылки

Интуиция

Предположим, что истинная причинно-следственная связь задается следующим образом:

$y\; =\; a\; +\; bx\; +\; cz\; +\; u\; \{\backslash \; displaystyle\; y\; =\; a\; +\; bx\; +\; cz\; +\; u\}$

с параметрами a, b, c, зависимой переменной y, независимыми переменными x и z и членом ошибки u. Мы хотим знать влияние самого x на y (то есть мы хотим получить оценку b).

Для существования смещения пропущенной переменной в линейной регрессии :

• должны выполняться два условия: пропущенная переменная должна быть определителем зависимой переменной (т. Е. Ее истинный коэффициент регрессии не должен быть нулевым) ; и
• пропущенная переменная должна быть коррелирована с независимой переменной, указанной в регрессии (т. е. cov (z, x) не должно равняться нулю).

Предположим, мы опускаем z из регрессии, и предположим, что отношение между x и z задается формулой

$z\; =\; d\; +\; fx\; +\; e\; \{\backslash \; displaystyle\; z\; =\; d\; +\; fx\; +\; e\}$

с параметрами d, f и членом ошибки e. Подстановка второго уравнения в первое дает

$y\; =\; (a\; +\; c\; d)\; +\; (b\; +\; c\; f)\; x\; +\; (u\; +\; c\; e).\; \{\backslash \; displaystyle\; y\; =\; (a\; +\; cd)\; +\; (b\; +\; cf)\; x\; +\; (u\; +\; ce).\}$

Если регрессия y проводится только по x, это последнее уравнение является оценочным, а коэффициент регрессии на x фактически является оценкой (b + cf), дающей не просто оценку желаемого прямого воздействия x на y (которое есть b), но скорее его суммы с косвенным эффектом (влияние f x на z умноженное на влияние c z на y). Таким образом, исключив переменную z из регрессии, мы оценили полную производную y по x, а не его частную производную по x. Они различаются, если и c, и f не равны нулю.

Направление и степень смещения содержатся в cf, поскольку искомый эффект равен b, но регрессия оценивает b + cf. Степень смещения - это абсолютное значение cf, а направление смещения - вверх (в сторону более положительного или менее отрицательного значения), если cf>0 (если направление корреляции между y и z такое же, как и между x и z), в противном случае - вниз.

Подробный анализ

В качестве примера рассмотрим линейную модель вида

$yi\; =\; xi\; \beta \; +\; zi\; \delta \; +\; ui,\; i\; =\; 1,\dots ,\; n\; \{\backslash \; displaystyle\; y\_\; \{i\}\; =\; x\_\; \{i\}\; \backslash \; beta\; +\; z\_\; \{i\}\; \backslash \; delta\; +\; u\_\; \{i\},\; \backslash \; qquad\; i\; =\; 1,\; \backslash \; dots,\; n\}$

, где

• xi- это 1 × p вектор-строка значений p независимых переменных, наблюдаемых в момент времени i или для i-го участника исследования;
• β - вектор-столбец ap × 1 ненаблюдаемых параметров (коэффициенты отклика зависимой переменной для каждой из p независимых переменных в x i), подлежащих оценке;
• ziявляется скаляром и представляет собой значение другой независимой переменной, которая наблюдается в момент времени i или для участника исследования i;
• δ - это скаляр и ненаблюдаемый параметр (коэффициент отклика зависимой переменной на z i), который необходимо оценить;
• ui- ненаблюдаемый член ошибки, возникающий во время i или для i-го участника исследования; это ненаблюдаемая реализация случайной величины, имеющей ожидаемое значение 0 (условно x i и z i);
• yi- это наблюдение зависимой переменная в момент времени i или для участника исследования i.

Мы собираем наблюдения всех переменных с индексами i = 1,..., n и складываем их друг под другом, чтобы получить матрицу X и векторы Y, Z и U:

$X\; =\; [x\; 1\; ⋮\; xn]\; \in \; R\; n\; \times \; p,\; \{\backslash \; displaystyle\; X\; =\; \backslash \; left\; [\{\backslash \; begin\; \{array\}\; \{c\}\; x\_\; \{1\}\; \backslash \backslash \backslash \; vdots\; \backslash \backslash \; x\_\; \{n\}\; \backslash \; end\; \{array\}\}\; \backslash \; right]\; \backslash \; in\; \backslash \; mathbb\; \{R\}\; ^\; \{n\; \backslash \; times\; p\},\}$

и

$Y\; знак\; равно\; [y\; 1\; ⋮\; yn],\; Z\; =\; [z\; 1\; ⋮\; zn],\; U\; =\; [u\; 1\; ⋮\; un]\; \in \; R\; n\; \times \; 1.\; \{\backslash \; displaystyle\; Y\; =\; \backslash \; left\; [\{\backslash \; begin\; \{array\}\; \{c\}\; y\_\; \{\; 1\}\; \backslash \backslash \backslash \; vdots\; \backslash \backslash \; y\_\; \{n\}\; \backslash \; end\; \{array\}\}\; \backslash \; right],\; \backslash \; quad\; Z\; =\; \backslash \; left\; [\{\backslash \; begin\; \{array\}\; \{c\}\; z\_\; \{1\}\; \backslash \backslash \backslash \; vdots\; \backslash \backslash \; z\_\; \{\; n\}\; \backslash \; end\; \{array\}\}\; \backslash \; right],\; \backslash \; quad\; U\; =\; \backslash \; left\; [\{\backslash \; begin\; \{array\}\; \{c\}\; u\_\; \{1\}\; \backslash \backslash \backslash \; vdots\; \backslash \backslash \; u\_\; \{n\}\; \backslash \; end\; \{array\}\}\; \backslash \; right\; ]\; \backslash \; in\; \backslash \; mathbb\; \{R\}\; ^\; \{n\; \backslash \; times\; 1\}.\}$

Если независимая переменная z не включена в регрессию, то оценочные значения параметра ответа Остальные независимые переменные будут вычислены обычным методом наименьших квадратов,

$\beta \; ^\; =\; (X\; \prime \; X)\; -\; 1\; X\; \prime \; Y\; \{\backslash \; displaystyle\; \{\backslash \; widehat\; \{\backslash \; beta\}\}\; =\; (X\text{'}X)\; ^\; \{-\; 1\}\; X\text{'}Y\; \backslash ,\}$

(где «штрих» обозначает транспонирование матрицы, а верхний индекс -1 означает инверсия матрицы ).

Замена Y на основе предполагаемой линейной модели,

$\beta \; ^\; =\; (X\; \prime \; X)\; -\; 1\; X\; \prime \; (X\; \beta \; +\; Z\; \delta \; +\; U)\; =\; (X\; \prime \; X)\; -\; 1\; X\; \prime \; X\; \beta \; +\; (X\; \prime \; X)\; -\; 1\; X\; \prime \; Z\; \delta \; +\; (X\; \prime \; X)\; -\; 1\; X\; \prime \; U\; =\; \beta \; +\; (X\; \prime \; X)\; -\; 1\; X\; \prime \; Z\; \delta \; +\; (X\; \prime \; X)\; -\; 1\; X\; \prime \; U.\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{align\}\; \{\backslash \; widehat\; \{\backslash \; beta\}\}\; =\; (X\text{'}X)\; ^\; \{-\; 1\}\; X\; \text{'}(X\; \backslash \; beta\; +\; Z\; \backslash \; delta\; +\; U)\; \backslash \backslash \; =\; (X\text{'}X)\; ^\; \{-\; 1\}\; X\text{'}X\; \backslash \; beta\; +\; (X\text{'}X)\; ^\; \{-\; 1\}\; X\text{'}Z\; \backslash \; delta\; +\; (X\text{'}X)\; ^\; \{-\; 1\}\; X\text{'}U\; \backslash \backslash \; =\; \backslash \; beta\; +\; (X\; \text{'}X)\; ^\; \{-\; 1\}\; X\text{'}Z\; \backslash \; delta\; +\; (X\text{'}X)\; ^\; \{-\; 1\}\; X\text{'}U.\; \backslash \; End\; \{align\}\}\}$

Если брать ожидания, вклад последнего члена равен нулю ; это следует из предположения, что U не коррелирован с регрессорами X. При упрощении остальных членов:

$E\; [\beta \; ^\; \mid \; X]\; =\; \beta \; +\; (X\; \prime \; X)\; -\; 1\; E\; [X\; \prime \; Z\; \mid \; X]\; \delta \; =\; \beta \; +\; смещение.\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{align\}\; E\; [\{\backslash \; widehat\; \{\backslash \; beta\}\}\; \backslash \; mid\; X]\; =\; \backslash \; beta\; +\; (X\text{'}X)\; ^\; \{-\; 1\}\; E\; [X\text{'}Z\; \backslash \; mid\; X]\; \backslash \; delta\; \backslash \; \backslash \; =\; \backslash \; beta\; +\; \{\backslash \; text\; \{bias\}\}.\; \backslash \; end\; \{align\}\}\}$

Второй член после знака равенства - это смещение пропущенной переменной в этом случае, которое не равно нулю, если пропущенная переменная z коррелирует с любой из включенных переменных в матрицу X (то есть, если X′Z не равен вектору нулей). Обратите внимание, что смещение равно взвешенной части z i, что «объясняется» x i.

Теорема Гаусса – Маркова утверждает, что регрессионные модели, которые соответствуют допущениям классической модели линейной регрессии, предоставляют наиболее эффективные, линейные и несмещенные оценки. В обычном методе наименьших квадратов соответствующее предположение классической модели линейной регрессии состоит в том, что член ошибки не коррелирует с регрессорами.

Наличие систематической ошибки пропущенной переменной нарушает это конкретное предположение. Нарушение приводит к смещению оценки OLS и несогласованности. Направление смещения зависит от оценок, а также от ковариации между регрессорами и пропущенными переменными. Положительная ковариация пропущенной переменной как с регрессором, так и с зависимой переменной приведет к тому, что МНК-оценка коэффициента включенного регрессора будет больше истинного значения этого коэффициента. Этот эффект можно увидеть, приняв математическое ожидание параметра, как показано в предыдущем разделе.

• Смешивающая переменная

• Баррето; Хауленд (2006). «Пропущенная переменная смещения». Вводная эконометрика: использование моделирования Монте-Карло с Microsoft Excel. Издательство Кембриджского университета.
• Кларк, Кевин А. (2005). «Скрытая угроза: пропущенные переменные предубеждения в эконометрических исследованиях». Управление конфликтами и наука о мире. 22 (4): 341–352. doi : 10.1080 / 07388940500339183.
• Грин, В. Х. (1993). Эконометрический анализ (2-е изд.). Макмиллан. стр. 245–246.
• Вулдридж, Джеффри М. (2009). «Пропущенная переменная смещения: простой случай». Вводная эконометрика: современный подход. Мейсон, Огайо: Обучение Cengage. С. 89–93. ISBN 9780324660548.