Обобщенная линейная модель

редактировать

В статистика, обобщенная линейная модель (GLM ) - это гибкое обобщение обычной линейной регрессии, которое позволяет использовать переменные ответа, которые имеют модели распределения ошибок, отличные от нормального распределения. GLM обобщает линейную регрессию, позволяя связать линейную модель с переменной отклика через функцию связи и позволяя величине дисперсии каждого измерения быть функцией его прогнозируемого значения.

Обобщенные линейные модели были сформулированы Джоном Нелдером и Робертом Веддерберном как способ объединения различных других статистических моделей, включая линейную регрессию, логистическая регрессия и регрессия Пуассона. Они предложили итеративно переназначенный метод наименьших квадратов для оценки максимального правдоподобия параметров модели. Оценка максимального правдоподобия остается популярной и является методом по умолчанию во многих пакетах статистических вычислений. Были разработаны другие подходы, включая байесовские подходы и метод наименьших квадратов аппроксимации для ответов со стабилизированной дисперсией.

Содержание

1 Intuition
2 Обзор
3 Компоненты модели
- 3.1 Распределение вероятностей
- 3.2 Линейный предиктор
- 3.3 Функция связи
4 Подгонка
- 4.1 Максимальная вероятность
- 4.2 Байесовские методы
5 Примеры
- 5.1 Общие линейные модели
- 5.2 Линейная регрессия
- 5.3 Двоичные данные
  - 5.3.1 Функция логит-связи
  - 5.3.2 Популярная функция пробит-ссылки функции обратного кумулятивного распределения
  - 5.3.3 Дополнительный журнал (cloglog)
  - 5.3.4 Идентификационная ссылка
  - 5.3.5 Функция дисперсии
- 5.4 Полиномиальная регрессия
  - 5.4.1 Заказанный ответ
  - 5.4.2 Неупорядоченный ответ
- 5.5 Данные подсчета
6 Расширения
- 6.1 Коррелированные или кластеризованные данные
- 6.2 Обобщенные аддитивные модели
7 Путаница с общими линейными моделями
8 См. Также
9 Ссылки
- 9.1 Цитаты
- 9.2 Цитаты
10 Дополнительная литература
11 Внешние ссылки

Intuition

Обычная линейная регрессия предсказывает ожидаемое значение заданного неизвестное количество (ответ nse переменная, случайная величина ) как линейная комбинация набора наблюдаемых значений (предикторов). Это означает, что постоянное изменение предиктора приводит к постоянному изменению переменной отклика (то есть модели линейного отклика). Это уместно, когда переменная отклика может изменяться в хорошем приближении бесконечно в любом направлении или, в более общем смысле, для любой величины, которая изменяется только на относительно небольшую величину по сравнению с изменением прогнозных переменных, например человеческий рост.

Однако эти предположения не подходят для некоторых типов переменных отклика. Например, в случаях, когда ожидается, что переменная отклика будет всегда положительной и изменяться в широком диапазоне, постоянные входные изменения приводят к геометрическим (т. Е. Экспоненциальному) изменению, а не постоянному изменению выходных изменений. В качестве примера предположим, что модель линейного прогнозирования учится на некоторых данных (возможно, в основном взятых с больших пляжей), что снижение температуры на 10 градусов приведет к тому, что пляж будет посещать на 1000 человек меньше. Эта модель вряд ли будет хорошо обобщена для пляжей разного размера. В частности, проблема заключается в том, что если вы используете модель для прогнозирования новой посещаемости с падением температуры на 10 для пляжа, который регулярно принимает 50 пляжников, вы бы предсказали невозможное значение посещаемости -950. Логично, что более реалистичная модель вместо этого предсказывала бы постоянную скорость увеличения посещаемости пляжа (например, увеличение на 10 градусов приводит к удвоению посещаемости пляжа, а падение на 10 градусов приводит к уменьшению посещаемости вдвое). Такая модель называется моделью экспоненциального отклика (или лог-линейной моделью, поскольку логарифм отклика, согласно прогнозам, изменяется линейно).

Точно так же модель, которая предсказывает вероятность выбора да / нет (переменная Бернулли ), еще менее подходит в качестве модели линейного ответа, поскольку вероятности ограничены с обеих сторон. (они должны быть от 0 до 1). Представьте, например, модель, которая предсказывает вероятность того, что конкретный человек пойдет на пляж, в зависимости от температуры. Разумная модель может предсказать, например, что изменение на 10 градусов делает человека в два раза более или менее вероятным, чтобы пойти на пляж. Но что означает «вдвое больше» с точки зрения вероятности? Это не может буквально означать удвоение значения вероятности (например, 50% становится 100%, 75% становится 150% и т. Д.). Скорее, это шансы, которые удваиваются: от шансов 2: 1 до шансов 4: 1, до шансов 8: 1 и т.д. Такая модель представляет собой логарифмическую модель или логистическая модель.

Обобщенные линейные модели охватывают все эти ситуации, учитывая переменные отклика с произвольным распределением (а не просто нормальные распределения ) и произвольную функцию переменной отклика (функция связи) изменяться линейно с предсказанными значениями (а не предполагать, что сам ответ должен изменяться линейно). Например, описанный выше случай прогнозируемого количества посетителей на пляже обычно моделируется с помощью распределения Пуассона и лог-связи, тогда как случай прогнозируемой вероятности посещения пляжа обычно моделируется с помощью Бернулли. распределение (или биномиальное распределение, в зависимости от того, как именно сформулирована проблема) и функция связи логарифмических шансов (или логит ).

Обзор

В обобщенной линейной модели (GLM) предполагается, что каждый результат Y из зависимых переменных сгенерирован из конкретного распределение в экспоненциальном семействе, большом классе распределений вероятностей, который включает нормальное, биномиальное, Распределения Пуассона и гамма, среди прочего. Среднее, μ, распределения зависит от независимых переменных, X, посредством:

E ⁡ (Y) = μ = g - 1 (X β) {\ displaystyle \ operatorname {E} (\ mathbf {Y}) = {\ boldsymbol {\ mu}} = g ^ {- 1} (\ mathbf {X} {\ boldsymbol {\ beta}})}

\operatorname {E} (\mathbf {Y})={\boldsymbol {\mu }}=g^{-1}(\mathbf {X} {\boldsymbol {\beta }})

где E (Y ) - ожидаемое значение; из Y; Xβ- это линейный предсказатель, линейная комбинация неизвестных параметров β ; g - функция ссылки.

В этой структуре дисперсия обычно является функцией V среднего:

Var ⁡ (Y) = V ⁡ (μ) = V ⁡ (g - 1 (X β)). {\ displaystyle \ operatorname {Var} (\ mathbf {Y}) = \ operatorname {V} ({\ boldsymbol {\ mu}}) = \ operatorname {V} (g ^ {- 1} (\ mathbf {X} {\ boldsymbol {\ beta}})).}

\operatorname {Var} (\mathbf {Y})=\operatorname {V} ({\boldsymbol {\mu }})=\operatorname {V} (g^{-1}(\mathbf {X} {\boldsymbol {\beta }})).

Удобно, если V следует из экспоненциального семейства распределений, но может просто случиться так, что дисперсия является функцией предсказанного значения.

Неизвестные параметры, β, обычно оцениваются с помощью максимального правдоподобия, максимального квази-правдоподобия или байесовского техники.

Компоненты модели

GLM состоит из трех элементов:

1. Экспоненциальное семейство вероятностных распределений.

2. Линейный предсказатель

η = X β {\ displaystyle \ eta = X \ beta}

\eta =X\beta

3. Функция связи

g {\ displaystyle g}

g

такая, что

E (Y ∣ X) = μ = g - 1 (η) {\ displaystyle E (Y \ mid X) = \ mu = g ^ {- 1} (\ eta)}

E(Y\mid X)=\mu =g^{-1}(\eta)

Распределение вероятностей

сверхдисперсное экспоненциальное семейство распределений является обобщением экспоненциального семейства и модель экспоненциальной дисперсии распределений и включает те семейства вероятностных распределений, параметризованные с помощью $θ {\ displaystyle {\ boldsymbol {\ theta}}}$ ${\boldsymbol {\theta }}$ и $τ { \ displaystyle \ tau}$ $\tau$ , функция плотности которого f (или функция вероятности и массы, для случая дискретного распределения ) может быть выражена в виде

f Y (y ∣ θ, τ) = h (y, τ) exp ⁡ (b (θ) TT (y) - A (θ) d (τ)). {\ displaystyle f_ {Y} (\ mathbf {y} \ mid {\ boldsymbol {\ theta}}, \ tau) = h (\ mathbf {y}, \ tau) \ exp \ left ({\ frac {\ mathbf {b} ({\ boldsymbol {\ theta}}) ^ {\ rm {T}} \ mathbf {T} (\ mathbf {y}) -A ({\ boldsymbol {\ theta}})} {d (\ tau)}} \ right). \, \!}

f_{Y}(\mathbf {y} \mid {\boldsymbol {\theta }},\tau)=h(\mathbf {y},\tau)\exp \left({\frac {\mathbf {b} ({\boldsymbol {\theta }})^{\rm {T}}\mathbf {T} (\mathbf {y})-A({\boldsymbol {\theta }})}{d(\tau)}}\right).\,\!

Параметр дисперсии, $τ {\ displaystyle \ tau}$ $\tau$ , обычно известен и обычно связан с дисперсией распределения. Функции $час (y, τ) {\ displaystyle h (\ mathbf {y}, \ tau)}$ $h(\mathbf {y},\tau)$ , $b (θ) {\ displaystyle \ mathbf {b} ({\ boldsymbol {\ theta}})}$ $\mathbf {b} ({\boldsymbol {\theta }})$ , $T (y) {\ displaystyle \ mathbf {T} (\ mathbf {y})}$ $\mathbf {T} (\mathbf {y})$ , $A (θ) {\ displaystyle A ({\ boldsymbol {\ theta}})}$ $A({\boldsymbol {\theta }})$ и $d (τ) {\ displaystyle d (\ tau)}$ $d(\tau)$ известны. В это семейство входят многие распространенные распределения, включая нормальное, экспоненциальное, гамма, Пуассона, Бернулли и (для фиксированного количества испытаний) биномиальное, полиномиальное и отрицательное биномиальное распределение.

Для скаляров $y {\ displaystyle \ mathbf {y}}$ $\mathbf {y}$ и $θ {\ displaystyle {\ boldsymbol {\ theta}}}$ ${\boldsymbol {\theta }}$ (обозначается $y {\ displaystyle y}$ $y$ и $θ {\ displaystyle \ theta}$ $\theta$ в данном случае), это сокращается до

f Y (y ∣ θ, τ) = h (y, τ) exp ⁡ (b (θ) T (y) - A (θ) d (τ)). {\ Displaystyle е_ {Y} (у \ середина \ тета, \ тау) = час (у, \ тау) \ ехр \ влево ({\ гидроразрыва {Ь (\ тета) Т (у) -А (\ тета)} {d (\ tau)}} \ right). \, \!}

f_{Y}(y\mid \theta,\tau)=h(y,\tau)\exp \left({\frac {b(\theta)T(y)-A(\theta)}{d(\tau)}}\right).\,\!

$θ {\ displaystyle {\ boldsymbol {\ theta}}}$ ${\boldsymbol {\theta }}$ относится к среднему значению распределения. Если $b (θ) {\ displaystyle \ mathbf {b} ({\ boldsymbol {\ theta}})}$ $\mathbf {b} ({\boldsymbol {\theta }})$ - функция идентичности, то говорят, что распределение находится в каноническом форма (или естественная форма). Обратите внимание, что любое распределение может быть преобразовано в каноническую форму, переписав $θ {\ displaystyle {\ boldsymbol {\ theta}}}$ ${\boldsymbol {\theta }}$ как $θ ′ {\ displaystyle {\ boldsymbol {\ theta} } '}$ ${\boldsymbol {\theta }}'$ и затем применяя преобразование $θ = b (θ ′) {\ displaystyle {\ boldsymbol {\ theta}} = \ mathbf {b} ({\ boldsymbol {\ theta}} ')}$ ${\boldsymbol {\theta }}=\mathbf {b} ({\boldsymbol {\theta }}')$ . Всегда можно преобразовать $A (θ) {\ displaystyle A ({\ boldsymbol {\ theta}})}$ $A({\boldsymbol {\theta }})$ с точки зрения новой параметризации, даже если $b (θ ′) {\ displaystyle \ mathbf {b} ({\ boldsymbol {\ theta}} ')}$ $\mathbf {b} ({\boldsymbol {\theta }}')$ не является однозначной функцией ; см. комментарии на странице по экспоненциальным семействам. Если, кроме того, $T (y) {\ displaystyle \ mathbf {T} (\ mathbf {y})}$ $\mathbf {T} (\mathbf {y})$ является идентификатором, а $τ {\ displaystyle \ tau}$ $\tau$ известен, тогда $θ {\ displaystyle {\ boldsymbol {\ theta}}}$ ${\boldsymbol {\theta }}$ называется каноническим параметром (или естественным параметром) и связан со средним значением через

μ = E ⁡ (y) = ∇ A (θ). {\ displaystyle {\ boldsymbol {\ mu}} = \ operatorname {E} (\ mathbf {y}) = \ nabla A ({\ boldsymbol {\ theta}}). \, \!}

{\boldsymbol {\mu }}=\operatorname {E} (\mathbf {y})=\nabla A({\boldsymbol {\theta }}).\,\!

Для скаляров $y {\ displaystyle \ mathbf {y}}$ $\mathbf {y}$ и $θ {\ displaystyle {\ boldsymbol {\ theta}}}$ ${\boldsymbol {\theta }}$ , это сокращается до

μ = E ⁡ (y) = A ′ (θ). {\ displaystyle \ mu = \ operatorname {E} (y) = A '(\ theta).}

\mu =\operatorname {E} (y)=A'(\theta).

В этом сценарии дисперсия распределения может быть показана как

Var ⁡ (y) = ∇ 2 A (θ) d (τ). {\ displaystyle \ operatorname {Var} (\ mathbf {y}) = \ nabla ^ {2} A ({\ boldsymbol {\ theta}}) d (\ tau). \, \!}

\operatorname {Var} (\mathbf {y})=\nabla ^{2}A({\boldsymbol {\theta }})d(\tau).\,\!

Для скаляра $y {\ displaystyle \ mathbf {y}}$ $\mathbf {y}$ и $θ {\ displaystyle {\ boldsymbol {\ theta}}}$ ${\boldsymbol {\theta }}$ , это сокращается до

Var ⁡ (y) = A ″ (θ) d (τ). {\ displaystyle \ operatorname {Var} (y) = A '' (\ theta) d (\ tau). \, \!}

\operatorname {Var} (y)=A''(\theta)d(\tau).\,\!

Линейный предиктор

Линейный предиктор - это величина, которая включает информация о независимых переменных в модели. Символ η (греч. «эта ») обозначает линейный предсказатель. Это связано с ожидаемым значением данных через функцию связи.

η выражается как линейные комбинации (таким образом, «линейные») неизвестных параметров β . Коэффициенты линейной комбинации представлены в виде матрицы независимых переменных X . Таким образом, η может быть выражено как

η = X β. {\ displaystyle \ eta = \ mathbf {X} {\ boldsymbol {\ beta}}. \,}

\eta =\mathbf {X} {\boldsymbol {\beta }}.\,

Функция связи

Функция связи обеспечивает связь между линейным предиктором и средним значением функции распределения. Существует много часто используемых функций ссылок, и их выбор обусловлен несколькими соображениями. Всегда существует четко определенная каноническая функция связи, которая выводится из экспоненты функции плотности ответа. Однако в некоторых случаях имеет смысл попытаться сопоставить домен функции ссылки с диапазоном среднего значения функции распределения или использовать неканоническую функцию ссылки для алгоритмических целей., например, Байесовская пробит-регрессия.

При использовании функции распределения с каноническим параметром $θ {\ displaystyle \ theta}$ $\theta$ функция канонической связи - это функция, которая выражает $θ {\ displaystyle \ theta}$ $\theta$ в терминах $μ {\ displaystyle \ mu}$ $\mu$ , т.е. $θ = b (μ) {\ displaystyle \ theta = b (\ mu)}$ $\theta =b(\mu)$ . Для наиболее распространенных распределений среднее $μ {\ displaystyle \ mu}$ $\mu$ является одним из параметров в стандартной форме функции плотности распределения, а затем $b (μ) {\ displaystyle b (\ mu)}$ $b(\mu)$ - это функция, определенная выше, которая отображает функцию плотности в ее каноническую форму. При использовании функции канонической ссылки $b (μ) = θ = X β {\ displaystyle b (\ mu) = \ theta = \ mathbf {X} {\ boldsymbol {\ beta}}}$ $b(\mu)=\theta =\mathbf {X} {\boldsymbol {\beta }}$ , что позволяет $XTY {\ displaystyle \ mathbf {X} ^ {\ rm {T}} \ mathbf {Y}}$ $\mathbf {X} ^{\rm {T}}\mathbf {Y}$ быть достаточной статистикой для $β {\ displaystyle {\ boldsymbol {\ beta}}}$ ${\boldsymbol {\beta }}$ .

Ниже приводится таблица нескольких широко используемых распределений экспоненциального семейства и данных, для которых они обычно используются, а также канонические функции ссылок и их обратные (иногда называемая средней функцией, как это сделано здесь).

Стандартные распределения с типичным использованием и каноническими функциями ссылки
Распределение	Поддержка распределения	Типичное использование	Имя ссылки	Функция ссылки, $Икс β = g (μ) {\ displaystyle \ mathbf {X} {\ boldsymbol {\ beta}} = g (\ mu) \, \!}$ $\mathbf {X} {\boldsymbol {\beta }}=g(\mu)\,\!$	Средняя функция
Нормальный	вещественный : $(- ∞, + ∞) {\ displaystyle (- \ infty, + \ infty)}$ $(-\infty,+\infty)$	Данные линейного ответа	Идентификация	$X β = μ {\ displaystyle \ mathbf {X} {\ boldsymbol {\ beta}} = \ mu \, \!}$ $\mathbf {X} {\boldsymbol {\beta }}=\mu \,\!$	$μ = X β {\ displaystyle \ mu = \ mathbf {X} {\ boldsymbol {\ beta}} \, \!}$ $\mu =\mathbf {X} {\boldsymbol {\beta }}\,\!$
Экспоненциальная	действительная: $(0, + ∞) {\ displaystyle (0, + \ infty)}$ $(0,+\infty)$	Данные экспоненциального отклика, параметры масштаба	Отрицательная обратная величина	$X β = - μ - 1 {\ displaystyle \ mathbf {X} {\ boldsymbol {\ beta}} = - \ mu ^ {- 1} \, \!}$ $\mathbf {X} {\boldsymbol {\beta }}=-\mu ^{-1}\,\!$	$μ = - (X β) - 1 {\ displaystyle \ mu = - (\ mathbf {X} {\ boldsymbol {\ beta}}) ^ {- 1} \, \!}$ $\mu =-(\mathbf {X} {\boldsymbol {\beta }})^{-1}\,\!$
Гамма		Данные экспоненциального отклика, параметры масштаба	Отрицательная обратная величина
Обратный. Гауссовский	вещественный: $(0, + ∞) {\ displaystyle (0, + \ infty)}$ $(0,+\infty)$		Обратный. в квадрате	$X β = μ - 2 {\ Displaystyle \ mathbf {X} {\ boldsymbol {\ beta}} = \ mu ^ {- 2} \, \!}$ $\mathbf {X} {\boldsymbol {\beta }}=\mu ^{-2}\,\!$	$μ = (X β) - 1/2 {\ displaystyle \ mu = (\ mathbf {X} {\ boldsymbol {\ beta}}) ^ {- 1/2} \, \!}$ $\mu =(\mathbf {X} {\boldsymbol {\beta }})^{-1/2}\,\!$
Пуассон	целое число: $0, 1, 2,… { \ displaystyle 0,1,2, \ ldots}$ $0,1,2,\ldots$	количество вхождений за фиксированный промежуток времени / пространства	Log	$X β = ln ⁡ (μ) {\ displaystyle \ mathbf {X} {\ boldsymbol {\ beta}} = \ пер (\ му) \, \!}$ $\mathbf {X} {\boldsymbol {\beta }}=\ln(\mu)\,\!$	$μ = ехр ⁡ (X β) {\ displaystyle \ mu = \ exp (\ mathbf {X} {\ boldsymbol {\ beta}}) \, \!}$ ${\d isplaystyle \mu =\exp(\mathbf {X} {\boldsymbol {\beta }})\,\!}$
Бернулли	целое число: ${0, 1} {\ displaystyle \ {0,1 \}}$ $\{0,1\}$	результат единственного вхождения "да / нет"	Logit	$Икс β знак равно пер ⁡ (μ 1 - μ) {\ displaystyle \ mathbf {X} {\ boldsymbol {\ beta}} = \ ln \ left ({\ frac {\ mu} {1- \ mu}} \ right) \, \!}$ $\mathbf {X} {\boldsymbol {\beta }}=\ln \left({\frac {\mu }{1-\mu }}\right)\,\!$	$μ знак равно ехр ⁡ (Икс β) 1 + ехр ⁡ (Икс β) = 1 1 + ехр ⁡ (- Икс β) {\ Displaystyle \ му = {\ гидроразрыва {\ ехр (\ mathbf {X} {\ boldsymbol {\ beta}})} {1+ \ exp (\ mathbf {X} {\ boldsymbol {\ beta}})}} = {\ frac {1} {1+ \ exp (- \ mathbf {X} {\ boldsymbol {\ beta}})}} \, \!}$ ${\d isplaystyle \mu ={\frac {\exp(\mathbf {X} {\boldsymbol {\beta }})}{1+\exp(\mathbf {X} {\boldsymbol {\beta }})}}={\frac {1}{1+\exp(-\mathbf {X} {\boldsymbol {\beta }})}}\,\!}$
Биномиальное	целое число: $0, 1,…, N {\ displaystyle 0,1, \ ldots, N}$ $0,1,\ldots,N$	количество появлений «да» из N случаев «да / нет»		$X β = ln ⁡ (μ n - μ) {\ displaystyle \ mathbf {X} {\ boldsymbol {\ beta}} = \ ln \ left ({\ frac {\ mu} {n- \ mu}} \ right) \, \!}$ $\mathbf {X} {\boldsymbol {\beta }}=\ln \left({\frac {\mu }{n-\mu }}\right)\,\!$
Категориальный	целое число: $[0, K) {\ displaystyle [0, K)}$ $[0,K)$	результат одного события K-way		$X β = ln ⁡ (μ 1 - μ) {\ displaystyle \ mathbf { X} {\ boldsymbol {\ beta}} = \ ln \ left ({\ frac {\ mu} {1- \ mu}} \ right) \, \!}$ $\mathbf {X} {\boldsymbol {\beta }}=\ln \left({\frac {\mu }{1-\mu }}\right)\,\!$
Категориальный	K-вектор целого числа: $[0, 1] {\ displaystyle [0,1]}$ $[0,1]$ , где ровно один элемент в векторе имеет значение 1	результат одного события K-way
Многочлен	K-вектор целого числа: $[0, N] {\ displaystyle [0, N]}$ $[0,N]$	количество вхождений разных типов (1.. K) из N всего K-образных вхождений

В случаях экспоненциального и гамма-распределений домен функции канонической ссылки не совпадает с допустимым диапазоном среднего. В частности, линейный предиктор может быть положительным, что приведет к невозможному отрицательному среднему значению. Чтобы максимально увеличить вероятность, необходимо принять меры предосторожности, чтобы этого избежать. Альтернативой является использование функции неканонической ссылки.

В случае распределений Бернулли, биномиальных, категориальных и полиномиальных распределений поддержка распределений не является тем же типом данных, что и прогнозируемый параметр. Во всех этих случаях прогнозируемый параметр представляет собой одну или несколько вероятностей, то есть действительные числа в диапазоне $[0, 1] {\ displaystyle [0,1]}$ $[0,1]$ . Результирующая модель известна как логистическая регрессия (или мультиномиальная логистическая регрессия в случае, когда прогнозируются K-пути, а не двоичные значения).

Для распределений Бернулли и биномиального распределения параметр представляет собой единственную вероятность, указывающую вероятность возникновения единственного события. Бернулли по-прежнему удовлетворяет основному условию обобщенной линейной модели в том, что, даже если единичный результат всегда будет либо 0, либо 1, ожидаемое значение, тем не менее, будет действительной вероятностью, т. Е. Вероятностью возникновение ответа «да» (или 1). Точно так же в биномиальном распределении ожидаемое значение равно Np, то есть ожидаемая доля результатов «да» будет вероятностью, которая будет предсказана.

Для категориальных и полиномиальных распределений прогнозируемым параметром является K-вектор вероятностей с дополнительным ограничением, что все вероятности должны составлять в сумме 1. Каждая вероятность указывает вероятность появления одного из K возможные значения. Для полиномиального распределения и для векторной формы категориального распределения ожидаемые значения элементов вектора могут быть связаны с предсказанными вероятностями аналогично биномиальному распределению и распределению Бернулли.

Подгонка

Максимальное правдоподобие

Оценки максимального правдоподобия могут быть найдены с использованием итеративно пересмотренного алгоритма наименьших квадратов или 271>Метод Ньютона с обновлениями вида:

β (t + 1) = β (t) + J - 1 (β (t)) u (β (t)), {\ displaystyle {\ boldsymbol {\ beta}} ^ {(t + 1)} = {\ boldsymbol {\ beta}} ^ {(t)} + {\ mathcal {J}} ^ {- 1} ({\ boldsymbol {\ beta} } ^ {(t)}) u ({\ boldsymbol {\ beta}} ^ {(t)}),}

{\boldsymbol {\beta }}^{(t+1)}={\boldsymbol {\beta }}^{(t)}+{\mathcal {J}}^{-1}({\boldsymbol {\beta }}^{(t)})u({\boldsymbol {\beta }}^{(t)}),

где $J (β (t)) {\ displaystyle {\ mathcal {J} } ({\ boldsymbol {\ beta}} ^ {(t)})}$ ${\mathcal {J}}({\boldsymbol {\beta }}^{(t)})$ - это наблюдаемая информационная матрица (отрицательная часть матрицы Гессе ) и $u (β (t)) {\ displaystyle u ({\ boldsymbol {\ beta}} ^ {(t)})}$ $u({\boldsymbol {\beta }}^{(t)})$ - функция оценки ; или метод оценки Фишера :

β (t + 1) = β (t) + I - 1 (β (t)) u (β (t)), {\ displaystyle {\ boldsymbol {\ beta}} ^ {(t + 1)} = {\ boldsymbol {\ beta}} ^ {(t)} + {\ mathcal {I}} ^ {- 1} ({\ boldsymbol {\ beta}} ^ {(t)}) u ({\ boldsymbol {\ beta}} ^ {(t)}),}

{\boldsymbol {\beta }}^{(t+1)}={\boldsymbol {\beta }}^{(t)}+{\mathcal {I}}^{-1}({\boldsymbol {\beta }}^{(t)})u({\boldsymbol {\beta }}^{(t)}),

где $I (β (t)) {\ displaystyle {\ mathcal {I}} ({\ boldsymbol {\ beta}} ^ {(t)})}$ ${\mathcal {I}}({\boldsymbol {\beta }}^{(t)})$ - матрица информации Фишера. Обратите внимание, что если используется функция канонической ссылки, то они одинаковы.

Байесовские методы

В общем, апостериорное распределение не может быть найдено в закрытом форма и поэтому должна быть аппроксимирована, обычно с использованием аппроксимации Лапласа или какого-либо типа метода Монте-Карло с цепью Маркова, такого как выборка Гиббса.

Примеры

Общие линейные модели

Возможная путаница связана с различием между обобщенными линейными моделями и общей линейной моделью, двумя широкими статистическими моделями. Общую линейную модель можно рассматривать как частный случай обобщенной линейной модели с тождественной связью и нормально распределенными ответами. Поскольку наиболее точные представляющие интерес результаты получены только для общей линейной модели, общая линейная модель претерпела несколько более длительное историческое развитие. Результаты для обобщенной линейной модели с неидентификационной связью являются асимптотическими (обычно хорошо работают с большими выборками).

Линейная регрессия

Простым, очень важным примером обобщенной линейной модели (также примером общей линейной модели) является линейная регрессия. В линейной регрессии использование оценки методом наименьших квадратов оправдано теоремой Гаусса – Маркова, которая не предполагает, что распределение является нормальным.

Однако с точки зрения обобщенных линейных моделей полезно предположить, что функция распределения - это нормальное распределение с постоянной дисперсией, а функция связи - это тождество, которое является канонической связью, если дисперсия известна..

Для нормального распределения обобщенная линейная модель имеет выражение замкнутой формы для оценок максимального правдоподобия, что удобно. В большинстве других GLM отсутствуют оценки закрытой формы.

Двоичные данные

Когда данные ответа Y являются двоичными (принимают только значения 0 и 1), функцией распределения обычно выбирается распределение Бернулли и интерпретация μ i тогда представляет собой вероятность p того, что Y i принимает значение один.

Существует несколько популярных функций связи для биномиальных функций.

Функция связи Logit

Наиболее типичной функцией связи является каноническая ссылка logit :

g (p) = ln ⁡ (p 1 - p). {\ displaystyle g (p) = \ ln \ left ({p \ over 1-p} \ right).}

g(p)=\ln \left({p \over 1-p}\right).

GLM с этой настройкой - это модели логистической регрессии (или модели логита).

Пробит-функция связи как популярный выбор обратной кумулятивной функции распределения

В качестве альтернативы, обратная любая непрерывная кумулятивная функция распределения (CDF) может использоваться для связи, поскольку Диапазон CDF - $[0, 1] {\ displaystyle [0,1]}$ $[0,1]$ , диапазон биномиального среднего. нормальный CDF $Φ {\ displaystyle \ Phi}$ $\Phi$ является популярным выбором и дает пробит-модель. Его ссылка

g (p) = Φ - 1 (p). {\ displaystyle g (p) = \ Phi ^ {- 1} (p). \, \!}

g(p)=\Phi ^{-1}(p).\,\!

Причина использования пробит-модели заключается в том, что постоянное масштабирование входной переменной до нормального CDF ( который может быть поглощен путем эквивалентного масштабирования всех параметров) дает функцию, которая практически идентична функции логита, но пробит-модели более управляемы в некоторых ситуациях, чем логит-модели. (В байесовской настройке, в которой нормально распределенные предварительные распределения помещаются в параметры, связь между нормальными априорными значениями и нормальной функцией связи CDF означает, что пробит-модель может быть вычислена с использованием Выборка Гиббса, хотя логит-модель обычно не может.)

Дополнительный журнал-журнал (cloglog)

Также может использоваться дополнительная функция журнала-журнала:

g (p) = журнал ⁡ (- журнал ⁡ (1 - p)). {\ displaystyle g (p) = \ log (- \ log (1-p)).}

g(p)=\log(-\log(1-p)).

Эта функция связи является асимметричной и часто дает разные результаты от функций связи logit и probit. Модель Cloglog соответствует приложениям, в которых мы наблюдаем либо ноль событий (например, дефекты), либо одно или несколько событий, где предполагается, что количество событий соответствует распределению Пуассона. Предположение Пуассона означает, что

Pr (0) = exp ⁡ (- μ), {\ displaystyle \ Pr (0) = \ exp (- \ mu),}

\Pr(0)=\exp(-\mu),

где μ - положительное число, обозначающее ожидаемое количество событий. Если p представляет собой долю наблюдений хотя бы с одним событием, его дополнение

(1 - p) = Pr (0) = exp ⁡ (- μ), {\ displaystyle (1-p) = \ Pr (0) = \ exp (- \ mu),}

(1-p)=\Pr(0)=\exp(-\mu),

, а затем

(- log ⁡ (1 - p)) = μ. {\ displaystyle (- \ log (1-p)) = \ mu.}

(-\log(1-p))=\mu.

Линейная модель требует, чтобы переменная ответа принимала значения по всей реальной линии. Поскольку μ должно быть положительным, мы можем добиться этого, взяв логарифм и позволив log (μ) быть линейной моделью. Это производит преобразование "cloglog"

log ⁡ (- log ⁡ (1 - p)) = log ⁡ (μ). {\ displaystyle \ log (- \ log (1-p)) = \ log (\ mu).}

\log(-\log(1-p))=\log(\mu).

Ссылка идентичности

Ссылка идентичности g (p) = p также иногда используется для бинома данные для получения линейной вероятностной модели. Однако идентификационная ссылка может предсказывать бессмысленные «вероятности» меньше нуля или больше единицы. Этого можно избежать, используя такие преобразования, как cloglog, probit или logit (или любую обратную кумулятивную функцию распределения). Основное достоинство идентификационной связи состоит в том, что ее можно оценить с помощью линейной математики, а другие стандартные функции связи приблизительно линейно соответствуют идентификационной связи около p = 0,5.

Функция дисперсии

Функция дисперсии для «квазибиномиальных» данных:

Var ⁡ (Y i) = τ μ i (1 - μ i) { \ displaystyle \ operatorname {Var} (Y_ {i}) = \ tau \ mu _ {i} (1- \ mu _ {i}) \, \!}

\operatorname {Var} (Y_{i})=\tau \mu _{i}(1-\mu _{i})\,\!

где параметр дисперсии τ равен 1 для биномиальное распределение. Действительно, стандартное биномиальное правдоподобие опускает τ. Когда он присутствует, модель называется «квазибиномиальной», а модифицированное правдоподобие называется квазивероятностью, поскольку обычно это не вероятность, соответствующая какому-либо реальному семейству распределений вероятностей. Если τ превышает 1, говорят, что модель демонстрирует избыточную дисперсию.

Мультиномиальную регрессию

Биномиальный случай можно легко расширить, чтобы учесть полиномиальное распределение в качестве ответа (также, Обобщенная линейная модель для подсчетов с ограниченной суммой). Обычно это делается двумя способами:

Упорядоченный ответ

Если переменная ответа порядковый номер, то можно подобрать модельную функцию в форме:

g (μ m) = η m = β 0 + X 1 β 1 + ⋯ + X p β p + γ 2 + ⋯ + γ m = η 1 + γ 2 + ⋯ + γ m, где μ m = P ⁡ (Y ≤ m). {\ displaystyle g (\ mu _ {m}) = \ eta _ {m} = \ beta _ {0} + X_ {1} \ beta _ {1} + \ cdots + X_ {p} \ beta _ {p } + \ gamma _ {2} + \ cdots + \ gamma _ {m} = \ eta _ {1} + \ gamma _ {2} + \ cdots + \ gamma _ {m} {\ text {where}} \ mu _ {m} = \ operatorname {P} (Y \ leq m). \,}

g(\mu _{m})=\eta _{m}=\beta _{0}+X_{1}\beta _{1}+\cdots +X_{p}\beta _{p}+\gamma _{2}+\cdots +\gamma _{m}=\eta _{1}+\gamma _{2}+\cdots +\gamma _{m}{\text{ where }}\mu _{m}=\operatorname {P} (Y\leq m).\,

для m>2. Различные связи g ведут к моделям порядковой регрессии, таким как модели пропорциональных шансов или упорядоченные пробит модели.

Неупорядоченный ответ

Если переменная ответа представляет собой номинальное измерение или данные не удовлетворяют предположениям упорядоченной модели, можно подобрать следующую модель форма:

g (μ m) = η m = β m, 0 + X 1 β m, 1 + ⋯ + X p β m, p, где μ m = P (Y = m ∣ Y ∈ {1, m }). {\ displaystyle g (\ mu _ {m}) = \ eta _ {m} = \ beta _ {m, 0} + X_ {1} \ beta _ {m, 1} + \ cdots + X_ {p} \ beta _ {m, p} {\ text {where}} \ mu _ {m} = \ mathrm {P} (Y = m \ mid Y \ in \ {1, m \}). \,}

g(\mu _{m})=\eta _{m}=\beta _{m,0}+X_{1}\beta _{m,1}+\cdots +X_{p}\beta _{m,p}{\text{ where }}\mu _{m}=\mathrm {P} (Y=m\mid Y\in \{1,m\}).\,

при m>2. Различные связи g приводят к полиномиальным логит-моделям или полиномиальным пробит моделям. Они являются более общими, чем модели упорядоченного отклика, и оцениваются больше параметров.

Данные подсчета

Другой пример обобщенных линейных моделей включает в себя регрессию Пуассона, которая моделирует данные подсчета с использованием распределения Пуассона. Ссылка обычно представляет собой логарифм, каноническую ссылку.

Функция дисперсии пропорциональна среднему.

var ⁡ (Y i) = τ μ i, {\ displaystyle \ operatorname {var} (Y_ {i}) = \ tau \ mu _ {i }, \,}

\operatorname {var} (Y_{i})=\tau \mu _{i},\,

где параметр дисперсии τ обычно фиксируется ровно на единицу. Если это не так, результирующая модель квази-правдоподобия часто описывается как модель Пуассона с сверхдисперсией или квазипуассон.

Расширения

Коррелированные или кластеризованные данные

Стандартный GLM предполагает, что наблюдения некоррелированы. Были разработаны расширения для обеспечения корреляции между наблюдениями, как, например, в продольных исследованиях и кластерных планах:

Обобщенные уравнения оценки (GEE) позволяют для корреляции между наблюдениями без использования явной вероятностной модели происхождения корреляций, поэтому нет явного правдоподобия. Они подходят, когда случайные эффекты и их дисперсии не представляют внутреннего интереса, поскольку они допускают корреляцию без объяснения ее происхождения. Основное внимание уделяется оценке среднего отклика по совокупности («усредненные по совокупности» эффекты), а не параметрам регрессии, которые позволят прогнозировать влияние изменения одного или нескольких компонентов X на данного человека. GEE обычно используются в сочетании со стандартными ошибками Хубера – Уайта.
Обобщенные линейные смешанные модели (GLMM) являются расширением GLM, которое включает случайные эффекты в линейный предиктор, давая явную вероятностную модель, объясняющую происхождение корреляций. Результирующие оценки параметров «для конкретного субъекта» подходят, когда основное внимание уделяется оценке влияния изменения одного или нескольких компонентов X на данного человека. GLMM также называют многоуровневыми моделями и смешанной моделью. В общем, подгонка GLMM является более сложной и трудоемкой с точки зрения вычислений, чем подгонка GEE.

Обобщенные аддитивные модели

Обобщенные аддитивные модели (GAM) - это еще одно расширение GLM, в котором линейный предиктор η не ограничен линейным в ковариатах X, но представляет собой сумму функций сглаживания, примененных к x i s:

η = β 0 + f 1 (x 1) + е 2 (х 2) + ⋯ {\ displaystyle \ eta = \ beta _ {0} + f_ {1} (x_ {1}) + f_ {2} (x_ {2}) + \ cdots \, \! }

\eta =\beta _{0}+f_{1}(x_{1})+f_{2}(x_{2})+\cdots \,\!

Функции сглаживания f i оцениваются на основе данных. Как правило, для этого требуется большое количество точек данных и большие объемы вычислений.

Путаница с общими линейными моделями

Термин «обобщенная линейная модель» и особенно его аббревиатура GLM иногда путают с the term "general linear model". Co-originator John Nelder has expressed regret over this terminology.