Функция отклонения

редактировать

В статистике функция отклонения является сглаживающей функцией, которая отображает дисперсия случайной величины как функция ее среднего значения. Функция дисперсии играет большую роль во многих параметрах статистического моделирования. Он является основным компонентом структуры обобщенной линейной модели и инструментом, используемым в непараметрической регрессии, полупараметрической регрессии и функциональном анализе данных. В параметрическом моделировании функции дисперсии принимают параметрическую форму и явно описывают взаимосвязь между дисперсией и средним значением случайной величины. В непараметрической настройке предполагается, что функция дисперсии является сглаженной функцией.

Содержание

  • 1 Intuition
  • 2 Типа
    • 2.1 Обобщенная линейная модель
      • 2.1.1 Выведение
      • 2.1.2 Пример - нормальный
      • 2.1.3 Пример - Бернулли
      • 2.1.4 Пример - Пуассон
      • 2.1.5 Пример - Гамма
      • 2.1.6 Приложение - взвешенные наименьшие квадраты
      • 2.1. 7 Приложение - квази-правдоподобие
    • 2.2 Непараметрический регрессионный анализ
  • 3 Примечания
  • 4 Ссылки
  • 5 Внешние ссылки

Интуиция

В настройках регрессионной модели цель чтобы установить, существует ли связь между переменной ответа и набором переменных-предикторов. Кроме того, если связь действительно существует, цель состоит в том, чтобы как можно лучше описать эту связь. Основное предположение в линейной регрессии - постоянная дисперсия или (гомоскедастичность), что означает, что разные переменные отклика имеют одинаковую дисперсию своих ошибок на каждом уровне предикторов. Это предположение хорошо работает, когда переменная ответа и переменная предиктора вместе являются нормальными, см. нормальное распределение. Как мы увидим позже, функция дисперсии в настройке Normal является постоянной, однако мы должны найти способ количественной оценки гетероскедастичности (непостоянной дисперсии) в отсутствие совместной нормальности.

Когда вероятно, что ответ следует распределению, которое является членом экспоненциального семейства, обобщенная линейная модель может быть более подходящей для использования, и, более того, когда мы не хотим навязывая параметрическую модель нашим данным, может быть полезен подход непараметрической регрессии. Важность возможности моделирования дисперсии как функции среднего заключается в улучшенном выводе (в параметрической настройке) и оценке функции регрессии в целом для любой настройки.

Функции дисперсии играют очень важную роль в оценке и выводе параметров. Как правило, оценка максимального правдоподобия требует определения функции правдоподобия. Это требование подразумевает, что сначала необходимо указать распределение наблюдаемых переменных отклика. Однако для определения квази-правдоподобия нужно только указать взаимосвязь между средним значением и дисперсией наблюдений, чтобы затем иметь возможность использовать функцию квази-правдоподобия для оценки. Оценка квази-правдоподобия особенно важна полезен при избыточной дисперсии. Чрезмерная дисперсия возникает, когда данные более изменчивы, чем следовало ожидать в противном случае в соответствии с предполагаемым распределением данных.

Таким образом, чтобы гарантировать эффективный вывод параметров регрессии и функции регрессии, необходимо учитывать гетероскедастичность. Функции дисперсии количественно определяют взаимосвязь между дисперсией и средним значением наблюдаемых данных и, следовательно, играют важную роль в оценке и выводе регрессии.

Типы

Функция дисперсии и ее приложения используются во многих областях статистического анализа. Очень важно использовать эту функцию в рамках обобщенных линейных моделей и непараметрической регрессии.

Обобщенной линейной модели

Когда член экспоненциальной семейство, функция дисперсии может быть легко выведена. Общая форма функции дисперсии представлена ​​в контексте экспоненциального семейства, а также в конкретных формах для нормального, Бернулли, Пуассона и гаммы. Кроме того, мы описываем приложения и использование функций дисперсии в оценке максимального правдоподобия и оценки квази правдоподобия.

Деривация

Обобщенная линейная модель (GLM), является обобщением обычного регрессионного анализа, который распространяется на любой член экспоненциального семейства. Это особенно полезно, когда переменная ответа является категориальной, двоичной или подвержена ограничению (например, только положительные ответы имеют смысл). Краткое описание компонентов GLM приведено на этой странице, но для получения более подробной информации см. Страницу обобщенных линейных моделей.

A GLM состоит из трех основных компонентов:

1. Случайный компонент: распределение y из экспоненциального семейства, E [y ∣ X] = μ {\ displaystyle E [y \ mid X] = \ mu}{\displaystyle E[y\mid X]=\mu }
2. Линейный предсказатель: η = XB = ∑ j = 1 p X ij TB j {\ displaystyle \ eta = XB = \ sum _ {j = 1} ^ {p} X_ {ij} ^ {T} B_ {j }}{\displaystyle \eta =XB=\sum _{j=1}^{p}X_{ij}^{T}B_{j}}
3. Функция связи: η = g (μ), μ = g - 1 (η) {\ displaystyle \ eta = g (\ mu), \ mu = g ^ {- 1} (\ eta)}{\displaystyle \eta =g(\mu),\mu =g^{-1}(\eta)}

Во-первых, важно вывести пару ключевых свойств экспоненциального семейства.

Любая случайная величина y {\ displaystyle {\ textit {y}}}{\displaystyle {\textit {y}}}в экспоненциальном семействе имеет функцию плотности вероятности вида

f (y, θ, ϕ) знак равно ехр ⁡ (Y θ - b (θ) ϕ - c (y, ϕ)) {\ displaystyle f (y, \ theta, \ phi) = \ exp \ left ({\ frac {y \ theta -b (\ theta)} {\ phi}} - c (y, \ phi) \ right)}{\displaystyle f(y,\theta,\phi)=\exp \left({\frac {y\theta -b(\theta)}{\ phi }}-c(y,\phi)\right)}

с логарифмической вероятностью,

ℓ (θ, y, ϕ) = log ⁡ (f (y, θ, ϕ)) знак равно Y θ - б (θ) ϕ - с (Y, ϕ) {\ Displaystyle \ ell (\ theta, y, \ phi) = \ log (f (y, \ theta, \ phi)) = {\ frac {y \ theta -b (\ theta)} {\ phi}} - c (y, \ phi)}{\displaystyle \ell (\theta,y,\phi)=\log(f(y,\theta,\phi))={\frac {y\theta -b(\theta)}{\phi }}-c(y,\phi)}

Здесь θ {\ displaystyle \ theta}\ theta - это канонический параметр и интересующий параметр, а ϕ {\ displaystyle \ phi}\phi - нежелательный параметр, который играет роль в дисперсии. Мы используем Идентичности Бартлетта, чтобы получить общее выражение для функции отклонения . Первый и второй результаты Бартлетта гарантируют, что при подходящих условиях (см. интегральное правило Лейбница ) для функции плотности, зависящей от θ, f θ () {\ displaystyle \ theta, f _ {\ theta} ()}{\displaystyle \theta,f_{\theta }()},

E θ ⁡ [∂ ∂ θ журнал ⁡ (е θ (y))] = 0 {\ displaystyle \ operatorname {E} _ {\ theta} \ left [{\ frac {\ partial} {\ частичное \ theta}} \ log (f _ {\ theta} (y)) \ right] = 0}{\displaystyle \operatorname {E} _{\theta }\left[{\frac {\partial }{\partial \theta }}\log(f_{\theta }(y))\right]=0}
Var θ ⁡ [∂ ∂ θ log ⁡ (f θ (y))] + E θ ⁡ [∂ 2 ∂ θ 2 журнал ⁡ (е θ (y))] знак равно 0 {\ displaystyle \ operatorname {Var} _ {\ theta} \ left [{\ frac {\ partial} {\ partial \ theta}} \ log (f_ { \ theta} (y)) \ right] + \ operatorname {E} _ {\ theta} \ left [{\ frac {\ partial ^ {2}} {\ partial \ theta ^ {2}}} \ log (f_ {\ theta} (y)) \ right] = 0}{\displaystyle \operatorname {Var} _{\theta }\left[{\frac {\partial }{\partial \theta }}\log(f_{\theta }(y))\right]+\operatorname {E} _{\theta }\left[{\frac {\partial ^{2}}{\partial \theta ^{2}}}\log(f_{\theta }(y))\right]=0}

Эти тождества приводят к простым вычислениям ожидаемого значения и дисперсии любой случайной величины y {\ displaystyle {\ textit {y}}}{\displaystyle {\textit {y}}}в семействе экспонент E θ [y], V ar θ [y] {\ displaystyle E _ {\ theta} [y], Var _ {\ theta} [y]}{\displaystyle E_{\theta }[y],Var_{\theta }[y]}.

Ожидаемое значение Y: Принимая первую производную е относительно θ {\ displaystyle \ theta}\ theta журнала плотности в форме экспоненциального семейства, описанной выше, мы имеем

∂ ∂ θ log ⁡ (f (y, θ, ϕ)) знак равно ∂ ∂ θ [y θ - b (θ) ϕ - c (y, ϕ)] = y - b ′ (θ) ϕ {\ displaystyle {\ frac {\ partial} {\ partial \ theta} } \ log (f (y, \ theta, \ phi)) = {\ frac {\ partial} {\ partial \ theta}} \ left [{\ frac {y \ theta -b (\ theta)} {\ phi }} - c (y, \ phi) \ right] = {\ frac {y-b '(\ theta)} {\ phi}}}{\displaystyle {\frac {\partial }{\partial \theta }}\log(f(y,\theta,\phi))={\frac {\partial }{\partial \theta }}\left[{\frac {y\theta -b(\theta)}{\phi }}-c(y,\phi)\right]={\frac {y-b'(\theta)}{\phi }}}

Затем, взяв ожидаемое значение и установив его равным нулю, мы получим,

E θ ⁡ [y - b ′ (θ) ϕ] = E θ ⁡ [y] - b ′ (θ) ϕ = 0 {\ displaystyle \ operatorname {E} _ {\ theta} \ left [{\ frac {y-b '(\ theta)} {\ phi}} \ right] = {\ frac {\ operatorname {E} _ {\ theta} [y] -b' (\ theta)} {\ phi}} = 0}{\displaystyle \operatorname {E} _{\theta }\left[{\frac {y-b'(\theta)}{\phi }}\right]={\frac {\operatorname {E} _{\theta }[y]-b'(\theta)}{\phi }}=0}
E θ ⁡ [y] = b '(θ) {\ displaystyle \ operatorname {E} _ {\ theta} [y] = b' (\ theta)}{\displaystyle \operatorname {E} _{\theta }[y]=b'(\theta)}

Дисперсия Y: Для вычисления дисперсии мы используем второе тождество Бартлетта,

Var θ ⁡ [∂ ∂ θ (y θ - b (θ) ϕ - c (y, ϕ))] + E θ ⁡ [∂ 2 ∂ θ 2 (у θ - b (θ) ϕ - c (y, ϕ))] знак равно 0 {\ displaystyle \ operatorname {Var} _ {\ theta} \ left [{\ frac {\ partial} {\ partial \ theta}} \ left ({\ frac {y \ theta -b (\ theta)} {\ phi}} - c (y, \ phi) \ right) \ right] + \ operatorname {E} _ {\ theta} \ left [{\ frac {\ partial ^ { 2}} {\ partial \ theta ^ {2}}} \ left ({\ frac {y \ theta -b (\ theta)} {\ phi}} - c (y, \ phi) \ right) \ right] = 0}{\displaystyle \operatorname {Var} _{\theta }\left[{\frac {\partial }{\partial \theta }}\left({\frac {y\theta -b(\ theta)}{\phi }}-c(y,\phi)\right)\right]+\operatorname {E} _{\theta }\left[{\frac {\partial ^{2}}{\partial \theta ^{2}}}\left({\frac {y\theta -b(\theta)}{\phi }}-c(y,\phi)\right)\right]=0}
Вар θ ⁡ [y - b ′ (θ) ϕ] + E θ ⁡ [- b ″ (θ) ϕ] = 0 {\ displaystyle \ operatorname {Var} _ {\ theta} \ left [ {\ frac {y-b '(\ theta)} {\ phi}} \ right] + \ operatorname {E} _ {\ theta} \ left [{\ frac {-b' '(\ theta)} {\ phi}} \ right] = 0}{\displaystyle \operatorname {Var} _{\theta }\left[{\frac {y-b'(\theta)}{\phi }}\right]+\operatorname {E} _{\theta }\left[{\frac {-b''(\theta)}{\phi }}\right]=0}
Var θ ⁡ [y] = b ″ (θ) ϕ {\ displaystyle \ operatorname {Var} _ {\ theta} \ left [y \ right] = b '' ( \ theta) \ phi}{\displaystyle \operatorname {Var} _{\theta }\left[y\right]=b''(\theta)\phi }

Теперь у нас есть связь между μ {\ displaystyle \ mu}\mu и θ {\ displaystyle \ theta}\ theta , а именно

μ знак равно b ′ (θ) {\ displaystyle \ mu = b '(\ theta)}{\displaystyle \mu =b'(\theta)}и θ = b ′ - 1 (μ) {\ displaystyle \ theta = b' ^ {- 1} (\ mu)}{\displaystyle \theta =b'^{-1}(\mu)}, что позволяет установить связь между μ {\ displaysty le \ mu}\mu и дисперсия,
V (θ) = b ″ (θ) = часть дисперсии, которая зависит от θ {\ displaystyle V (\ theta) = b '' ( \ theta) = {\ text {часть дисперсии, которая зависит от}} \ theta}{\displaystyle V(\theta)=b''(\theta)={\text{the part of the variance that depends on }}\theta }
V ⁡ (μ) = b ″ (b ′ - 1 (μ)). {\ displaystyle \ operatorname {V} (\ mu) = b '' (b '^ {- 1} (\ mu)). \,}{\displaystyle \operatorname {V} (\mu)=b''(b'^{-1}(\mu)).\,}

Обратите внимание, поскольку Var θ ⁡ [y]>0, б ″ (θ)>0 {\ displaystyle \ operatorname {Var} _ {\ theta} \ left [y \ right]>0, b '' (\ theta)>0}{\displaystyle \operatorname {Var} _{\theta }\left[y\right]>0, b '' (\ theta)>0} , то b ′: θ → μ {\ displaystyle b ': \ theta \ rightarrow \ mu}{\displaystyle b':\theta \rightarrow \mu }обратимо. Мы выводим функцию дисперсии для нескольких распространенных распределений.

Пример - нормальное

Нормальное распределение - это особый случай, когда функция дисперсии является постоянной. Пусть y ∼ N (μ, σ 2) {\ displaystyle y \ sim N (\ mu, \ sigma ^ {2})}{\displaystyle y\sim N(\mu,\sigma ^{2})}затем мы помещаем функцию плотности y в форму экспоненциального семейства, описанного выше:

f (y) = ехр ⁡ (Y μ - μ 2 2 σ 2 - Y 2 2 σ 2 - 1 2 пер ⁡ 2 π σ 2) {\ Displaystyle f (y) = \ ехр \ влево ({\ гидроразрыва {у \ му - {\ гидроразрыв {\ mu ^ {2}} {2}}} {\ sigma ^ {2}}} - {\ fra c {y ^ {2}} {2 \ sigma ^ {2}}} - {\ frac {1} {2}} \ ln {2 \ pi \ sigma ^ {2}} \ right)}{\displaystyle f(y)=\exp \left({\frac {y\mu -{\frac {\mu ^{2}}{2}}}{\sigma ^{2}}}-{\frac {y^{2}}{2\sigma ^{2}}}-{\ frac {1}{2}}\ln {2\pi \sigma ^{2}}\right)}

где

θ = μ, {\ displaystyle \ theta = \ mu,}{\ displaystyle \ theta = \ mu,}
b (θ) = μ 2 2, {\ displaystyle b (\ theta) = {\ frac {\ mu ^ {2}} { 2}},}{\displaystyle b(\theta)={\frac {\mu ^{2}}{2}},}
ϕ = σ 2, {\ displaystyle \ phi = \ sigma ^ {2},}{\displaystyle \phi =\sigma ^{2},}
c (y, ϕ) = - y 2 2 σ 2 - 1 2 ln ⁡ 2 π σ 2 {\ displaystyle c (y, \ phi) = - {\ frac {y ^ {2}} {2 \ sigma ^ {2}}} - {\ frac {1} {2}} \ ln {2 \ pi \ sigma ^ {2}}}{\ displaystyle c ( y, \ phi) = - {\ frac {y ^ {2}} {2 \ sigma ^ {2}}} - {\ frac {1} {2}} \ ln {2 \ pi \ sigma ^ {2} }}

Чтобы вычислить функцию дисперсии V (μ) {\ displaystyle V (\ mu)}{\displaystyle V(\mu)}, сначала мы выражаем θ {\ displaystyle \ theta}\ theta как функция от μ {\ displaystyle \ mu}\mu . Затем мы преобразуем V (θ) {\ displaystyle V (\ theta)}V(\theta)в функцию μ {\ displaystyle \ mu}\mu

θ = μ {\ displaystyle \ theta = \ mu}{\displaystyle \theta =\mu }
b ′ (θ) = θ = E ⁡ [y] = μ {\ displaystyle b '(\ theta) = \ theta = \ operatorname {E} [y] = \ mu}{\displaystyle b'(\theta)=\theta =\operatorname {E} [y]=\mu }
V (θ) = b ″ (θ) = 1 {\ displaystyle V (\ theta) = b '' (\ theta) = 1}{\displaystyle V(\theta)=b''(\theta)=1}

Следовательно, функция дисперсии постоянна.

Пример - Бернулли

Пусть y ∼ Бернулли (p) {\ displaystyle y \ sim {\ text {Bernoulli}} (p)}{ \ displaystyle y \ sim {\ text {Bernoulli}} (p)} , тогда мы выражаем плотность распределения Бернулли в экспоненциальной форме семейства,

f (y) = exp ⁡ (y ln ⁡ p 1 - p + ln ⁡ (1 - p)) {\ displaystyle f (y) = \ exp \ left (y \ ln {\ frac {p} {1-p}} + \ ln (1-p) \ right)}{\ displaystyle f (y) = \ exp \ left (y \ ln {\ frac {p} {1-p}} + \ ln (1-p) \ right)}
θ = ln ⁡ p 1 - p = {\ displaystyle \ theta = \ ln {\ frac {p} {1-p}} =}{\displaystyle \theta =\ln {\frac {p}{1-p}}=}logit (p), что дает нам p = e θ 1 + e θ = {\ displaystyle p = {\ гидроразрыва {е ^ {\ theta}} {1 + e ^ {\ theta}}} =}{\displaystyle p={\frac {e^{\theta }}{1+e^{\theta }}}=}expit (θ) {\ displaystyle (\ theta)}(\theta)
b (θ) знак равно пер ⁡ (1 + е θ) {\ displaystyle b (\ theta) = \ ln (1 + e ^ {\ theta})}{\displaystyle b(\theta)=\ln(1+e^{\theta })}и
b '(θ) = е θ 1 + е θ = {\ displaystyle b '(\ theta) = {\ frac {e ^ {\ theta}} {1 + e ^ {\ theta}}} =}{\displaystyle b'(\theta)={\frac {e^{\theta }}{1+e^{\theta }}}=}expit (θ) знак равно п = μ {\ displaystyle (\ theta) = p = \ mu}{\displaystyle (\theta)=p=\mu }
b ″ (θ) = e θ 1 + e θ - (e θ 1 + e θ) 2 {\ displaystyle b '' (\ theta) = {\ frac {e ^ {\ theta}} {1 + e ^ {\ theta}}} - \ left ({\ frac {e ^ {\ theta}} {1 + e ^ { \ theta}}} \ право) ^ {2}}{\displaystyle b''(\theta)={\frac {e^{\theta }}{1+e^{\theta }}}-\left({\frac {e^{\theta }}{1+e^{\theta }}}\right)^{2}}

Это дает нам

V (μ) = μ (1 - μ) {\ displaystyle V (\ mu) = \ mu (1- \ mu)}{\displaystyle V(\mu)=\mu (1-\mu)}

Пример - Пуассон

Пусть y ∼ Пуассона (λ) {\ displaystyle y \ sim {\ text {Poisson}} (\ lambda)}{\displaystyle y\sim {\text{Poisson}}(\lambda)}, тогда мы выражаем плотность Распределение Пуассона в форме экспоненциального семейства,

f (y) = exp ⁡ (y ln ⁡ λ - ln ⁡ λ) {\ displaystyle f (y) = \ exp (y \ ln \ lambda - \ ln \ lambda)}{\displaystyle f(y)=\exp(y\ln \lambda -\ln \lambda)}
θ = пер ⁡ λ = {\ displaystyle \ theta = \ ln \ lambda =}{\displaystyle \theta =\ln \lambda =}, что дает нам λ = e θ {\ displaystyle \ lambda = e ^ { \ theta}}{\displaystyle \lambda =e^{\theta }}
b (θ) = e θ {\ displaystyle b (\ theta) = e ^ {\ theta}}{\displaystyle b(\theta)=e^{\theta }}и
b '(θ) = e θ = λ знак равно μ {\ displaystyle b '(\ theta) = e ^ {\ theta} = \ lambda = \ mu}{\displaystyle b'(\theta)=e^{\theta }=\lambda =\mu }
b ″ (θ) = e θ = μ {\ displaystyle b' '(\ theta) = e ^ {\ theta} = \ mu}{\displaystyle b''(\theta)=e^{\theta }=\mu }

Это дает нам

V (μ) = μ {\ displaystyle V (\ mu) = \ mu}{\displaystyle V(\mu)=\mu }

Здесь мы видим центральное свойство пуассоновских данных: дисперсия равна среднему.

Пример - Гамма

Гамма-распределение и функция плотности могут быть выражены с помощью различных параметризаций. Мы будем использовать форму гаммы с параметрами (μ, ν) {\ displaystyle (\ mu, \ nu)}{\displaystyle (\mu,\nu)}

f μ, ν (y) = 1 Γ (ν) y (ν y μ) ν е ν Y μ {\ displaystyle f _ {\ mu, \ nu} (y) = {\ frac {1} {\ Gamma (\ nu) y}} \ left ({\ frac {\ nu y} {\ mu}} \ right) ^ {\ nu} e ^ {\ frac {\ nu y} {\ mu}}}{\displaystyle f_{\mu,\nu }(y)={\frac {1}{\Gamma (\nu)y}}\left({\frac {\ nu y}{\mu }}\right)^{\nu }e^{\frac {\nu y}{\mu }}}

Тогда в форме экспоненциального семейства имеем

f μ, ν (y) = exp ⁡ (- 1 μ Y + пер ⁡ (1 μ) 1 ν + пер (ν ν Y ν - 1 Γ (ν))) {\ Displaystyle е _ {\ му, \ Nu} (у) = \ ехр \ влево ( {\ frac {- {\ frac {1} {\ mu}} y + \ ln ({\ frac {1} {\ mu}})} {\ frac {1} {\ nu}}} + \ ln \ left ({\ frac {\ nu ^ {\ nu} y ^ {\ nu -1}} {\ Gamma (\ nu)}} \ right) \ right)}{\ displayst yle f _ {\ mu, \ nu} (y) = \ exp \ left ({\ frac {- {\ frac {1} {\ mu}} y + \ ln ({\ frac {1} {\ mu}})) } {\ frac {1} {\ nu}}} + \ ln \ left ({\ frac {\ nu ^ {\ nu} y ^ {\ nu -1}} {\ Gamma (\ nu)}} \ right)\right)}
θ = - 1 μ → μ = - 1 θ {\ displaystyle \ theta = {\ frac {-1} {\ mu}} \ rightarrow \ mu = {\ frac {-1} {\ theta}}}{\displaystyle \theta ={\frac {-1}{\mu }}\rightarrow \mu ={\frac {-1}{\theta }}}
ϕ = 1 ν {\ displaystyle \ phi = {\ frac {1} {\ nu}}}{\displaystyle \phi ={\frac {1}{\nu }}}
b (θ) = - ln (- θ) {\ displaystyle b (\ theta) = - ln (- \ theta)}{\displaystyle b(\theta)=-ln(-\theta)}
b ′ (θ) = - 1 θ = - 1 - 1 μ = μ {\ displaystyle b '(\ theta) = {\ frac {-1} {\ theta}} = {\ frac {-1} {\ frac {-1} {\ mu}}} = \ mu}{\displaystyle b'(\theta)={\frac {-1}{\theta }}={\frac {-1}{\frac {-1}{\mu }}}=\mu }
b ″ (θ) = 1 θ 2 = μ 2 {\ displaystyle b '' (\ theta) = {\ frac {1} {\ theta ^ {2}}} = \ mu ^ {2}}{\displaystyle b''(\theta)={\frac {1}{\theta ^{2}}}=\mu ^{2}}

И мы имеем V (μ) = μ 2 {\ displaystyle V (\ mu) = \ mu ^ {2}}{\displaystyle V(\mu)=\mu ^{2}}

Применение - взвешенный метод наименьших квадратов

Очень важным применением функции дисперсии является ее использование для оценки параметров и вывода, когда переменная отклика также имеет требуемую форму экспоненциального семейства как и в некоторых случаях, когда это не так (что мы обсудим в разделе квазивероятность ). Взвешенный метод наименьших квадратов (WLS) является частным случаем обобщенного метода наименьших квадратов. Каждый член в критерии WLS включает вес, который определяет, какое влияние оказывает каждое наблюдение на окончательные оценки параметров. Как и в обычном методе наименьших квадратов, цель состоит в том, чтобы оценить неизвестные параметры в функции регрессии путем нахождения значений для оценок параметров, которые минимизируют сумму квадратов отклонений между наблюдаемыми ответами и функциональной частью модели.

Хотя WLS предполагает независимость наблюдений, он не предполагает равной дисперсии и, следовательно, является решением для оценки параметров при наличии гетероскедастичности. Теорема Гаусса – Маркова и Эйткен демонстрируют, что лучшая линейная несмещенная оценка (СИНИЙ), несмещенная оценка с минимальной дисперсией, имеет каждый вес, равный обратной величине дисперсии измерения.

В рамках GLM наша цель - оценить параметры β {\ displaystyle \ beta}\beta , где Z = g (E [y ∣ X]) = Икс β {\ Displaystyle Z = г (Е [y \ середина X]) = X \ бета}{\displaystyle Z=g(E[y\mid X]) =X\beta }. Следовательно, мы хотели бы минимизировать (Z - XB) TW (Z - XB) {\ displaystyle (Z-XB) ^ {T} W (Z-XB)}{\displaystyle (Z-XB)^{T}W(Z-XB)}, и если мы определим матрица весов W как

W ⏟ n × n = [1 ϕ V (μ 1) g ′ (μ 1) 2 0 ⋯ 0 0 0 1 ϕ V (μ 2) g ′ ( μ 2) 2 0 ⋯ 0 ⋮ ⋮ ⋮ ⋮ 0 ⋮ ⋮ ⋮ ⋮ 0 0 ⋯ ⋯ 0 1 ϕ V (μ n) g ′ (μ n) 2], {\ displaystyle \ underbrace {W} _ {n \ times n} = {\ begin {bmatrix} {\ frac {1} {\ phi V (\ mu _ {1}) g '(\ mu _ {1}) ^ {2}}} 0 \ cdots 0 0 \\ 0 {\ frac {1} {\ phi V (\ mu _ {2}) g '(\ mu _ {2}) ^ {2}}} 0 \ cdots 0 \\\ vdots \ vdots \ vdots \ vdots 0 \\\ vdots \ vdots \ vdots \ vdots 0 \\ 0 \ cdots \ cdots 0 {\ frac {1} {\ phi V (\ mu _ {n}) g '(\ mu _ { n}) ^ {2}}} \ end {bmatrix}},}{\displaystyle \underbrace {W} _{n\times n}={\begin{bmatrix}{\frac {1}{\phi V(\mu _{1})g'(\mu _{1})^{2}}}0\cdots 00\\0{\frac {1}{\phi V(\mu _{2})g'(\mu _{2})^{2}}}0\cdots 0\\\vdots \vdots \vdots \vdots 0\\\vdots \vdots \vdots \vdots 0\\0\cdots \cdots 0{\frac {1}{\phi V(\mu _{n})g'(\mu _{n})^{2}}}\end{bmatrix}},}

где ϕ, V (μ), g (μ) {\ displaystyle \ phi, V (\ mu), g (\ mu)}{\displaystyle \phi,V(\mu),g(\mu)}определены в предыдущем разделе, это позволяет выполнять итеративно переназначенное методом наименьших квадратов (IRLS) оценку параметров. См. Раздел итеративно взвешенных наименьших квадратов для получения дополнительной информации и выводов.

Также важно отметить, что когда матрица весов имеет описанную здесь форму, минимизируйте выражение (Z - XB) TW (Z - XB) {\ displaystyle (Z-XB) ^ {T} W (Z-XB)}{\displaystyle (Z-XB)^{T}W(Z-XB)}также минимизирует расстояние Пирсона. Подробнее см. Корреляция расстояния.

Матрица W выпадает прямо из оценочных уравнений для оценки β {\ displaystyle \ beta}\beta . Оценка максимального правдоподобия для каждого параметра β r, 1 ≤ r ≤ p {\ displaystyle \ beta _ {r}, 1 \ leq r \ leq p}{\displaystyle \beta _{r},1\leq r\leq p}, требуется

∑ i = 1 n ∂ ли ∂ β р знак равно 0 {\ displaystyle \ sum _ {i = 1} ^ {n} {\ frac {\ partial l_ {i}} {\ partial \ beta _ {r}}} = 0}{\displaystyle \sum _{i=1}^{n}{\frac {\partial l_{i}}{\partial \beta _{r}}}=0}, где l ⁡ (θ, y, ϕ) = log ⁡ (f ⁡ (y, θ, ϕ)) = y θ - b (θ) ϕ - c (y, ϕ) {\ displaystyle \ operatorname {l} (\ theta, y, \ phi) = \ log (\ operatorname {f} (y, \ theta, \ phi)) = {\ frac {y \ theta -b (\ theta)} { \ phi}} - c (y, \ phi)}{\displaystyle \operatorname {l} (\theta,y,\phi)=\log(\operatorname {f} (y,\theta,\phi))={\frac {y\theta -b(\theta)}{\phi }}-c(y,\phi)}- логарифм правдоподобия.

Глядя на одно наблюдение, мы имеем

∂ l ∂ β r = ∂ l ∂ θ ∂ θ ∂ μ ∂ μ ∂ η ∂ η ∂ β r {\ displaystyle {\ frac {\ partial l} {\ partial \ beta _ {r}}} = {\ frac {\ partial l} {\ partial \ theta}} {\ frac {\ partial \ theta} {\ partial \ mu}} {\ frac {\ partial \ mu} {\ partial \ eta}} {\ frac {\ partial \ eta} {\ partial \ beta _ {r} }}}{\displaystyle {\frac {\partial l}{\partial \beta _{r}}}={\frac {\partial l}{\partial \theta }}{\frac {\partial \theta }{\partial \mu }}{\frac {\partial \mu }{\partial \eta }}{\frac {\partial \eta }{\partial \beta _{r}}}}
∂ η ∂ β р = xr {\ displaystyle {\ frac {\ partial \ eta} {\ partial \ beta _ {r}}} = x_ {r}}{\displaystyle {\frac {\partial \eta }{\partial \beta _{r}}}=x_{r}}
∂ l ∂ θ = Y - b '(θ) ϕ знак равно Y - μ ϕ {\ Displaystyle {\ frac {\ partial l} {\ partial \ theta}} = {\ frac {y-b '(\ theta)} {\ phi}} = {\ frac {y- \ mu} {\ phi}}}{\displaystyle {\frac {\partial l}{\partial \theta }}={\frac {y-b'(\theta)}{\phi }}={\frac {y-\mu }{\phi }}}
∂ θ ∂ μ знак равно ∂ b ′ - 1 (μ) μ = 1 b ″ (b ′ (μ)) = 1 V (μ) {\ displaystyle {\ frac {\ partial \ theta} {\ partial \ mu}} = {\ frac {\ partial b '^ {- 1} (\ mu)} {\ mu}} = {\ frac {1} {b' '(b' (\ mu))}} = {\ frac {1} { V (\ mu)}}}{\displaystyle {\frac {\partial \theta }{\partial \mu }}={\frac {\partial b'^{-1}(\mu)}{\mu }}={\frac {1}{b''(b'(\mu))}}={\frac {1}{V(\mu)}}}

Это дает нам

∂ l ∂ β r = y - μ ϕ V (μ) ∂ μ ∂ η xr {\ displaystyle {\ frac {\ partial l} {\ partial \ beta _ {r}}} = {\ frac {y- \ mu} {\ phi V (\ mu)}} {\ frac {\ partial \ mu} {\ partial \ eta}} x_ {r}}{\displaystyle {\frac {\partial l}{\partial \beta _{r}}}={\frac {y-\mu }{\phi V(\mu)}}{\frac {\part ial \mu }{\partial \eta }}x_{r}}и отмечая, что
∂ η ∂ μ = g ′ (μ) {\ displaystyle {\ frac {\ partial \ eta} {\ partial \ mu}} = g '(\ mu)}{\displaystyle {\frac {\partial \eta }{\partial \mu }}=g'(\mu)}мы имеем, что
∂ l ∂ β r = y - μ ϕ V (μ) W ∂ η ∂ μ xr {\ displaystyle {\ frac {\ partial l} {\ partial \ beta _ {r }}} = {\ frac {y- \ mu} {\ phi V (\ mu)}} W {\ frac {\ partial \ eta} {\ partial \ mu}} x_ {r}}{\displaystyle {\frac {\partial l}{\partial \beta _{r}}}={\frac {y-\mu }{\phi V(\mu)}}W{\frac {\partial \eta }{\partial \mu }}x_{r}}

Гессен матрица определяется аналогичным образом и может быть представлена ​​как

H = XT (y - μ) [∂ β s W ∂ β r] - XTWX {\ displaystyle H = X ^ {T} (y- \ му) \ left [{\ frac {\ partial} {\ beta _ {s}}} W {\ frac {\ partial} {\ beta _ {r}}} \ right] -X ^ {T} WX}{\displaystyle H=X^{T}(y-\mu)\left[{\frac {\partial }{\beta _{s}}}W{\frac {\partial }{\beta _{r}}}\right]-X^{T}WX}

Обратите внимание на то, что информация Fisher (FI),

FI = - E [H] = XTWX {\ displaystyle {\ text {FI}} = - E [H] = X ^ {T} WX}{\displaystyle {\text{FI}}=-E[H]=X^{T}WX}, допускает асимптотическое приближение β ^ { \ displaystyle {\ hat {\ beta}}}\hat{\beta}
β ^ ∼ N p (β, (XTWX) - 1) {\ displaystyle {\ hat {\ beta}} \ sim N_ {p} (\ beta, ( X ^ {T} WX) ^ {- 1})}{\displaystyle {\hat {\beta }}\ sim N_{p}(\beta,(X^{T}WX)^{-1})}, и, следовательно, может быть выполнен вывод.

Приложение - квазивероятность

Поскольку большинство функций GLM зависит только от первых двух моментов распределения, а не от всего распределения, квази-правдоподобие можно получить, просто указав функцию связи и функцию дисперсии. То есть нам нужно указать

- Функция связи: E [y] = μ = g - 1 (η) {\ displaystyle E [y] = \ mu = g ^ {- 1} (\ eta)}{\displaystyle E[y]=\mu =g^{-1}(\eta)}
- Функция дисперсии: V (μ), где Var θ ⁡ (y) = σ 2 V (μ) {\ displaystyle V (\ mu) {\ text {, где}} \ operatorname {Var} _ {\ theta} (y) = \ sigma ^ {2} V (\ mu)}{\displaystyle V(\mu){\text{, where the }}\operatorname {Var} _{\theta }(y)=\sigma ^{2}V(\mu)}

С указанной функцией дисперсии и функцией связи мы можем разработать в качестве альтернативы логарифмически правдоподобию функция, функция оценки и информация Фишера, квазивероятность, квази-оценка и квазиинформация . Это позволяет сделать полный вывод о β {\ displaystyle \ beta}\beta .

Квази-правдоподобие (QL)

Хотя это и называется квази-правдоподобием, на самом деле это квази- log - вероятность. КЖ для одного наблюдения:

Q i (μ i, yi) = ∫ yi μ iyi - t σ 2 V (t) dt {\ displaystyle Q_ {i} (\ mu _ {i}, y_ {i}) = \ int _ {y_ {i}} ^ {\ mu _ {i}} {\ frac {y_ {i} -t} {\ sigma ^ {2} V (t)}} \, dt}{\displaystyle Q_{i}(\mu _{i},y_{i})=\int _{y_{i}}^{\mu _{i}}{\frac {y_{i}-t}{\sigma ^{2}V(t)}}\,dt}

И поэтому QL для всех n наблюдений составляет

Q (μ, y) = ∑ i = 1 n Q i (μ i, yi) = ∑ i = 1 n ∫ yi μ iy - t σ 2 В (T) dt {\ displaystyle Q (\ mu, y) = \ sum _ {i = 1} ^ {n} Q_ {i} (\ mu _ {i}, y_ {i}) = \ sum _ {i = 1} ^ {n} \ int _ {y_ {i}} ^ {\ mu _ {i}} {\ frac {yt} {\ sigma ^ {2} V (t)}} \, dt}{\displaystyle Q(\mu,y)=\sum _{i=1}^{n}Q_{i}(\mu _{i},y_{i})=\sum _{i=1}^{n}\int _{y_{i}}^{\mu _{i}}{\frac {y-t}{\sigma ^{2}V(t)}}\,dt}

Из QL у нас есть квази-оценка

квази-оценка (QS)

Вспомните функцию оценки, Uдля данных с журналом -правдоподобие l ⁡ (μ ∣ y) {\ displaystyle \ operatorname {l} (\ mu \ mid y)}{\displaystyle \operatorname {l} (\mu \mid y)}равно

U = ∂ ld μ. {\ displaystyle U = {\ frac {\ partial l} {d \ mu}}.}{\ displaystyle U = {\ frac {\ partial l} {d \ mu}}.}

Мы получаем квази-оценку аналогичным образом,

U = y - μ σ 2 V (μ) { \ displaystyle U = {\ frac {y- \ mu} {\ sigma ^ {2} V (\ mu)}}}{\displaystyle U={\frac {y-\mu }{\sigma ^{2}V(\mu)}}}

Отмечая, что для одного наблюдения оценка составляет

∂ Q ∂ μ = y - μ σ 2 В (μ) {\ Displaystyle {\ frac {\ partial Q} {\ partial \ mu}} = {\ frac {y- \ mu} {\ sigma ^ {2} V (\ mu)}}}{\ displaystyle {\ frac {\ partial Q} {\ partial \ mu}} = {\ frac {y- \ mu} {\ sigma ^ {2} V (\ mu)}}}

Первые два уравнения Бартлетта удовлетворяются для квази-оценки, а именно

E [U] = 0 {\ displaystyle E [U] = 0}{\displaystyle E[U]=0}

и

Cov ⁡ (U) + E [∂ U ∂ μ] = 0. {\ displaystyle \ operatorname {Cov} (U) + E \ left [{\ frac {\ partial U} {\ partial \ mu}} \ right] = 0.}{\displaystyle \operatorname {Cov} (U)+E\left[{\frac {\partial U}{\partial \mu }}\right]=0.}

Кроме того, квази-оценка линейна в y.

В конечном итоге цель состоит в том, чтобы найти информацию об интересующих параметрах β {\ displaystyle \ beta}\beta . И QS, и QL фактически являются функциями β {\ displaystyle \ beta}\beta . Напомним, μ = g - 1 (η) {\ displaystyle \ mu = g ^ {- 1} (\ eta)}{\displaystyle \mu =g^{-1}(\eta)}и η = X β {\ displaystyle \ eta = X \ beta}{\displaystyle \eta =X\beta }, следовательно,

μ = g - 1 (X β). {\ displaystyle \ mu = g ^ {- 1} (X \ beta).}{\displaystyle \mu =g^{-1}(X\beta).}

Квазиинформация (QI)

Квазиинформация похожа на Fisher информация,

ib = - E ⁡ [∂ U ∂ β] {\ displaystyle i_ {b} = - \ operatorname {E} \ left [{\ frac {\ partial U} {\ partial \ beta}} \ right] }{\displaystyle i_{b} =-\operatorname {E} \left[{\frac {\partial U}{\partial \beta }}\right]}

QL, QS, QI как функции от β {\ displaystyle \ beta}\beta

QL, QS и QI - все представляют собой строительные блоки для вывода об интересующих параметрах, и поэтому важно выразить QL, QS и QI - все как функции от β {\ displaystyle \ beta}\beta .

Снова вспоминая, что μ = g - 1 (X β) {\ displaystyle \ mu = g ^ {- 1} (X \ beta)}{\ displaystyle \ mu = g ^ {- 1} (X \ beta)} , мы выводим выражения для QL, QS и QI, параметризованные в β {\ displaystyle \ beta}\beta .

Квази-правдоподобие в β {\ displaystyle \ бета}\beta ,

Q (β, y) = ∫ y μ (β) y - t σ 2 V (t) dt {\ displaystyle Q (\ beta, y) = \ int _ {y} ^ {\ mu ( \ beta)} {\ frac {yt} {\ sigma ^ {2} V (t)}} \, dt}{\displaystyle Q(\beta,y)=\int _{y}^{\mu (\beta)}{\frac {y-t}{\sigma ^{2}V(t)}}\,dt}

QS как функция от β {\ displaystyle \ beta}\beta есть здесь re

U J (β J) знак равно ∂ ∂ β J Q (β, y) = ∑ i = 1 n ∂ μ я ∂ β jyi - μ i (β j) σ 2 V (μ i) {\ Displaystyle U_ {j} (\ beta _ {j}) = {\ frac {\ partial} {\ partial \ beta _ {j}}} Q (\ beta, y) = \ sum _ {i = 1} ^ {n } {\ frac {\ partial \ mu _ {i}} {\ partial \ beta _ {j}}} {\ frac {y_ {i} - \ mu _ {i} (\ beta _ {j})} { \ sigma ^ {2} V (\ mu _ {i})}}}{\displaystyle U_{j}(\beta _{j})={\frac {\partial }{\partial \beta _{j}}}Q(\beta,y)=\sum _{i=1}^{n}{\frac {\partial \mu _{i}}{\partial \beta _{j}}}{\frac {y_{i}-\mu _{i}(\beta _{j})}{\sigma ^{2}V(\mu _{i})}}}
U (β) = [U 1 (β) U 2 (β) ⋮ ⋮ U p (β)] = DTV - 1 ( Y - μ) σ 2 {\ Displaystyle U (\ beta) = {\ begin {bmatrix} U_ {1} (\ beta) \\ U_ {2} (\ beta) \\\ vdots \\\ vdots \\ U_ {p} (\ beta) \ end {bmatrix}} = D ^ {T} V ^ {- 1} {\ frac {(y- \ mu)} {\ sigma ^ {2}}}}{ \ Displaystyle U (\ beta) = {\ begin {bmatrix} U_ {1} (\ beta) \\ U_ {2} (\ beta) \\\ vdots \\\ vdots \\ U_ {p} (\ beta) \ end {bmatrix}} = D ^ {T} V ^ {- 1} {\ frac {(y- \ mu)} {\ sigma ^ {2}}}}

Где,

D ⏟ n × p = [∂ μ 1 ∂ β 1 ⋯ ⋯ ∂ μ 1 ∂ β p ∂ μ 2 ∂ β 1 ⋯ ⋯ ∂ μ 2 ∂ β p ⋮ ⋮ ∂ μ m ∂ β 1 ⋯ ⋯ ∂ μ м ∂ β п] В ⏟ N × N знак равно диаг ⁡ (V (μ 1), V (μ 2),…,…, V (μ n)) {\ Displaystyle \ Underbrace {D} _ {п \ раз p} = {\ begin {bmatrix} {\ frac {\ partial \ mu _ {1}} {\ partial \ beta _ {1}}} \ cdots \ cdots {\ frac {\ partial \ mu _ { 1}} {\ partial \ beta _ {p}}} \\ {\ frac {\ partial \ mu _ {2}} {\ partial \ beta _ {1}}} \ cdots \ cdots {\ frac {\ partial \ mu _ {2}} {\ partial \ beta _ {p}}} \\\ vdots \\\ vdots \\ {\ frac {\ partial \ mu _ {m}} {\ partial \ beta _ {1}}} \ cdots \ cdots {\ frac {\ partial \ mu _ {m}} {\ partial \ beta _ {p}}} \ end {bmatrix}} \ underbrace {V} _ {n \ times n} = \ operatorname {diag} (V (\ mu _ {1}), V (\ mu _ {2}), \ ldots, \ ldots, V (\ mu _ {n}))}{\displaystyle \underbrace {D} _{n\times p}={\begin{bmatrix}{\frac {\partial \mu _{1}}{\partial \beta _{1}}}\cdots \cdots {\frac {\partial \mu _{1}}{\partial \beta _{p}}}\\{\frac {\partial \mu _{2}}{\partial \beta _{1}}}\cdots \cdots {\frac {\partial \mu _{2}}{\partial \beta _{p}}}\\\vdots \\\vdots \\{\frac {\partial \mu _{m}}{\partial \beta _{1}}}\cdots \cdots {\frac {\partial \mu _{m}}{\partial \beta _{p}}}\end{bmatrix}}\underbrace {V} _{n\times n}=\operatorname {diag} (V(\mu _{1}),V(\mu _{2}),\ldots,\ldots,V(\mu _{n}))}

Квазиинформационная матрица в β {\ displaystyle \ beta}\beta равно,

ib = - ∂ U ∂ β = Cov ⁡ (U (β)) = DTV - 1 D σ 2 {\ displaystyle i_ {b} = - {\ frac {\ partial U} {\ partial \ beta}} = \ operatorname {Cov} (U (\ beta)) = {\ frac {D ^ {T} V ^ {- 1} D} {\ sigma ^ {2}}}}{\displaystyle i_{b}=-{\frac {\partial U}{\partial \beta }}=\operatorname {Cov} (U(\beta))={\frac {D^{T}V^{-1}D}{\sigma ^{2}}}}

Получение функции оценки и информации β {\ displaystyle \ beta}\beta позволяет оценивать параметры и делать выводы таким же образом, как описано в Application - взвешенный метод наименьших квадратов.

Непараметрический регрессионный анализ

График рассеяния лет в высшей лиге по сравнению с заработной платой (x 1000 долларов). Линия - это тренд в среднем. График демонстрирует, что дисперсия не является постоянной. Сглаженная условная дисперсия относительно сглаженного условного среднего. Квадратичная форма указывает на гамма-распределение. Функция дисперсии гаммы: V (μ {\ displaystyle \ mu}\mu ) = μ 2 {\ displaystyle \ mu ^ {2}}\mu ^{2}

Непараметрическая оценка функция дисперсии и ее важность широко обсуждались в литературе. В непараметрическом регрессионном анализе цель состоит в том, чтобы выразить ожидаемое значение вашей переменной ответа (y ) в виде функция ваших предикторов (X ). То есть мы хотим оценить функцию mean, g (x) = E ⁡ [y ∣ X = x] {\ displaystyle g (x) = \ operatorname {E} [y \ mid X = x]}{\displaystyle g(x)=\operatorname {E} [y\mid X=x]}без параметрической формы. Существует множество форм непараметрических методов сглаживания, помогающих оценить функцию g (x) {\ displaystyle g (x)}g(x). Интересный подход - также рассмотреть непараметрическую функцию отклонения, gv (x) = Var ⁡ (Y ∣ X = x) {\ displaystyle g_ {v} (x) = \ имя оператора {Var} (Y \ mid X = x)}{\displaystyle g_{v}(x)=\operatorname {Var} (Y\mid X=x)}. Непараметрическая функция дисперсии позволяет взглянуть на функцию среднего значения, поскольку она связана с функцией дисперсии, и замечать закономерности в данных.

gv (x) = Var ⁡ (Y ∣ X = x) = E ⁡ [y 2 ∣ X = x] - [E ⁡ [y ∣ X = x]] 2 {\ displaystyle g_ {v} (x) = \ operatorname {Var} (Y \ mid X = x) = \ operatorname {E} [y ^ {2} \ mid X = x] - \ left [\ operatorname {E} [y \ mid X = x] \ right] ^ {2}}{\displaystyle g_{v}(x)=\operatorname {Var} (Y\mid X=x)=\operatorname {E} [y^{2}\mid X=x]-\left[\operatorname {E} [y\mid X=x]\right]^{2}}

Пример подробно описан на рисунках справа. Целью проекта было определить (среди прочего), влияет ли предсказатель количество лет в высшей лиге (бейсбол) на ответ, зарплата, плеер сделал. Начальная диаграмма разброса данных указывает на то, что данные имеют гетероскедастичность, поскольку дисперсия не является постоянной на каждом уровне предсказателя. Поскольку мы можем визуально обнаружить непостоянную дисперсию, теперь полезно построить график gv (x) = Var ⁡ (Y ∣ X = x) = E ⁡ [y 2 ∣ X = x] - [E ⁡ [y ∣ X = x]] 2 {\ displaystyle g_ {v} (x) = \ operatorname {Var} (Y \ mid X = x) = \ operatorname {E} [y ^ {2} \ mid X = x] - \ left [\ operatorname {E} [y \ mid X = x] \ right] ^ {2}}{\displaystyle g_{v}(x)=\operatorname {Var} (Y\mid X=x)=\operatorname {E} [y^{2}\mid X=x]-\left[\operatorname {E} [y\mid X=x]\right]^{2}}, и посмотрите, указывает ли форма на какое-либо известное распределение. Можно оценить E ⁡ [y 2 ∣ X = x] {\ displaystyle \ operatorname {E} [y ^ {2} \ mid X = x]}{\displaystyle \operatorname {E} [y^{2}\mid X=x]}и [E ⁡ [y ∣ X = x]] 2 {\ displaystyle \ left [\ operatorname {E} [y \ mid X = x] \ right] ^ {2}}{\displaystyle \left[\operatorname {E} [y\mid X=x]\right]^{2}}с использованием общего сглаживания метод. График непараметрической сглаженной функции дисперсии может дать исследователю представление о взаимосвязи между дисперсией и средним значением. Картинка справа показывает квадратичную зависимость между средним значением и дисперсией. Как мы видели выше, функция гамма-дисперсии квадратична в среднем.

Примечания

Ссылки

  • МакКаллаг, Питер ; Нелдер, Джон (1989). Обобщенные линейные модели (второе изд.). Лондон: Чепмен и Холл. ISBN 0-412-31760-5.
  • Хенрик Мэдсен и Пол Тайрегод (2011). Введение в общие и обобщенные линейные модели. Чепмен и Холл / CRC. ISBN 978-1-4200-9155-7. CS1 maint: ref = harv (ссылка )

Внешние ссылки

  • СМИ, связанные с Функция дисперсии в Wikimedia Commons
Последняя правка сделана 2021-06-18 09:53:03
Содержание доступно по лицензии CC BY-SA 3.0 (если не указано иное).
Обратная связь: support@alphapedia.ru
Соглашение
О проекте