Логистическая регрессия

Статистическая модель для двоичной зависимой переменной

В статистика, логистика модель (или модель логита ) используется для моделирования вероятности существования определенного класса или события, например, пройден / не пройден, выиграл / проиграл, жив / мертв или здоров / болен. Это может быть расширено для моделирования нескольких классов событий, таких как определение наличия на изображении кошки, собаки, льва и т. Д. Каждому обнаруживаемому на изображении объекту будет присвоена вероятность от 0 до 1 с суммой, равной единице.

Логистическая регрессия - это статистическая модель, которая в своей базовой форме использует логистическую функцию для моделирования двоичной зависимой переменной, хотя существует множество более сложных расширений. В регрессионном анализе, логистическая регрессия (или логит-регрессия ) - это оценка параметров логистической модели (форма двоичная регрессия ). Математически бинарная логистическая модель имеет зависимую переменную с двумя возможными значениями, например годен / не годен, которая представлена ​​индикаторной переменной , где два значения помечены как «0» и «1». В логистической модели логарифм-шансы (логарифм от шансов ) для значения с меткой «1» представляет собой линейную комбинацию одной или нескольких независимых переменных («предикторов»); каждая независимая переменная может быть двоичной переменной (два класса, кодируемых индикаторной переменной) или непрерывной переменной (любое действительное значение). Соответствующая вероятность значения, помеченного «1», может варьироваться от 0 (обязательно значение «0») до 1 (безусловно, значение «1»), отсюда и маркировка; функция, которая преобразует логарифмические шансы в вероятность, является логистической функцией, отсюда и название. единица измерения для логарифмической шкалы шансов называется логит, от log istic un it, отсюда и альтернативные названия. Можно также использовать аналогичные модели с другой сигмовидной функцией вместо логистической функции, например, пробит-модель ; определяющей характеристикой логистической модели является то, что увеличение одной из независимых переменных мультипликативно увеличивает шансы данного результата с постоянной скоростью, при этом каждая независимая переменная имеет свой собственный параметр; для двоичной зависимой переменной это обобщает отношение шансов.

. В модели двоичной логистической регрессии зависимая переменная имеет два уровня (категориальный ). Выходы с более чем двумя значениями моделируются с помощью полиномиальной логистической регрессии и, если несколько категорий упорядочены, с помощью порядковой логистической регрессии (например, порядковый номер пропорционального шанса логистическая модель). Сама модель логистической регрессии просто моделирует вероятность выхода с точки зрения входных данных и не выполняет статистическую классификацию (это не классификатор), хотя ее можно использовать для создания классификатора, например, путем выбора порогового значения. значение и классификация входных данных с вероятностью выше порогового значения как один класс, ниже порогового значения как другой; это обычный способ создания бинарного классификатора . Коэффициенты обычно не вычисляются с помощью выражения в замкнутой форме, в отличие от линейного метода наименьших квадратов ; см. § Примерка модели. Логистическая регрессия как общая статистическая модель была первоначально разработана и популяризирована в первую очередь Джозефом Берксоном, начиная с Берксона (1944) harvtxt error: no target: CITEREFBerkson1944 (help ), где он придумал "логит"; см. § История.

Содержание

• 1 Приложения
• 2 Примеры
  • 2.1 Логистическая модель
  • 2.2 Вероятность сдачи экзамена по сравнению с часами обучения
• 3 Обсуждение
• 4 Логистическая регрессия по сравнению с другими подходами
• 5 Интерпретация скрытой переменной
• 6 Логистическая функция, шансы, отношение шансов и логит
  • 6.1 Определение логистической функции
  • 6.2 Определение обратной логистической функции
  • 6.3 Интерпретация этих терминов
  • 6.4 Определение шансов
  • 6.5 Отношение шансов
  • 6.6 Множественные объясняющие переменные
• 7 Подгонка модели
  • 7.1 «Правило десяти»
  • 7.2 Оценка максимального правдоподобия (MLE)
    • 7.2.1 Функция кросс-энтропии потерь
  • 7.3 Итеративно пересчитываемые наименьшие квадраты (IRLS)
  • 7.4 Оценка согласия
    • 7.4.1 Тесты на отклонение и отношение правдоподобия
    • R-квадрат
    • 7.4.3 Тест Хосмера – Лемешоу
• 8 Коэффициенты
  • 8.1 Тест отношения правдоподобия
  • 8.2 Статистика Вальда
  • 8.3 Выборка случай-контроль
• 9 Формальные математические характеристики на
  • 9.1 Настройка
  • 9.2 Как обобщенная линейная модель
  • 9.3 Как модель со скрытыми переменными
  • 9.4 Двусторонняя модель со скрытыми переменными
    • 9.4.1 Пример
  • 9.5 Как " лог-линейная модель
  • 9.6 В качестве однослойного персептрона
  • 9.7 В терминах биномиальных данных
• 10 Байесовская
• 11 История
• 12 Расширения
• 13 Программное обеспечение
• 14 См. также
• 15 Ссылки
• 16 Дополнительная литература
• 17 Внешние ссылки

Приложения

Логистическая регрессия используется в различных областях, включая машинное обучение, большинство областей медицины и социальных наук. Например, шкала оценки травм и тяжести травм (TRISS ), которая широко используется для прогнозирования смертности травмированных пациентов, была первоначально разработана Бойдом и др. с использованием логистической регрессии. Многие другие медицинские шкалы, используемые для оценки степени тяжести состояния пациента, были разработаны с использованием логистической регрессии. Логистическая регрессия может использоваться для прогнозирования риска развития данного заболевания (например, диабет ; ишемическая болезнь сердца ) на основе наблюдаемых характеристик пациента (возраст, пол, индекс массы тела, результаты различных анализов крови и т. д.). Другой пример может заключаться в том, чтобы предсказать, проголосует ли непальский избиратель за Конгресс Непала, Коммунистическую партию Непала или любую другую партию, на основании возраста, дохода, пола, расы, государства проживания, голосов на предыдущих выборах и т. Д. используется в инженерии, особенно для прогнозирования вероятности отказа данного процесса, системы или продукта. Он также используется в приложениях маркетинга, таких как прогнозирование склонности клиента к покупке продукта или прекращению подписки и т. Д. В экономике его можно использовать для прогнозирования вероятности того, что человек выбрав работу, и бизнес-приложение должно было бы прогнозировать вероятность того, что домовладелец не сможет выполнить свои обязательства по ипотеке . Условные случайные поля, расширение логистической регрессии для последовательных данных, используются в обработке естественного языка.

Примеры

Логистическая модель

Давайте попробуем понять логистическую регрессию, рассмотрев логистическую модель с заданными параметрами, а затем увидев, как можно оценить коэффициенты на основе данных. Рассмотрим модель с двумя предикторами, $x\; 1\; \{\backslash \; displaystyle\; x\_\; \{1\}\}$и $x\; 2\; \{\backslash \; displaystyle\; x\_\; \{2\}\}$, и одним двоичным (Бернулли) переменная ответа $Y\; \{\backslash \; displaystyle\; Y\}$, которую мы обозначаем $p\; =\; P\; (Y\; =\; 1)\; \{\backslash \; displaystyle\; p\; =\; P\; (Y\; =\; 1)\}$. Мы предполагаем наличие линейной связи между переменными-предикторами и логарифмическими коэффициентами события, которое $Y\; =\; 1\; \{\backslash \; displaystyle\; Y\; =\; 1\}$. Это линейное соотношение может быть записано в следующей математической форме (где ℓ - логарифм шансов, $b\; \{\backslash \; displaystyle\; b\}$- основание логарифма, а $\beta \; i\; \{\backslash \; displaystyle\; \backslash \; beta\; \_\; \{i\}\}$- параметры модели):

$\ell \; =\; log\; b\; \; p\; 1\; -\; p\; =\; \beta \; 0\; +\; \beta \; 1\; x\; 1\; +\; \beta \; 2\; x\; 2\; \{\backslash \; displaystyle\; \backslash \; ell\; =\; \backslash \; log\; \_\; \{b\}\; \{\backslash \; frac\; \{p\}\; \{1-p\}\}\; =\; \backslash \; beta\; \_\; \{0\}\; +\; \backslash \; beta\; \_\; \{1\}\; x\_\; \{1\}\; +\; \backslash \; beta\; \_\; \{2\}\; x\_\; \{2\}\}$

Мы можем восстановить шансы, возведя в степень логарифмические шансы:

$p\; 1\; -\; p\; =\; b\; \beta \; 0\; +\; \beta \; 1\; x\; 1\; +\; \beta \; 2\; x\; 2\; \{\backslash \; displaystyle\; \{\backslash \; frac\; \{p\; \}\; \{1-p\}\}\; =\; b\; ^\; \{\backslash \; beta\; \_\; \{0\}\; +\; \backslash \; beta\; \_\; \{1\}\; x\_\; \{1\}\; +\; \backslash \; beta\; \_\; \{2\}\; x\_\; \{2\}\}\}$.

С помощью простых алгебраических манипуляций вероятность того, что $Y\; =\; 1\; \{\backslash \; displaystyle\; Y\; =\; 1\}$равно

$p\; =\; b\; \beta \; 0\; +\; \beta \; 1\; x\; 1\; +\; \beta \; 2\; x\; 2\; b\; \beta \; 0\; +\; \beta \; 1\; x\; 1\; +\; \beta \; 2\; Икс\; 2\; +\; 1\; знак\; равно\; 1\; 1\; +\; б\; -\; (\beta \; 0\; +\; \beta \; 1\; Икс\; 1\; +\; \beta \; 2\; Икс\; 2)\; \{\backslash \; Displaystyle\; p\; =\; \{\backslash \; frac\; \{b\; ^\; \{\backslash \; beta\; \_\; \{0\}\; +\; \backslash \; beta\; \_\; \{1\}\; x\_\; \{1\}\; +\; \backslash \; beta\; \_\; \{2\}\; x\_\; \{2\}\}\}\; \{b\; ^\; \{\backslash \; beta\; \_\; \{0\}\; +\; \backslash \; beta\; \_\; \{1\}\; x\_\; \{1\}\; +\; \backslash \; beta\; \_\; \{2\}\; x\_\; \{2\}\}\; +1\}\}\; =\; \{\backslash \; frac\; \{1\}\; \{1\; +\; b\; ^\; \{-\; (\backslash \; beta\; \_\; \{0\}\; +\; \backslash \; beta\; \_\; \{1\}\; x\_\; \{1\}\; +\; \backslash \; beta\; \_\; \{2\}\; x\_\; \{2\})\}\}\; \}\}$.

Приведенная выше формула показывает, что как только $\beta \; i\; \{\backslash \; displaystyle\; \backslash \; beta\; \_\; \{i\}\}$зафиксировано, мы можем легко вычислить либо логарифмические шансы, что $Y\; =\; 1\; \{\backslash \; displaystyle\; Y\; =\; 1\}$для данного наблюдения или вероятность того, что $Y\; =\; 1\; \{\backslash \; displaystyle\; Y\; =\; 1\}$для данного наблюдения. Основным вариантом использования логистической модели является получение наблюдения $(x\; 1,\; x\; 2)\; \{\backslash \; displaystyle\; (x\_\; \{1\},\; x\_\; \{2\})\}$и оценка вероятность $p\; \{\backslash \; displaystyle\; p\}$, что $Y\; =\; 1\; \{\backslash \; displaystyle\; Y\; =\; 1\}$. В большинстве приложений основание $b\; \{\backslash \; displaystyle\; b\}$логарифма обычно принимается равным e. Однако в некоторых случаях легче передать результаты, работая с основанием 2 или основанием 10.

Мы рассмотрим пример с $b\; =\; 10\; \{\backslash \; displaystyle\; b\; =\; 10\}$и коэффициенты $\beta \; 0\; =\; -\; 3\; \{\backslash \; displaystyle\; \backslash \; beta\; \_\; \{0\}\; =\; -\; 3\}$, $\beta \; 1\; =\; 1\; \{\backslash \; displaystyle\; \backslash \; beta\; \_\; \{1\}\; =\; 1\}$и $\beta \; 2\; =\; 2\; \{\backslash \; displaystyle\; \backslash \; beta\; \_\; \{2\}\; =\; 2\}$. Чтобы быть конкретным, модель имеет вид

$log\; 10\; \; p\; 1\; -\; p\; =\; \ell \; =\; -\; 3\; +\; x\; 1\; +\; 2\; x\; 2\; \{\backslash \; displaystyle\; \backslash \; log\; \_\; \{10\}\; \{\backslash \; frac\; \{p\}\; \{1-p\}\}\; =\; \backslash \; ell\; =\; -3\; +\; x\_\; \{1\}\; +\; 2x\_\; \{2\}\}$

где $p\; \{\backslash \; displaystyle\; p\}$- вероятность события, при котором $Y\; =\; 1\; \{\; \backslash \; displaystyle\; Y\; =\; 1\}$.

Это можно интерпретировать следующим образом:

• $\beta \; 0\; =\; -\; 3\; \{\backslash \; displaystyle\; \backslash \; beta\; \_\; \{0\}\; =\; -\; 3\}$- y- перехватить. Это логарифм события, что $Y\; =\; 1\; \{\backslash \; displaystyle\; Y\; =\; 1\}$, когда предикторы $x\; 1\; =\; x\; 2\; =\; 0\; \{\backslash \; displaystyle\; x\_\; \{1\}\; =\; x\_\; \{2\}\; =\; 0\}$. Возведя в степень, мы можем увидеть, что когда $x\; 1\; =\; x\; 2\; =\; 0\; \{\backslash \; displaystyle\; x\_\; \{1\}\; =\; x\_\; \{2\}\; =\; 0\}$вероятность того, что $Y\; =\; 1\; \{\backslash \; displaystyle\; Y\; =\; 1\}$от 1 до 1000 или $10–3\; \{\backslash \; displaystyle\; 10\; ^\; \{-\; 3\}\}$. Точно так же вероятность события, что $Y\; =\; 1\; \{\backslash \; displaystyle\; Y\; =\; 1\}$, когда $x\; 1\; =\; x\; 2\; =\; 0\; \{\backslash \; displaystyle\; x\_\; \{1\}\; =\; x\_\; \{2\}\; =\; 0\}$можно вычислить как $1\; /\; (1000\; +\; 1)\; =\; 1/1001\; \{\backslash \; displaystyle\; 1\; /\; (1000\; +\; 1)\; =\; 1/1001\}$.
• $\beta \; 1\; =\; 1\; \{\; \backslash \; displaystyle\; \backslash \; beta\; \_\; \{1\}\; =\; 1\}$означает, что увеличение $x\; 1\; \{\backslash \; displaystyle\; x\_\; \{1\}\}$на 1 увеличивает логарифмические шансы на $1\; \{\backslash \; displaystyle\; 1\}$. Таким образом, если $x\; 1\; \{\backslash \; displaystyle\; x\_\; \{1\}\}$увеличивается на 1, шансы того, что $Y\; =\; 1\; \{\backslash \; displaystyle\; Y\; =\; 1\}$увеличиваются на коэффициент $10\; 1\; \{\backslash \; displaystyle\; 10\; ^\; \{1\}\}$. Обратите внимание, что вероятность из $Y\; =\; 1\; \{\backslash \; displaystyle\; Y\; =\; 1\}$также увеличилась, но не настолько, насколько увеличились шансы.
• $\beta \; 2\; =\; 2\; \{\backslash \; displaystyle\; \backslash \; beta\; \_\; \{2\}\; =\; 2\}$означает, что увеличение $x\; 2\; \{\backslash \; displaystyle\; x\_\; \{2\}\}$на 1 увеличивает журнал -odds по $2\; \{\backslash \; displaystyle\; 2\}$. Таким образом, если $x\; 2\; \{\backslash \; displaystyle\; x\_\; \{2\}\}$увеличивается на 1, шансы того, что $Y\; =\; 1\; \{\backslash \; displaystyle\; Y\; =\; 1\}$увеличиваются на коэффициент $10\; 2.\; \{\backslash \; displaystyle\; 10\; ^\; \{2\}.\}$Обратите внимание, как влияние $x\; 2\; \{\backslash \; displaystyle\; x\_\; \{2\}\}$на логарифмические шансы вдвое больше, чем эффект $x\; 1\; \{\backslash \; displaystyle\; x\_\; \{1\}\}$, но влияние на шансы в 10 раз больше. Но влияние на вероятность из $Y\; =\; 1\; \{\backslash \; displaystyle\; Y\; =\; 1\}$не в 10 раз больше, это только влияние на шансы В 10 раз больше.

Чтобы оценить параметры $\beta \; i\; \{\backslash \; displaystyle\; \backslash \; beta\; \_\; \{i\}\}$на основе данных, необходимо выполнить логистическую регрессию.

Вероятность сдачи экзамена в зависимости от часов обучения

Чтобы ответить на следующий вопрос:

Группа из 20 студентов тратит от 0 до 6 часов на подготовку к экзамену. Как количество часов, потраченных на обучение, влияет на вероятность сдачи студентом экзамена?

Причина использования логистической регрессии для этой проблемы заключается в том, что значения зависимой переменной, пройден и не пройден, хотя и представлены «1» и «0», не являются количественными числами. Если проблема была изменена таким образом, что результат «прошел / не прошел» был заменен оценкой 0–100 (количественные числа), то можно было использовать простой регрессионный анализ .

В таблице показано количество часов, потраченных каждым студентом на обучение, а также его прохождение (1) или неудача (0).

Часы	0,50	0,75	1,00	1,25	1,50	1,75	1,75	2,00	2,25	2,50	2,75	3,00	3,25	3,50	4,00	4,25	4,50	4,75	5,00	5,50
Пройдено	0	0	0	0	0	0	1	0	1	0	1	0	1	0	1	1	1	1	1	1

График показывает вероятность сдачи экзамена в зависимости от количества часов обучения, с кривой логистической регрессии, подобранной к данным.

График кривой логистической регрессии, показывающий вероятность сдачи экзамена по сравнению с часами обучения.

Анализ логистической регрессии дает следующий результат.

	Коэффициент	Стандартная ошибка	z- значение	P-значение (Wald)
Intercept	-4.0777	1,7610	−2,316	0,0206
Часы	1,5046	0,6287	2,393	0,0167

Вывод показывает, что количество часов обучения в значительной степени связано с вероятностью сдачи экзамена ($p\; =\; 0,0167\; \{\backslash \; displaystyle\; p\; =\; 0,0167\}$, тест Вальда ). Выходные данные также предоставляют коэффициенты для $Intercept\; =\; -\; 4.0777\; \{\backslash \; displaystyle\; \{\backslash \; text\; \{Intercept\}\}\; =\; -\; 4.0777\}$и $Hours\; =\; 1.5046\; \{\backslash \; displaystyle\; \{\backslash \; text\; \{Hours\}\; \}\; =\; 1,5046\}$. Эти коэффициенты вводятся в уравнение логистической регрессии для оценки шансов (вероятности) сдачи экзамена:

$Лог-шансы\; сдачи\; экзамена\; =\; 1,5046\; \cdot \; Часы\; -\; 4,0777\; =\; 1,5046\; \cdot \; (Часы\; -\; 2,71)\; Шансы\; сдачи\; экзамена\; =\; exp\; \; (1,5046\; \cdot \; часов\; -\; 4,0777)\; =\; exp\; \; (1,5046\; \cdot \; (часов\; -\; 2,71))\; Вероятность\; сдачи\; экзамена\; =\; 1\; 1\; +\; exp\; \; (-\; (1,5046\; \cdot \; часов\; -\; 4,0777))\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{align\}\; \{\; \backslash \; text\; \{Лог-шансы\; сдачи\; экзамена\}\}\; =\; 1,5046\; \backslash \; cdot\; \{\backslash \; text\; \{Часы\}\}\; -\; 4,0777\; =\; 1,5046\; \backslash \; cdot\; (\{\backslash \; text\; \{Часы\}\}\; -\; 2,71)\; \backslash \backslash \; \{\backslash \; text\; \{Шансы\; на\; сдачу\; экзамена\; \}\}\; =\; \backslash \; exp\; \backslash \; left\; (1.5046\; \backslash \; cdot\; \{\backslash \; text\; \{Hours\}\}\; -\; 4.0777\; \backslash \; right)\; =\; \backslash \; exp\; \backslash \; left\; (1.5046\; \backslash \; cdot\; (\{\backslash \; text\; \{Hours\}\}\; -\; 2,71)\; \backslash \; right)\; \backslash \backslash \; \{\; \backslash \; text\; \{Вероятность\; сдачи\; экзамена\}\}\; =\; \{\backslash \; frac\; \{1\}\; \{1+\; \backslash \; exp\; \backslash \; left\; (-\; \backslash \; left\; (1.5046\; \backslash \; cdot\; \{\backslash \; text\; \{Hours\}\}\; -\; 4.0777\; \backslash \; right)\; \backslash \; right)\}\}\; \backslash \; end\; \{align\}\}\}$

Один дополнительный час обучения, по оценкам, увеличит логарифмические шансы успешного прохождения экзамена на 1,5046, поэтому умножение шансов на прохождение экзамена на $exp\; \; (1,5046)\; \approx \; 4,5.\; \{\backslash \; displaystyle\; \backslash \; exp\; (1.5046)\; \backslash \; приблизительно\; 4.5.\}$Форма с пересечением по оси x (2.71) показывает, что это оценивает четные шансы (логарифм-шансы 0, шансы 1, вероятность 1/2) для студента, который учится 2,71 часа.

Например, для студента, который учится 2 часа, ввод значения $Часы\; =\; 2\; \{\backslash \; displaystyle\; \{\backslash \; text\; \{Hours\}\}\; =\; 2\}$в уравнении дает расчетная вероятность сдачи экзамена 0,26:

$Вероятность\; сдачи\; экзамена\; =\; 1\; 1\; +\; exp\; \; (-\; (1,5046\; \cdot \; 2\; -\; 4,0777))\; =\; 0,26\; \{\backslash \; displaystyle\; \{\backslash \; text\; \{Вероятность\; сдачи\; экзамена\}\}\; =\; \{\backslash \; frac\; \{1\}\; \{1+\; \backslash \; exp\; \backslash \; left\; (-\; \backslash \; left\; (1.5046\; \backslash \; cdot\; 2-4.0777\; \backslash \; right)\; \backslash \; right)\}\}\; =\; 0,26\}$

Аналогично, для студента, который учится 4 часа, оценочная вероятность сдача экзамена составляет 0,87:

$Вероятность\; сдачи\; экзамена\; =\; 1\; 1\; +\; exp\; \; (-\; (1,5046\; \cdot \; 4\; -\; 4,0777))\; =\; 0,87\; \{\backslash \; displaystyle\; \{\backslash \; text\; \{Вероятность\; сдачи\; экзамена\}\}\; =\; \{\backslash \; frac\; \{1\; \}\; \{1+\; \backslash \; exp\; \backslash \; left\; (-\; \backslash \; left\; (1.5046\; \backslash \; cdot\; 4-4.0777\; \backslash \; right)\; \backslash \; right)\}\}\; =\; 0,87\}$

В этой таблице показана вероятность сдачи экзамена для нескольких значений часов обучения.

Часы. учебы	Сдача экзамена
	Журналы	Запросы	Вероятность
1	−2,57	0,076 ≈ 1: 13,1	0,07
2	−1,07	0,34 ≈ 1: 2,91	0,26
3	0,44	1,55	0,61
4	1,94	6,96	0,87
5	3,45	31,4	0,97

Результат анализа логистической регрессии дает p -значение $p\; =\; 0,0167\; \{\backslash \; displaystyle\; p\; =\; 0,0167\}$, которое основано на z-оценке Вальда. Вместо метода Вальда для расчета p-значения для логистической регрессии рекомендуется использовать критерий отношения правдоподобия (LRT), который для этих данных дает $p\; =\; 0,0006\; \{\backslash \; displaystyle\; p\; =\; 0.0006\}$.

Обсуждение

Логистическая регрессия может быть биномиальной, порядковой или полиномиальной. Биномиальная или двоичная логистическая регрессия имеет дело с ситуациями, в которых наблюдаемый результат для зависимой переменной может иметь только два возможных типа: «0» и «1» (которые могут представлять, например, «мертвый» vs. «жив» или «победа» против «проигрыша»). Полиномиальная логистическая регрессия имеет дело с ситуациями, в которых результат может иметь три или более возможных типа (например, «болезнь A» против «болезни B» против «болезни C»), которые не упорядочены. Порядковая логистическая регрессия имеет дело с упорядоченными зависимыми переменными.

В бинарной логистической регрессии результат обычно кодируется как «0» или «1», поскольку это приводит к наиболее простой интерпретации. Если конкретный наблюдаемый результат для зависимой переменной является заслуживающим внимания возможным результатом (называемым «успехом», «экземпляром» или «случаем»), он обычно кодируется как «1», а противоположный результат (называемый «сбой» или «неэкземпляр» или «не случай») как «0». Двоичная логистическая регрессия используется для прогнозирования шансов наличия случая на основе значений независимых переменных (предикторов). Шансы определяются как вероятность того, что конкретный исход является случаем, деленный на вероятность того, что это не случай.

Как и другие формы регрессионного анализа, логистическая регрессия использует одну или несколько переменных-предикторов, которые могут быть непрерывными или категориальными. Однако, в отличие от обычной линейной регрессии, логистическая регрессия используется для прогнозирования зависимых переменных, которые принимают принадлежность к одной из ограниченного числа категорий (рассматривая зависимую переменную в биномиальном случае как результат Бернулли. испытание ), а не непрерывный результат. Учитывая эту разницу, предположения линейной регрессии нарушаются. В частности, остатки не могут быть нормально распределены. Кроме того, линейная регрессия может делать бессмысленные прогнозы для двоичной зависимой переменной. Что необходимо, так это способ преобразования двоичной переменной в непрерывную, которая может принимать любое реальное значение (отрицательное или положительное). Для этого биномиальная логистическая регрессия сначала вычисляет шансы события, происходящего для разных уровней каждой независимой переменной, а затем берет свой логарифм, чтобы создать непрерывный критерий как преобразованную версию зависимая переменная. Логарифм шансов - это логит вероятности, логит определяется следующим образом:

Хотя зависимая переменная в логистической регрессии Бернулли, логит неограниченного масштаба. Логит-функция - это функция связи в таком виде обобщенной линейной модели, то есть

$logit\; \; E\; \; (Y)\; =\; \beta \; 0\; +\; \beta \; 1\; x\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{logit\}\; \backslash \; operatorname\; \{\; \backslash \; mathcal\; \{E\}\}\; (Y)\; =\; \backslash \; beta\; \_\; \{0\}\; +\; \backslash \; beta\; \_\; \{1\}\; x\}$

Y - это распределенная Бернулли переменная ответа, а x - переменная-предиктор; значения β - линейные параметры.

Затем логит вероятности успеха подбирается для предикторов. Прогнозируемое значение логита преобразуется обратно в прогнозируемые шансы с помощью обратного натурального логарифма - экспоненциальной функции . Таким образом, хотя наблюдаемая зависимая переменная в бинарной логистической регрессии представляет собой переменную 0 или 1, логистическая регрессия оценивает шансы, как непрерывную переменную, того, что зависимая переменная является «успехом». В некоторых приложениях все, что нужно, - это ставки. В других случаях требуется конкретный прогноз типа «да» или «нет» для определения того, является ли зависимая переменная «успехом»; это категориальное предсказание может быть основано на вычисленных шансах на успех, при этом предсказанные шансы выше некоторого выбранного значения отсечения переводятся в предсказание успеха.

Предположение о линейных эффектах предиктора можно легко ослабить с помощью таких методов, как сплайн-функции.

Логистическая регрессия по сравнению с другими подходами

Логистическая регрессия измеряет взаимосвязь между категориальной зависимой переменной и одну или несколько независимых переменных путем оценки вероятностей с использованием логистической функции , которая является кумулятивной функцией распределения логистического распределения. Таким образом, он обрабатывает тот же набор проблем, что и пробит-регрессия, используя аналогичные методы, причем последний использует вместо этого кумулятивную кривую нормального распределения. Эквивалентно, в интерпретации скрытых переменных этих двух методов, первый предполагает стандартное логистическое распределение ошибок, а второй - стандартное нормальное распределение ошибок.

Логистический регрессию можно рассматривать как частный случай обобщенной линейной модели и, таким образом, аналог линейной регрессии. Однако модель логистической регрессии основана на совершенно иных предположениях (о взаимосвязи между зависимыми и независимыми переменными) от предположений линейной регрессии. В частности, ключевые различия между этими двумя моделями можно увидеть в следующих двух особенностях логистической регрессии. Во-первых, условное распределение $y\; \mid \; x\; \{\backslash \; displaystyle\; y\; \backslash \; mid\; x\}$является распределением Бернулли, а не распределением Гаусса, поскольку зависимое переменная двоичная. Во-вторых, прогнозируемые значения являются вероятностями и поэтому ограничиваются (0,1) с помощью функции логистического распределения, поскольку логистическая регрессия предсказывает вероятность конкретных результатов, а не сами результаты.

Логистическая регрессия является альтернативой методу Фишера 1936 года, линейному дискриминантному анализу. Если допущения линейного дискриминантного анализа верны, обусловленность может быть отменена для получения логистической регрессии. Однако обратное неверно, поскольку логистическая регрессия не требует многомерного нормального допущения дискриминантного анализа.

Интерпретация скрытых переменных

Логистическая регрессия может пониматься просто как нахождение $\beta \; \{\backslash \; displaystyle\; \backslash \; beta\}$наиболее подходящие параметры:

$y\; =\; \{1\; \beta \; 0\; +\; \beta \; 1\; x\; +\; \epsilon >0\; 0\; else\; \{\backslash \; displaystyle\; y\; =\; \{\backslash \; begin\; \{cases\}\; 1\; \backslash \; beta\; \_\; \{0\}\; +\; \backslash \; beta\; \_\; \{1\}\; x\; +\; \backslash \; varepsilon>0\; \backslash \backslash \; 0\; \{\backslash \; text\; \{else\}\}\; \backslash \; end\; \{cases\}\}\}$

где $\epsilon \; \{\backslash \; displaystyle\; \backslash \; varepsilon\}$- ошибка, распределенная стандартным логистическим распределением. (Если вместо этого используется стандартное нормальное распределение, это пробит модель.)

Соответствующая скрытая переменная: $y\; \prime \; =\; \beta \; 0\; +\; \beta \; 1\; x\; +\; \epsilon \; \{\backslash \; displaystyle\; y\; \text{'}=\; \backslash \; beta\; \_\; \{0\}\; +\; \backslash \; beta\; \_\; \{\; 1\}\; х\; +\; \backslash \; varepsilon\}$. Член ошибки $\epsilon \; \{\backslash \; displaystyle\; \backslash \; varepsilon\}$не наблюдается, поэтому $y\; \prime \; \{\backslash \; displaystyle\; y\; \text{'}\}$также ненаблюдаем, поэтому он называется «скрытый» (наблюдаемые данные представляют собой значения $y\; \{\backslash \; displaystyle\; y\}$и $x\; \{\backslash \; displaystyle\; x\}$). Однако, в отличие от обычной регрессии, параметры $\beta \; \{\backslash \; displaystyle\; \backslash \; beta\}$не могут быть выражены какой-либо прямой формулой $y\; \{\backslash \; displaystyle\; y\}$и $x\; \{\backslash \; displaystyle\; x\}$значений в наблюдаемых данных. Вместо этого они должны быть найдены с помощью итеративного процесса поиска, обычно реализуемого программой, которая находит максимум сложного «выражения вероятности», которое является функцией всех наблюдаемых $y\; \{\backslash \; displaystyle\; y\}$и $x\; \{\backslash \; displaystyle\; x\}$значения. Подход к оценке объясняется ниже.

Логистическая функция, шансы, отношение шансов и логит

Рисунок 1. Стандартная логистическая функция $\sigma \; (t)\; \{\backslash \; displaystyle\; \backslash \; sigma\; (t)\}$; обратите внимание, что $\sigma \; (t)\; \in \; (0,\; 1)\; \{\backslash \; displaystyle\; \backslash \; sigma\; (t)\; \backslash \; in\; (0,1)\}$для всех $t\; \{\backslash \; displaystyle\; t\}$.

Определение логистической функции

Объяснение логистической регрессии можно начать с объяснения стандартной логистической функции . Логистическая функция - это сигмовидная функция, которая принимает любой реальный ввод $t\; \{\backslash \; displaystyle\; t\}$, ($t\; \in \; R\; \{\backslash \; displaystyle\; t\; \backslash \; in\; \backslash \; mathbb\; \{R\}\}$) и выводит значение от нуля до единицы; для логита это интерпретируется как получение входных данных логарифм-шансы и получение на выходе вероятности. Стандартная логистическая функция $\sigma :\; R\; \to \; (0,\; 1)\; \{\backslash \; displaystyle\; \backslash \; sigma:\; \backslash \; mathbb\; \{R\}\; \backslash \; rightarrow\; (0,1)\}$определяется следующим образом:

$\sigma \; (t)\; =\; etet\; +\; 1\; =\; 1\; 1\; +\; e\; -\; t\; \{\backslash \; displaystyle\; \backslash \; sigma\; (t)\; =\; \{\backslash \; frac\; \{e\; ^\; \{t\}\}\; \{e\; ^\; \{t\}\; +1\}\}\; =\; \{\backslash \; frac\; \{1\}\; \{1\; +\; e\; ^\; \{-\; t\}\}\}\}$

График логистической функции на t-интервале (−6,6) показан на рисунке 1.

Предположим, что $t\; \{\backslash \; displaystyle\; t\}$- линейная функция одной независимой переменной $x\; \{\backslash \; displaystyle\; x\}$(случай, когда $t\; \{\backslash \; displaystyle\; t\}$- линейная комбинация нескольких независимых переменных, обрабатывается аналогично). Тогда мы можем выразить $t\; \{\backslash \; displaystyle\; t\}$следующим образом:

$t\; =\; \beta \; 0\; +\; \beta \; 1\; x\; \{\backslash \; displaystyle\; t\; =\; \backslash \; beta\; \_\; \{0\}\; +\; \backslash \; beta\; \_\; \{1\; \}\; x\}$

И общая логистическая функция $p:\; R\; \to \; (0,\; 1)\; \{\backslash \; displaystyle\; p:\; \backslash \; mathbb\; \{R\}\; \backslash \; rightarrow\; (0,1)\}$теперь может быть записывается как:

$p\; (x)\; =\; \sigma \; (t)\; =\; 1\; 1\; +\; e\; -\; (\beta \; 0\; +\; \beta \; 1\; x)\; \{\backslash \; displaystyle\; p\; (x)\; =\; \backslash \; sigma\; (t)\; =\; \{\backslash \; frac\; \{1\}\; \{\; 1\; +\; e\; ^\; \{-\; (\backslash \; beta\; \_\; \{0\}\; +\; \backslash \; beta\; \_\; \{1\}\; x)\}\}\}\}$

В логистической модели $p\; (x)\; \{\backslash \; displaystyle\; p\; (x)\}$интерпретируется как вероятность того, что зависимая переменная $Y\; \{\backslash \; displaystyle\; Y\}$будет равна успеху / случаю, а не неудаче / отсутствию. Ясно, что переменные ответа $Y\; i\; \{\backslash \; displaystyle\; Y\_\; \{i\}\}$не имеют одинакового распределения: $P\; (Y\; i\; =\; 1\; \mid \; X)\; \{\backslash \; displaystyle\; P\; (Y\_\; \{i\}\; =\; 1\; \backslash \; mid\; X)\}$отличается от одной точки данных $X\; i\; \{\backslash \; displaystyle\; X\_\; \{i\}\}$от другой, хотя они независимая заданная матрица проекта $X\; \{\backslash \; displaystyle\; X\}$и общие параметры $\beta \; \{\backslash \; displaystyle\; \backslash \; beta\}$.

Определение обратной логистической функции

Теперь мы можем определить функцию logit (логарифм шансов) как обратную $g\; =\; \sigma \; -\; 1\; \{\backslash \; displaystyle\; g\; =\; \backslash \; sigma\; ^\; \{-\; 1\}\}$стандартной логистической функции. Легко видеть, что он удовлетворяет:

$g\; (p\; (x))\; =\; \sigma \; -\; 1\; (p\; (x))\; =\; logit\; \; p\; (x)\; =\; ln\; \; (p\; (x)\; 1\; -\; p\; (x))\; знак\; равно\; \beta \; 0\; +\; \beta \; 1\; Икс,\; \{\backslash \; Displaystyle\; g\; (p\; (x))\; =\; \backslash \; sigma\; ^\; \{-\; 1\}\; (p\; (x))\; =\; \backslash \; operatorname\; \{logit\}\; p\; (x)\; =\; \backslash \; ln\; \backslash \; left\; (\{\; \backslash \; frac\; \{p\; (x)\}\; \{1-p\; (x)\}\}\; \backslash \; right)\; =\; \backslash \; beta\; \_\; \{0\}\; +\; \backslash \; beta\; \_\; \{1\}\; x,\}$

и, что то же самое, после возведения в степень обе стороны мы имеем шансы:

$p\; (x)\; 1\; -\; p\; (x)\; =\; e\; \beta \; 0\; +\; \beta \; 1\; x.\; \{\backslash \; displaystyle\; \{\backslash \; frac\; \{p\; (x)\}\; \{1-p\; (x)\}\}\; =\; e\; ^\; \{\backslash \; beta\; \_\; \{0\}\; +\; \backslash \; beta\; \_\; \{1\}\; x\}.\}$

Толкование этих терминов

В приведенных выше уравнениях используются следующие члены:

• $g\; \{\backslash \; displaystyle\; g\}$- логит-функция. Уравнение для $g\; (p\; (x))\; \{\backslash \; displaystyle\; g\; (p\; (x))\}$показывает, что logit (т. Е. Логарифм шансов или натуральный логарифм шансы) эквивалентно выражению линейной регрессии.
• $ln\; \{\backslash \; displaystyle\; \backslash \; ln\}$обозначает натуральный логарифм.
• $p\; (x)\; \{\backslash \; displaystyle\; p\; (x)\}$- вероятность того, что зависимая переменная соответствует случаю, при некоторой линейной комбинации предикторов. Формула для $p\; (x)\; \{\backslash \; displaystyle\; p\; (x)\}$показывает, что вероятность того, что зависимая переменная равна случаю, равна значению логистической функции выражения линейной регрессии. Это важно, поскольку показывает, что значение выражения линейной регрессии может изменяться от отрицательной до положительной бесконечности, и все же после преобразования результирующее выражение для вероятности $p\; (x)\; \{\backslash \; displaystyle\; p\; (x)\}$находится в диапазоне от 0 до 1.
• $\beta \; 0\; \{\backslash \; displaystyle\; \backslash \; beta\; \_\; \{0\}\}$- отрезок из уравнения линейной регрессии (значение критерий, когда предиктор равен нулю).
• $\beta \; 1\; x\; \{\backslash \; displaystyle\; \backslash \; beta\; \_\; \{1\}\; x\}$- коэффициент регрессии, умноженный на некоторое значение предиктора.
• base $e\; \{\backslash \; displaystyle\; e\}$обозначает экспоненциальную функцию.

Определение шансов

Шансы зависимой переменной, равной случаю (при некоторой линейной комбинации $x\; \{\backslash \; displaystyle\; x\}$предикторов) эквивалентен экспоненциальной функции выражения линейной регрессии. Это иллюстрирует, как logit служит функцией связи между вероятностью и выражением линейной регрессии. Учитывая, что логит находится в диапазоне от отрицательной до положительной бесконечности, он обеспечивает адекватный критерий для проведения линейной регрессии, а логит легко конвертируется обратно в шансы.

Итак, мы определяем шансы зависимой переменной, равные случаю (при некоторой линейной комбинации $x\; \{\backslash \; displaystyle\; x\}$предикторов) следующим образом:

$шансы\; =\; e\; \beta \; 0\; +\; \beta \; 1\; x.\; \{\backslash \; displaystyle\; \{\backslash \; text\; \{odds\}\}\; =\; e\; ^\; \{\backslash \; beta\; \_\; \{0\}\; +\; \backslash \; beta\; \_\; \{1\}\; x\}.\}$

Отношение шансов

Для непрерывной независимой переменной шансы соотношение может быть определено как:

$ИЛИ\; =\; шансы\; \; (x\; +\; 1)\; шансы\; \; (x)\; =\; (F\; (x\; +\; 1)\; 1\; -\; F\; (x\; +\; 1))\; (F\; (x)\; 1\; -\; F\; (x))\; знак\; равно\; е\; \beta \; 0\; +\; \beta \; 1\; (Икс\; +\; 1)\; е\; \beta \; 0\; +\; \beta \; 1\; Икс\; =\; е\; \beta \; 1\; \{\backslash \; Displaystyle\; \backslash \; mathrm\; \{ИЛИ\}\; =\; \{\backslash \; гидроразрыва\; \{\backslash \; OperatorName\; \{odds\}\; (х\; +\; 1)\}\; \{\; \backslash \; operatorname\; \{odds\}\; (x)\}\}\; =\; \{\backslash \; frac\; \{\backslash \; left\; (\{\backslash \; frac\; \{F\; (x\; +\; 1)\}\; \{1-F\; (x\; +\; 1)\}\}\; \backslash \; right)\}\; \{\backslash \; left\; (\{\backslash \; frac\; \{F\; (x)\}\; \{1-F\; (x)\}\}\; \backslash \; right)\}\}\; =\; \{\backslash \; frac\; \{e\; ^\; \{\backslash \; beta\; \_\; \{0\}\; +\; \backslash \; beta\; \_\; \{1\}\; (x\; +\; 1)\}\}\; \{\; e\; ^\; \{\backslash \; beta\; \_\; \{0\}\; +\; \backslash \; beta\; \_\; \{1\}\; x\}\}\}\; =\; e\; ^\; \{\backslash \; beta\; \_\; \{1\}\}\}$

Эта экспоненциальная зависимость дает интерпретацию для $\beta \; 1\; \{\backslash \; displaystyle\; \backslash \; beta\; \_\; \{1\}\}$: коэффициент умножается на $e\; \beta \; 1\; \{\backslash \; displaystyle\; e\; ^\; \{\backslash \; beta\; \_\; \{1\}\}\}$для каждого увеличения на 1 единицу. в x.

Для двоичной независимой переменной отношение шансов определяется как $adbc\; \{\backslash \; displaystyle\; \{\backslash \; frac\; \{ad\}\; \{bc\}\}\}$где a, b, c и d - ячейки в таблице непредвиденных обстоятельств 2 × 2 .

Множественное объяснение Или переменные

Если есть несколько независимых переменных, приведенное выше выражение $\beta \; 0\; +\; \beta \; 1\; x\; \{\backslash \; displaystyle\; \backslash \; beta\; \_\; \{0\}\; +\; \backslash \; beta\; \_\; \{1\}\; x\}$можно изменить на $\beta \; 0\; +\; \beta \; 1\; x\; 1\; +\; \beta \; 2\; x\; 2\; +\; \cdots \; +\; \beta \; mxm\; =\; \beta \; 0\; +\; \sum \; i\; =\; 1\; m\; \beta \; ixi\; \{\backslash \; displaystyle\; \backslash \; beta\; \_\; \{0\}\; +\; \backslash \; beta\; \_\; \{\; 1\}\; x\_\; \{1\}\; +\; \backslash \; beta\; \_\; \{2\}\; x\_\; \{2\}\; +\; \backslash \; cdots\; +\; \backslash \; beta\; \_\; \{m\}\; x\_\; \{m\}\; =\; \backslash \; beta\; \_\; \{0\}\; +\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{m\; \}\; \backslash \; beta\; \_\; \{i\}\; x\_\; \{i\}\}$. Затем, когда это используется в уравнении, связывающем логарифм шансов успеха со значениями предикторов, линейная регрессия будет множественной регрессией с m пояснителями; все параметры $\beta \; j\; \{\backslash \; displaystyle\; \backslash \; beta\; \_\; \{j\}\}$для всех j = 0, 1, 2,..., m оцениваются.

Опять же, более традиционные уравнения:

$log\; \; p\; 1\; -\; p\; =\; \beta \; 0\; +\; \beta \; 1\; x\; 1\; +\; \beta \; 2\; x\; 2\; +\; \cdots \; +\; \beta \; mxm\; \{\backslash \; displaystyle\; \backslash \; log\; \{\backslash \; frac\; \{\; p\}\; \{1-p\}\}\; =\; \backslash \; beta\; \_\; \{0\}\; +\; \backslash \; beta\; \_\; \{1\}\; x\_\; \{1\}\; +\; \backslash \; beta\; \_\; \{2\}\; x\_\; \{2\}\; +\; \backslash \; cdots\; +\; \backslash \; beta\; \_\; \{m\}\; x\_\; \{m\; \}\}$

и

$p\; =\; 1\; 1\; +\; b\; -\; (\beta \; 0\; +\; \beta \; 1\; x\; 1\; +\; \beta \; 2\; x\; 2\; +\; \cdots \; +\; \beta \; mxm)\; \{\backslash \; displaystyle\; p\; =\; \{\backslash \; frac\; \{1\}\; \{1\; +\; b\; ^\; \{-\; (\backslash \; beta\; \_\; \{0\}\; +\; \backslash \; beta\; \_\; \{1\}\; x\_\; \{1\}\; +\; \backslash \; beta\; \_\; \{2\}\; x\_\; \{2\}\; +\; \backslash \; cdots\; +\; \backslash \; beta\; \_\; \{m\}\; x\_\; \{m\})\}\}\}\; \}$

где обычно $b\; =\; e\; \{\backslash \; displaystyle\; b\; =\; e\}$.

Подгонка модели

Логистическая регрессия - важный алгоритм машинного обучения. Цель состоит в том, чтобы смоделировать вероятность того, что случайная величина $Y\; \{\backslash \; displaystyle\; Y\}$будет равна 0 или 1 с учетом экспериментальных данных.

Рассмотрим обобщенную линейную модель функция, параметризованная с помощью $\theta \; \{\backslash \; displaystyle\; \backslash \; theta\}$,

$h\; \theta \; (X)\; =\; 1\; 1\; +\; e\; -\; \theta \; TX\; =\; Pr\; (Y\; =\; 1\; \mid \; X;\; \theta )\; \{\backslash \; displaystyle\; h\; \_\; \{\backslash \; theta\}\; (\; X)\; =\; \{\backslash \; frac\; \{1\}\; \{1\; +\; e\; ^\; \{-\; \backslash \; theta\; ^\; \{T\}\; X\}\}\}\; =\; \backslash \; Pr\; (Y\; =\; 1\; \backslash \; mid\; X;\; \backslash \; theta)\}$

Следовательно,

$Pr\; (Y\; =\; 0\; \mid \; X;\; \theta )\; =\; 1\; -\; час\; \theta \; (X)\; \{\backslash \; displaystyle\; \backslash \; Pr\; (Y\; =\; 0\; \backslash \; mid\; X;\; \backslash \; theta)\; =\; 1-h\; \_\; \{\backslash \; theta\}\; (X)\}$

и поскольку $Y\; \in \; \{0,\; 1\}\; \{\backslash \; displaystyle\; Y\; \backslash \; in\; \backslash \; \{0,1\; \backslash \}\}$, мы видим, что $Pr\; (y\; \mid \; X;\; \theta )\; \{\backslash \; displaystyle\; \backslash \; Pr\; (y\; \backslash \; mid\; X;\; \backslash \; theta)\}$определяется как $Pr\; (y\; \mid \; X;\; \theta )\; =\; h\; \theta \; (X)\; y\; (1\; -\; h\; \theta \; (X))\; (1\; -\; y).\; \{\backslash \; displaystyle\; \backslash \; Pr\; (y\; \backslash \; mid\; X;\; \backslash \; theta)\; =\; h\; \_\; \{\backslash \; theta\}\; (X)\; ^\; \{y\}\; (1-h\; \_\; \{\backslash \; theta\}\; (X))\; ^\; \{(1-y)\}.\}$Теперь вычисляем функцию правдоподобия , предполагая, что все наблюдения в выборке независимо распределены Бернулли,

$L\; (\theta \; \mid \; y;\; x)\; =\; Pr\; (Y\; \mid \; X;\; \theta )\; Знак\; равно\; \prod \; я\; Pr\; (yi\; \mid \; xi;\; \theta )\; знак\; равно\; \prod \; ih\; \theta \; (xi)\; yi\; (1\; -\; час\; \theta \; (xi))\; (1\; -\; yi)\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{выровнено\}\; L\; (\backslash \; theta\; \backslash \; mid\; y;\; x)\; =\; \backslash \; Pr\; (Y\; \backslash \; mid\; X;\; \backslash \; theta)\; \backslash \backslash \; =\; \backslash \; prod\; \_\; \{i\}\; \backslash \; Pr\; (y\_\; \{i\}\; \backslash \; mid\; x\_\; \{i\};\; \backslash \; theta)\; \backslash \backslash \; =\; \backslash \; prod\; \_\; \{\; i\}\; h\; \_\; \{\backslash \; theta\}\; (x\_\; \{i\})\; ^\; \{y\_\; \{i\}\}\; (1-h\; \_\; \{\backslash \; theta\}\; (x\_\; \{i\}))\; ^\; \{(1-y\_\; \{i\})\}\; \backslash \; end\; \{выровнено\; \}\}\}$

Как правило, логарифм правдоподобия максимизируется,

$N\; -\; 1\; log\; \; L\; (\theta \; \mid \; y;\; x)\; =\; N\; -\; 1\; \sum \; i\; =\; 1\; N\; log\; \; Pr\; (yi\; \mid \; xi;\; \theta )\; \{\; \backslash \; Displaystyle\; N\; ^\; \{-\; 1\}\; \backslash \; log\; L\; (\backslash \; theta\; \backslash \; mid\; y;\; x)\; =\; N\; ^\; \{-\; 1\}\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{N\}\; \backslash \; log\; \backslash \; Pr\; (y\_\; \{i\}\; \backslash \; mid\; x\_\{i\};\backslash theta)\}$

which is maximized using optimization techniques such as gradient descent.

Assuming the $(\; x,\; y)\; \{\backslash displaystyle\; (x,y)\}$pairs are drawn uniformly from the underlying distribution, then i n the limit of large N,

$lim\; N\; \to \; +\; \infty \; N\; -\; 1\; \sum \; i\; =\; 1\; N\; log\; \; Pr\; (\; y\; i\; \mid \; x\; i\; ;\; \theta )\; =\; \sum \; x\; \in \; X\; \sum \; y\; \in \; Y\; Pr\; (\; X\; =\; x,\; Y\; =\; y)\; log\; \; Pr\; (\; Y\; =\; y\; \mid \; X\; =\; x\; ;\; \theta )\; =\; \sum \; x\; \in \; X\; \sum \; y\; \in \; Y\; Pr\; (\; X\; =\; x,\; Y\; =\; y)\; (\; -\; log\; \; Pr\; (\; Y\; =\; y\; \mid \; X\; =\; x)\; Pr\; (\; Y\; =\; y\; \mid \; X\; =\; x\; ;\; \theta )\; +\; log\; \; Pr\; (\; Y\; =\; y\; \mid \; X\; =\; x))\; =\; -\; D\; KL\; (\; Y\; \parallel \; Y\; \theta )\; -\; H\; (\; Y\; \mid \; X)\; \{\backslash displaystyle\; \{\backslash begin\{aligned\}\backslash lim\; \backslash limits\; \_\{N\backslash rightarrow\; +\backslash infty\; \}N^\{-1\}\backslash sum\; \_\{i=1\}^\{N\}\backslash log\; \backslash Pr(y\_\{i\}\backslash mid\; x\_\{i\};\backslash theta)=\backslash sum\; \_\{x\backslash in\; \{\backslash mathcal\; \{X\}\}\}\backslash sum\; \_\{y\backslash in\; \{\backslash mathcal\; \{Y\}\}\}\backslash Pr(X=x,Y=y)\backslash log\; \backslash Pr(Y=y\backslash mid\; X=x;\backslash theta)\backslash \backslash [6pt]=\{\}\backslash sum\; \_\{x\backslash in\; \{\backslash mathcal\; \{X\}\}\}\backslash sum\; \_\{y\backslash in\; \{\backslash mathcal\; \{Y\}\}\}\backslash Pr(X=x,Y=y)\backslash left(-\backslash log\; \{\backslash frac\; \{\backslash Pr(Y=y\backslash mid\; X=x)\}\{\backslash Pr(Y=y\backslash mid\; X=x;\backslash theta)\}\}+\backslash log\; \backslash Pr(Y=y\backslash mid\; X=x)\backslash right)\backslash \backslash [6pt]=\{\}-D\_\{\backslash text\{KL\}\}(Y\backslash parallel\; Y\_\{\backslash theta\; \})-H(Y\backslash mid\; X)\backslash end\{aligned\}\}\}$

where $H\; (\; X\; \mid \; Y)\; \{\backslash displaystyle\; H(X\backslash mid\; Y)\}$is the conditional entropy and $D\; KL\; \{\backslash displaystyle\; D\_\{\backslash text\{KL\}\}\}$is the Kullback–Leibler divergence. Это приводит к интуиции, что, максимизируя логарифмическую вероятность модели, вы сводите к минимуму отклонение KL вашей модели от максимального распределения энтропии. Интуитивно ищите модель, которая делает наименьшее количество предположений в своих параметрах.

"Rule of ten"

A widely used rule of thumb, the "one in ten rule ", states that logistic regression models give stable values for the explanatory variables if based on a minimum of about 10 events per explanatory variable (EPV); где событие обозначает случаи, относящиеся к менее частой категории в зависимой переменной. Thus a study designed to use $k\; \{\backslash \; displaystyle\; k\}$объясняющие переменные для события (например, инфаркт миокарда ), которое, как ожидается, произойдет в пропорции $p\; \{\backslash \; displaystyle\; p\}$участников в исследовании потребуется всего $10\; k\; /\; p\; \{\backslash \; displaystyle\; 10k\; /\; p\}$участников. Тем не менее, есть серьезные споры о надежности этого правила, которое основано на исследованиях моделирования и не имеет надежного теоретического обоснования. По мнению некоторых авторов, правило слишком консервативное, некоторые обстоятельства; при этом авторы заявляют: «Если мы (несколько субъективно) считаем охват доверительного интервала менее 93 процентов, ошибку типа I более 7 процентов или относительную систематическую ошибку более 15 процентов как проблемные, наши результаты показывают, что проблемы довольно часты с 2–4 EPV, редко встречается при 5–9 EPV и все еще наблюдается при 10–16 EPV. Худшие случаи каждой проблемы не были серьезными при 5–9 EPV и обычно сопоставимы с таковыми при 10–16 EPV ».

Другие получили результаты, которые не согласуются с вышеизложенным, с использованием других критериев. Полезным критерием является то, будет ли подобранная модель, как ожидается, достичь той же прогностической дискриминации в новой выборке, которую она достигла в образце для разработки модели. Для этого критерия может потребоваться 20 событий для каждой переменной-кандидата. Кроме того, можно утверждать, что 96 наблюдений необходимы только для оценки точки пересечения модели с достаточной точностью, чтобы предел ошибки в прогнозируемых вероятностях составлял ± 0,1 при уровне достоверности 0,95.

Оценка максимального правдоподобия (MLE)

Коэффициенты регрессии обычно оцениваются с использованием оценки максимального правдоподобия. В отличие от линейной регрессии с нормально распределенными остатками, невозможно найти выражение в замкнутой форме для значений коэффициентов, которые максимизируют функцию правдоподобия, поэтому вместо этого следует использовать итерационный процесс; например метод Ньютона. Этот процесс начинается с предварительного решения, его немного изменяют, чтобы посмотреть, можно ли его улучшить, и повторяют это изменение до тех пор, пока улучшения не прекратятся, после чего процесс считается сходимым.

В некоторых случаях, модель может не достичь сходимости. Несходимость модели указывает на то, что коэффициенты не имеют смысла, поскольку итерационный процесс не смог найти подходящие решения. Неспособность сойтись может произойти по ряду причин: наличие большого отношения предикторов к случаям, мультиколлинеарность, разреженность или полное разделение.

• Наличие большого отношения от переменных к наблюдениям приводит к чрезмерно консервативной статистике Вальда (обсуждается ниже) и может привести к несходимости. Регуляризованная логистическая регрессия специально предназначена для использования в этой ситуации.
• Мультиколлинеарность относится к недопустимо высоким корреляциям между предикторами. По мере увеличения мультиколлинеарности коэффициенты остаются несмещенными, но увеличиваются стандартные ошибки и уменьшается вероятность сходимости модели. Чтобы обнаружить мультиколлинеарность среди предикторов, можно провести линейный регрессионный анализ с интересующими предикторами с единственной целью изучения статистики толерантности, используемой для оценки того, является ли мультиколлинеарность неприемлемо высокой.
• Разрезанность данных означает наличие большая доля пустых ячеек (ячеек с нулевым счетчиком). Нулевое количество ячеек особенно проблематично для категориальных предикторов. С непрерывными предикторами модель может вывести значения для нулевого количества ячеек, но это не относится к категориальным предикторам. Модель не будет сходиться при нулевом количестве ячеек для категориальных предикторов, потому что натуральный логарифм нуля является неопределенным значением, поэтому окончательное решение модели не может быть достигнуто. Чтобы решить эту проблему, исследователи могут свернуть категории теоретически значимым образом или добавить константу ко всем ячейкам.
• Другой числовой проблемой, которая может привести к отсутствию сходимости, является полное разделение, которое относится к случаю, когда предикторы отлично предсказывают критерий - все случаи точно классифицируются. В таких случаях следует повторно изучить данные, поскольку существует вероятность ошибки.
• Можно также использовать полупараметрические или непараметрические подходы, например, с помощью методов локальной вероятности или непараметрической квазиправдоподобия., что позволяет избежать предположений о параметрической форме для функции индекса и устойчиво к выбору функции связи (например, пробит или логит).

Функция потери кросс-энтропии

В приложениях машинного обучения, где логистические регрессия используется для двоичной классификации, MLE минимизирует функцию потерь перекрестной энтропии .

Метод наименьших квадратов с итеративным перевесом (IRLS)

Двоичная логистическая регрессия ($y\; =\; 0\; \{\backslash \; displaystyle\; y\; =\; 0\}$или $y\; =\; 1\; \{\; \backslash \; displaystyle\; y\; =\; 1\}$) можно, например, рассчитать с использованием метода наименьших квадратов с повторным взвешиванием (IRLS), что эквивалентно максимизации логарифмического правдоподобия Бернулли. распределенный процесс с использованием метода Ньютона. Если задача записана в форме векторной матрицы с параметрами $w\; T\; =\; [\beta \; 0,\; \beta \; 1,\; \beta \; 2,\dots ]\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{w\}\; ^\; \{T\}\; =\; [\backslash \; beta\; \_\; \{0\},\; \backslash \; beta\; \_\; \{1\},\; \backslash \; beta\; \_\; \{2\},\; \backslash \; ldots]\}$, независимые переменные $x\; (i)\; =\; [1,\; x\; 1\; (i),\; x\; 2\; (i),\dots ]\; T\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{x\}\; (i)\; =\; [1,\; x\_\; \{1\}\; (i),\; x\_\; \{2\}\; (i),\; \backslash \; ldots]\; ^\; \{T\}\}$и ожидаемое значение распределения Бернулли $\mu \; (i)\; =\; 1\; 1\; +\; e\; -\; w\; T\; x\; (i)\; \{\backslash \; displaystyle\; \backslash \; mu\; (i)\; =\; \{\backslash \; frac\; \{1\}\; \{1\; +\; e\; ^\; \{-\; \backslash \; mathbf\; \{\; w\}\; ^\; \{T\}\; \backslash \; mathbf\; \{x\}\; (i)\}\}\}\}$, параметры $w\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{w\}\}$можно найти с помощью следующий итерационный алгоритм:

$wk\; +\; 1\; =\; (XTS\; k\; X)\; -\; 1\; XT\; (S\; k\; X\; wk\; +\; y\; -\; \mu \; k)\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{w\}\; \_\; \{k\; +\; 1\}\; =\; \backslash \; left\; (\backslash \; mathbf\; \{X\}\; ^\; \{T\}\; \backslash \; mathbf\; \{S\}\; \_\; \{k\}\; \backslash \; mathbf\; \{X\}\; \backslash \; right)\; ^\; \{-\; 1\}\; \backslash \; mathbf\; \{X\}\; ^\; \{T\}\; \backslash \; left\; (\backslash \; mathbf\; \{S\}\; \_\; \{k\; \}\; \backslash \; mathbf\; \{X\}\; \backslash \; mathbf\; \{w\}\; \_\; \{k\}\; +\; \backslash \; mathbf\; \{y\}\; -\; \backslash \; mathbf\; \{\backslash \; boldsymbol\; \{\backslash \; mu\}\}\; \_\; \{k\}\; \backslash \; right)\}$

где $S\; =\; diag\; \; (\mu \; (я)\; (1\; -\; \mu \; (я)))\; \{\backslash \; Displaystyle\; \backslash \; mathbf\; \{S\}\; =\; \backslash \; operatornam\; e\; \{diag\}\; (\backslash \; mu\; (i)\; (1-\; \backslash \; mu\; (i)))\}$- диагональная матрица взвешивания, $\mu \; =\; [\mu \; (1),\; \mu \; (2),\dots \; ]\; \{\backslash \; displaystyle\; \{\backslash \; boldsymbol\; \{\backslash \; mu\}\}\; =\; [\backslash \; mu\; (1),\; \backslash \; mu\; (2),\; \backslash \; ldots]\}$вектор ожидаемых значений,

$X\; =\; [1\; x\; 1\; (1)\; x\; 2\; (1)\dots \; 1\; x\; 1\; (2)\; x\; 2\; (2)\dots \; ⋮\; ⋮\; ⋮]\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{X\}\; =\; \{\backslash \; begin\; \{bmatrix\}\; 1\; x\_\; \{1\}\; (1)\; x\_\; \{\; 2\}\; (1)\; \backslash \; ldots\; \backslash \backslash \; 1\; x\_\; \{1\}\; (2)\; x\_\; \{2\}\; (2)\; \backslash \; ldots\; \backslash \backslash \backslash \; vdots\; \backslash \; vdots\; \backslash \; vdots\; \backslash \; end\; \{bmatrix\}\}\}$

Матрица регрессора и $y\; (i)\; =\; [y\; (1),\; y\; (2),\dots ]\; T\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{y\}\; (i)\; =\; [y\; (1),\; y\; (2),\; \backslash \; ldots]\; ^\; \{T\}\}$вектор переменных ответа. Более подробную информацию можно найти в литературе.

Оценка качества соответствия

Качество соответствия в моделях линейной регрессии обычно измеряется с использованием R. Поскольку у этого нет прямого аналога в логистической регрессии, вместо него можно использовать различные методы, включая следующие.

Тесты на отклонение и отношение правдоподобия

В линейном регрессионном анализе рассматривается разделение дисперсии с помощью вычислений суммы квадратов - дисперсия критерия по существу делится на дисперсию учитывается предикторами и остаточной дисперсией. В анализе логистической регрессии отклонение используется вместо вычисления суммы квадратов. Отклонение аналогично вычислению суммы квадратов в линейной регрессии и является мерой отсутствия соответствия данным в модели логистической регрессии. Когда доступна «насыщенная» модель (модель с теоретически идеальным соответствием), отклонение рассчитывается путем сравнения данной модели с насыщенной моделью. Это вычисление дает критерий отношения правдоподобия :

$D\; =\; -\; 2\; ln\; \; вероятность\; подобранной\; модели\; вероятность\; насыщенной\; модели.\; \{\backslash \; displaystyle\; D\; =\; -2\; \backslash \; ln\; \{\backslash \; frac\; \{\backslash \; text\; \{вероятность\; подобранной\; модели\}\}\; \{\backslash \; text\; \{вероятность\; насыщенной\; модели\}\}\}.\}$

В приведенном выше уравнении D представляет отклонение и ln представляет собой натуральный логарифм. Логарифм этого отношения правдоподобия (отношение подобранной модели к насыщенной модели) даст отрицательное значение, следовательно, потребуется отрицательный знак. Можно показать, что D соответствует приблизительному распределению хи-квадрат. Меньшие значения указывают на лучшее соответствие, поскольку подобранная модель меньше отклоняется от насыщенной модели. При оценке по распределению хи-квадрат незначительные значения хи-квадрат указывают на очень небольшую необъяснимую дисперсию и, следовательно, хорошее соответствие модели. И наоборот, значительное значение хи-квадрат указывает на то, что значительная величина дисперсии необъяснима.

Когда насыщенная модель недоступна (общий случай), отклонение вычисляется просто как −2 · (логарифмическая вероятность подобранной модели), и ссылка на логарифмическую вероятность насыщенной модели может быть удалена из всех это следует без вреда.

Два показателя отклонения особенно важны в логистической регрессии: нулевое отклонение и отклонение модели. Нулевое отклонение представляет собой разницу между моделью только с точкой пересечения (что означает «без предикторов») и насыщенной моделью. Отклонение модели представляет собой разницу между моделью с хотя бы одним предиктором и насыщенной моделью. В этом отношении нулевая модель обеспечивает основу для сравнения моделей предикторов. Учитывая, что отклонение является мерой разницы между данной моделью и насыщенной моделью, меньшие значения указывают на лучшее соответствие. Таким образом, чтобы оценить вклад предиктора или набора предикторов, можно вычесть отклонение модели из нулевого отклонения и оценить разницу по a $\chi \; s\; -\; p\; 2,\; \{\backslash \; displaystyle\; \backslash \; chi\; \_\; \{sp\}\; ^\; \{\; 2\},\}$распределение хи-квадрат с степенями свободы, равными разнице в количестве оцениваемых параметров.

Пусть

$D\; null\; =\; -\; 2\; ln\; вероятность\; нулевой\; модели\; правдоподобия\; насыщенной\; модели\; D\; подобранная\; =\; -\; 2\; ln\; вероятность\; подобранной\; модели\; вероятность\; насыщенной\; модели.\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{align\}\; D\; \_\; \{\backslash \; text\; \{null\}\}\; =\; -\; 2\; \backslash \; ln\; \{\backslash \; frac\; \{\backslash \; text\; \{вероятность\; нулевой\; модели\}\}\; \{\backslash \; text\; \{вероятность\; насыщенной\; модели\}\}\}\; \backslash \backslash \; [6pt]\; D\; \_\; \{\backslash \; text\; \{fit\}\}\; =\; -\; 2\; \backslash \; ln\; \{\backslash \; frac\; \{\backslash \; text\; \{вероятность\; подобранной\; модели\}\}\; \{\backslash \; text\; \{вероятность\; насыщенной\; модели\}\}\}.\; \backslash \; End\; \{align\}\}\}$

Тогда разница обоих составляет:

$D нуль - D подобран = - 2 (ln ⁡ вероятность нулевой модели, вероятность насыщенной модели - ln вероятность подобранной модели, вероятность насыщенной модели) = - 2 ln ⁡ (вероятность нулевой модели вероятность насыщенной модели) (вероятность подобранной модели вероятность насыщенной модели) = - 2 ln вероятность нулевой модели вероятность подобранной модели. {\ displaystyle {\ begin {align} D _ {\ text {null}} - D _ {\ text {fit}} = - 2 \ left (\ ln {\ frac {\ text {вероятность нулевой модели}} {\ text {вероятность насыщенной модели}}} - \ ln {\ frac {\ text {вероятность соответствия модели}} {\ text {вероятность насыщенной модели}}} \ right) \\ [6pt] = - 2 \ ln {\ frac {\ left ({\ dfrac {\ text {вероятность нулевой модели}} {\ text {вероятность насыщенной модели}}} \ right)} {\ left ({\ dfrac {\ text {вероятность подобранной модели}} {\ text {вероятность насыщенной модели}}} \ right)}} \\ [6pt] = - 2 \ ln {\ frac {\ text {вероятность нулевой модели}} {\ text {вероятность подобранной модели}}}. \ end {align}}}$

Если отклонение модели значительно меньше нулевого отклонения, то можно сделать вывод, что предиктор или набор предикторов значительно улучшили соответствие модели. Это аналогично F-критерию, используемому в анализе линейной регрессии для оценки значимости прогноза.

Псевдо-R-квадрат

В линейной регрессии для оценки используется множественная корреляция в квадрате. степень согласия, поскольку она представляет собой долю дисперсии критерия, которая объясняется предикторами. В логистическом регрессионном анализе нет согласованной аналогичной меры, но есть несколько конкурирующих мер, каждая из которых имеет ограничения.

На этой странице рассматриваются четыре наиболее часто используемых индекса и один менее часто используемый:

• Отношение правдоподобия R² L
• R² Кокса и Снелла CS
• Nagelkerke R² N
• McFadden R2 McF
• Tjur R² T

R²Lопределяется Коэном:

$RL\; 2\; =\; D\; null\; -\; D\; соответствует\; D\; значение\; NULL.\; \{\backslash \; displaystyle\; R\; \_\; \{\backslash \; text\; \{L\}\}\; ^\; \{2\}\; =\; \{\backslash \; frac\; \{D\; \_\; \{\backslash \; text\; \{null\}\}\; -\; D\; \_\; \{\backslash \; text\; \{fit\}\}\}\; \{D\; \_\; \{\backslash \; text\; \{null\}\}\}\}.\; \}$

Это наиболее аналогичный показатель квадрату множественных корреляций в линейной регрессии. Он представляет собой пропорциональное уменьшение отклонения, при котором отклонение рассматривается как мера отклонения, аналогичная, но не идентичная дисперсии в анализе линейной регрессии. Одним из ограничений отношения правдоподобия R² является то, что оно не связано монотонно с отношением шансов, а это означает, что оно не обязательно увеличивается по мере увеличения отношения шансов и не обязательно уменьшается по мере уменьшения отношения шансов.

R²CS- альтернативный индекс качества соответствия, связанный со значением R² из линейной регрессии. Он задается следующим образом:

$R\; CS\; 2\; =\; 1\; -\; (L\; 0\; LM)\; 2\; /\; n\; =\; 1\; -\; e\; 2\; (ln\; \; (L\; 0)\; -\; ln\; \; (LM))\; /\; n\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{\; выровнено\}\; R\; \_\; \{\backslash \; text\; \{CS\}\}\; ^\; \{2\}\; =\; 1-\; \backslash \; left\; (\{\backslash \; frac\; \{L\_\; \{0\}\}\; \{L\_\; \{M\}\}\}\; \backslash \; right)\; ^\; \{2\; /\; n\}\; \backslash \backslash \; [5pt\; ]\; =\; 1-e\; ^\; \{2\; (\backslash \; ln\; (L\_\; \{0\})\; -\; \backslash \; ln\; (L\_\; \{M\}))\; /\; n\}\; \backslash \; end\; \{align\}\}\}$

где L M и {{mvar | L 0 } - вероятности для подгоняемой модели и нулевой модели соответственно. Индекс Кокса и Снелла проблематичен, поскольку его максимальное значение составляет $1\; -\; L\; 0\; 2\; /\; n\; \{\backslash \; displaystyle\; 1-L\_\; \{0\}\; ^\; \{2\; /\; n\}\}$. Наибольшее значение этого верхнего предела может составлять 0,75, но оно может легко достигать 0,48, когда предельная доля наблюдений мала.

R²Nобеспечивает корректировку R² Кокса и Снеллиуса, так что максимальное значение равно 1. Тем не менее, коэффициенты Кокса и Снелла и отношение правдоподобия R²s показывают большее соответствие друг с другом, чем любой из них с коэффициентом Нагелькерке R2. Конечно, это может быть не так для значений, превышающих 0,75, поскольку индекс Кокса и Снелла ограничен этим значением. Отношение правдоподобия R² часто предпочтительнее альтернатив, поскольку оно наиболее аналогично R² в линейной регрессии, не зависит от базовой ставки (R² Кокса и Снелла и Нагелькерке увеличиваются по мере увеличения доли случаев от 0 до 0,5) и варьируется от 0 до 1.

R²McF определяется как

$R\; McF\; 2\; =\; 1\; -\; ln\; \; (LM)\; ln\; \; (L\; 0),\; \{\backslash \; displaystyle\; R\; \_\; \{\backslash \; text\; \{McF\; \}\}\; ^\; \{2\}\; =\; 1\; -\; \{\backslash \; frac\; \{\backslash \; ln\; (L\_\; \{M\})\}\; \{\backslash \; ln\; (L\_\; \{0\})\}\},\}$

и предпочтительнее R² CS пользователя Allison. Тогда два выражения R² McF и R² CS связаны соответственно соотношением

$R\; CS\; 2\; =\; 1\; -\; (1\; L\; 0)\; 2\; (R\; McF\; 2)\; n\; R\; McF\; 2\; Знак\; равно\; -\; N\; 2\; \cdot \; пер\; \; (1\; -\; R\; CS\; 2)\; пер\; \; L\; 0\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{matrix\}\; R\; \_\; \{\backslash \; text\; \{CS\}\}\; ^\; \{2\}\; =\; 1-\; \backslash \; left\; (\{\backslash \; dfrac\; \{1\; \}\; \{L\_\; \{0\}\}\}\; \backslash \; right)\; ^\; \{\backslash \; frac\; \{2\; (R\; \_\; \{\backslash \; text\; \{McF\}\}\; ^\; \{2\})\}\; \{n\}\}\; \backslash \backslash \; [1.5em]\; R\; \_\; \{\backslash \; text\; \{McF\}\}\; ^\; \{2\}\; =\; -\; \{\backslash \; dfrac\; \{n\}\; \{2\}\}\; \backslash \; cdot\; \{\backslash \; dfrac\; \{\backslash \; ln\; (1-R\; \_\; \{\backslash \; text\; \{CS\}\}\; ^\; \{2\})\}\; \{\backslash \; ln\; L\_\; \{0\}\}\}\; \backslash \; end\; \{matrix\}\}\}$

Однако сейчас Эллисон предпочитает R² T, который является относительно новым показателем, разработанным Tjur. Его можно рассчитать в два этапа:

1. Для каждого уровня зависимой переменной найдите среднее значение предсказанных вероятностей события.
2. Возьмите абсолютное значение разницы между этими средними значениями

A слово предостережения при интерпретации статистики псевдо-R². Причина, по которой эти индексы соответствия называются псевдо-R², заключается в том, что они не представляют пропорционального уменьшения ошибки, как это делает R² в линейной регрессии. Линейная регрессия предполагает гомоскедастичность, что дисперсия ошибки одинакова для всех значений критерия. Логистическая регрессия всегда будет гетероскедастической - дисперсии ошибок различаются для каждого значения прогнозируемой оценки. Для каждого значения прогнозируемой оценки будет свое значение пропорционального уменьшения ошибки. Следовательно, неуместно думать о R² как о пропорциональном сокращении ошибки в универсальном смысле логистической регрессии.

Тест Хосмера – Лемешоу

Тест Хосмера – Лемешоу использует статистику теста, которая асимптотически следует $\chi \; 2\; \{\backslash \; displaystyle\; \backslash \; chi\; ^\; \{2\}\}$распределению, чтобы оценить, соответствует ли наблюдаемая частота событий ожидаемой частоте событий в подгруппы модельной популяции. Некоторые статистики считают этот тест устаревшим из-за его зависимости от произвольного биннинга предсказанных вероятностей и относительной низкой мощности.

Коэффициенты

После подбора модели исследователи, вероятно, захотят изучить вклад отдельных предикторов. Для этого они захотят изучить коэффициенты регрессии. В линейной регрессии коэффициенты регрессии представляют изменение критерия для каждого изменения единицы в предикторе. Однако в логистической регрессии коэффициенты регрессии представляют изменение логита для каждого изменения единицы в предикторе. Учитывая, что логит не является интуитивно понятным, исследователи, вероятно, сосредоточатся на влиянии предсказателя на экспоненциальную функцию коэффициента регрессии - отношения шансов (см. определение ). В линейной регрессии значимость коэффициента регрессии оценивается путем вычисления t-критерия. В логистической регрессии существует несколько различных тестов, предназначенных для оценки значимости отдельного предиктора, в первую очередь тест отношения правдоподобия и статистика Вальда.

Тест отношения правдоподобия

Рассмотренный выше тест отношения правдоподобия для оценки соответствия модели также является рекомендуемой процедурой для оценки вклада отдельных «предикторов» в данную модель.. В случае модели с одним предиктором, просто сравнивают отклонение модели предиктора с отклонением от нулевой модели на распределении хи-квадрат с одной степенью свободы. Если модель предиктора имеет значительно меньшее отклонение (c.f хи-квадрат с использованием разницы в степенях свободы двух моделей), то можно сделать вывод, что существует значимая связь между "предиктором" и результатом. Хотя некоторые общие статистические пакеты (например, SPSS) действительно предоставляют статистику теста отношения правдоподобия, без этого требовательного к вычислениям теста было бы труднее оценить вклад отдельных предикторов в случае множественной логистической регрессии. Чтобы оценить вклад отдельных предикторов, можно ввести предикторы иерархически, сравнивая каждую новую модель с предыдущей, чтобы определить вклад каждого предиктора. Статистики спорят о целесообразности так называемых «пошаговых» процедур. Есть опасения, что они могут не сохранить номинальные статистические свойства и могут ввести в заблуждение.

Статистика Вальда

В качестве альтернативы, при оценке вклада отдельных предикторов в данную модель, можно исследовать значимость статистика Вальда. Статистика Вальда, аналогичная t-критерию линейной регрессии, используется для оценки значимости коэффициентов. Статистика Вальда представляет собой отношение квадрата коэффициента регрессии к квадрату стандартной ошибки коэффициента и асимптотически распределяется как распределение хи-квадрат.

$W\; j\; =\; \beta \; j\; 2\; SE\; \beta \; j\; 2\; \{\backslash \; displaystyle\; W\_\; \{j\}\; =\; \{\backslash \; frac\; \{\backslash \; beta\; \_\; \{j\}\; ^\; \{2\}\}\; \{SE\; \_\; \{\backslash \; beta\; \_\; \{j\}\}\; ^\; \{2\}\}\}\}$

Хотя несколько статистических пакетов (например, SPSS, SAS) сообщают статистику Вальда для оценки вклада отдельных предикторов, статистика Вальда имеет ограничения. Когда коэффициент регрессии велик, стандартная ошибка коэффициента регрессии также имеет тенденцию быть больше, увеличивая вероятность ошибки типа II. Статистика Вальда также имеет тенденцию к смещению, когда данные скудны.

Выборка случай-контроль

Предположим, случаи редки. Тогда мы могли бы пожелать отбирать их чаще, чем их распространенность в популяции. Например, предположим, что есть заболевание, которым страдает 1 человек из 10 000, и для сбора данных нам необходимо пройти полное обследование. Проведение тысяч медицинских осмотров здоровых людей для получения данных только по нескольким больным может оказаться слишком дорогостоящим. Таким образом, мы можем оценить большее количество больных, возможно, все редкие исходы. Это также ретроспективная выборка, или, что то же самое, ее называют несбалансированными данными. Как показывает практический опыт, выборка контролей с частотой, в пять раз превышающей количество наблюдений, даст достаточные контрольные данные.

Логистическая регрессия уникальна тем, что ее можно оценивать на несбалансированных данных, а не на случайно выбранных данных, и по-прежнему дают правильные оценки коэффициентов влияния каждой независимой переменной на результат. То есть, если мы сформируем логистическую модель из таких данных, если модель верна для генеральной совокупности, все параметры $\beta \; j\; \{\backslash \; displaystyle\; \backslash \; beta\; \_\; \{j\}\}$будут правильно, за исключением $\beta \; 0\; \{\backslash \; displaystyle\; \backslash \; beta\; \_\; \{0\}\}$. Мы можем исправить $\beta \; 0\; \{\backslash \; displaystyle\; \backslash \; beta\; \_\; \{0\}\}$, если знаем истинную распространенность следующим образом:

$\beta \; ^\; 0\; \ast \; =\; \beta \; ^\; 0\; +\; log\; \; \pi \; 1\; -\; \pi \; -\; журнал\; \; \pi \; ~\; 1\; -\; \pi \; ~\; \{\backslash \; displaystyle\; \{\backslash \; widehat\; \{\backslash \; beta\}\}\; \_\; \{0\}\; ^\; \{*\}\; =\; \{\backslash \; widehat\; \{\backslash \; beta\}\}\; \_\; \{0\}\; +\; \backslash \; log\; \{\backslash \; frac\; \{\backslash \; pi\}\; \{1-\; \backslash \; pi\}\}\; -\; \backslash \; log\; \{\{\backslash \; tilde\; \{\backslash \; pi\}\}\; \backslash \; over\; \{1\; -\; \{\backslash \; tilde\; \{\backslash \; pi\}\}\}\}\}$

где $\pi \; \{\backslash \; displaystyle\; \backslash \; pi\; \}$- истинная распространенность, а $\pi \; ~\; \{\backslash \; displaystyle\; \{\backslash \; tilde\; \{\backslash \; pi\}\}\}$- распространенность в выборке.

Формальная математическая спецификация

Существуют различные эквивалентные спецификации логистической регрессии, которые вписываются в разные типы более общих моделей. Эти разные спецификации позволяют делать разные полезные обобщения.

Настройка

Базовая настройка логистической регрессии выглядит следующим образом. Нам дан набор данных, содержащий N точек. Каждая точка i состоит из набора из m входных переменных x 1, i... x m, i (также называемых независимых переменных, переменных-предикторов, функций, или атрибуты) и двоичной выходной переменной Y i (также известной как зависимая переменная, переменная ответа, выходная переменная или класс), т.е. может принимать только два возможных значения: 0 (часто означает «нет» или «неудача») или 1 (часто означает «да» или «успех»). Целью логистической регрессии является использование набора данных для создания модели прогнозирования переменной результата.

Некоторые примеры:

• Наблюдаемые результаты - это наличие или отсутствие определенного заболевания (например, диабета) у группы пациентов, а объясняющие переменные могут быть характеристиками пациентов, которые считаются соответствующими (пол, раса, возраст, артериальное давление, индекс массы тела и т. д.).
• Наблюдаемые результаты - это голоса (например, Демократический или республиканец ) группы людей, участвующих в выборах, а независимые переменные - это демографические характеристики каждого человека (например, пол, раса, возраст, доход и т. д.). В таком случае один из двух результатов произвольно кодируется как 1, а другой - как 0.

Как и в линейной регрессии, предполагается, что переменные результата Y i зависят от независимых переменных x 1, i... x m, i.

Объясняющие переменные

Как показано выше в приведенных выше примерах, поясняющие переменные могут быть любого типа : вещественные, двоичные, категориальные и т. Д. Основное различие между непрерывными переменными (такими как доход, возраст и кровяное давление ) и дискретные переменные (например, пол или раса). Дискретные переменные, относящиеся к более чем двум возможным вариантам выбора, обычно кодируются с использованием фиктивных переменных (или индикаторных переменных ), то есть отдельные независимые переменные, принимающие значение 0 или 1, создаются для каждого возможного значение дискретной переменной, где 1 означает «переменная имеет данное значение», а 0 означает «переменная не имеет этого значения».

Например, четырехсторонняя дискретная переменная группы крови с возможными значениями «A, B, AB, O» может быть преобразована в четыре отдельные двусторонние фиктивные переменные, » is-A, is-B, is-AB, is-O ", где только один из них имеет значение 1, а все остальные имеют значение 0. Это позволяет сопоставить отдельные коэффициенты регрессии для каждого возможного значения дискретная переменная. (В таком случае только три из четырех фиктивных переменных независимы друг от друга в том смысле, что, как только значения трех переменных известны, четвертая определяется автоматически. Таким образом, необходимо кодировать только три из четырех возможностей в качестве фиктивных переменных. Это также означает, что когда все четыре возможности закодированы, общая модель не может быть идентифицируемой при отсутствии дополнительных ограничений, таких как ограничение регуляризации. Теоретически это может вызвать проблемы, но в действительности почти все модели логистической регрессии снабжены ограничениями регуляризации.)

Переменные результата

Формально результаты Y i описываются как данные с распределением Бернулли, где каждый результат определяется ненаблюдаемой вероятностью p i, которая специфична для данного результата, но связана с независимыми переменными. Это может быть выражено в любой из следующих эквивалентных форм:

$Y\; i\; \mid \; x\; 1,\; i,\dots ,\; xm,\; i\; \sim \; Bernoulli\; \; (pi)\; E\; \; [Y\; i\; \mid \; x\; 1,\; i,\dots ,\; xm,\; i\; ]\; =\; pi\; Pr\; (Y\; i\; =\; y\; \mid \; x\; 1,\; i,\dots ,\; xm,\; i)\; =\; \{pi,\; если\; y\; =\; 1\; 1\; -\; pi,\; если\; y\; =\; 0\; Pr\; (Y\; i\; =\; y\; \mid \; x\; 1,\; i,\dots ,\; xm,\; я)\; =\; piy\; (1\; -\; pi)\; (1\; -\; y)\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{выровнено\}\; Y\_\; \{i\}\; \backslash \; mid\; x\_\; \{1,\; i\},\; \backslash \; ldots,\; x\_\; \{m,\; i\}\; \backslash \; \backslash \; sim\; \backslash \; operatorname\; \{Bernoulli\}\; (p\_\; \{i\})\; \backslash \backslash \backslash \; operatorname\; \{\backslash \; mathcal\; \{E\}\}\; [Y\_\; \{i\}\; \backslash \; mid\; x\_\; \{1,\; i\},\; \backslash \; ldots,\; x\_\; \{m,\; i\}]\; =\; p\_\; \{\; i\}\; \backslash \backslash \backslash \; Pr\; (Y\_\; \{i\}\; =\; y\; \backslash \; mid\; x\_\; \{1,\; i\},\; \backslash \; ldots,\; x\_\; \{m,\; i\})\; =\; \{\backslash \; begin\; \{cases\}\; p\_\; \{i\}\; \{\backslash \; text\; \{если\; \}\}\; y\; =\; 1\; \backslash \backslash \; 1-p\_\; \{i\}\; \{\backslash \; text\; \{if\}\}\; y\; =\; 0\; \backslash \; end\; \{cases\}\}\; \backslash \backslash \backslash \; Pr\; (Y\_\; \{i\}\; =\; y\; \backslash \; mid\; x\_\; \{1,\; i\},\; \backslash \; ldots,\; x\_\; \{m,\; i\})\; =\; p\_\; \{i\}\; ^\; \{y\}\; (1-p\_\; \{i\})\; ^\; \{(1-y)\}\; \backslash \; end\; \{align\}\}\}$

Значения этих четыре строки:

1. Первая строка выражает распределение вероятностей для каждого Y i : с учетом независимых переменных, оно следует распределению Бернулли с параметрами p i, вероятность результата 1 для испытания i. Как отмечалось выше, каждое отдельное испытание имеет собственную вероятность успеха, так же как каждое испытание имеет свои собственные объясняющие переменные. Вероятность успеха p i не наблюдается, только результат отдельного испытания Бернулли с использованием этой вероятности.
2. Вторая строка выражает тот факт, что ожидаемое значение каждого Y i равна вероятности успеха p i, которая является общим свойством распределения Бернулли. Другими словами, если мы запустим большое количество испытаний Бернулли с одинаковой вероятностью успеха p i, а затем возьмем среднее значение для всех результатов 1 и 0, то результат будет близок к p <335.>я. Это связано с тем, что при таком усреднении просто вычисляется доля наблюдаемых успехов, которые, как мы ожидаем, сойдутся с основной вероятностью успеха.
3. Третья строка записывает функцию вероятности-массы распределение Бернулли, определяющее вероятность увидеть каждый из двух возможных результатов.
4. Четвертая строка - это еще один способ записи функции вероятности массы, который позволяет избежать написания отдельных случаев и более удобен для определенных типов расчеты. Это основано на том факте, что Y i может принимать только значение 0 или 1. В каждом случае один из показателей будет равен 1, «выбирая» значение под ним, а другой - 0 », аннулирование "значения под ним. Следовательно, результатом будет либо p i, либо 1 - p i, как в предыдущей строке.

Функция линейного предиктора

Основная идея логистической регрессии заключается в использовании механизм, уже разработанный для линейной регрессии путем моделирования вероятности p i с использованием функции линейного предиктора, то есть линейной комбинации пояснительной переменные и набор коэффициентов регрессии, которые относятся к рассматриваемой модели, но одинаковы для всех испытаний. Функция линейного предиктора $f\; (i)\; \{\backslash \; displaystyle\; f\; (i)\}$для конкретной точки данных i записывается как:

$f\; (i)\; =\; \beta \; 0\; +\; \beta \; 1\; x\; 1,\; я\; +\; \cdots \; +\; \beta \; mxm,\; я,\; \{\backslash \; displaystyle\; f\; (i)\; =\; \backslash \; beta\; \_\; \{0\}\; +\; \backslash \; beta\; \_\; \{1\}\; x\_\; \{1,\; i\}\; +\; \backslash \; cdots\; +\; \backslash \; beta\; \_\; \{m\}\; x\_\; \{m,\; i\},\}$

где $\beta \; 0,\dots ,\; \beta \; m\; \{\backslash \; displaystyle\; \backslash \; beta\; \_\; \{0\},\; \backslash \; ldots,\; \backslash \; beta\; \_\; \{m\}\}$являются регрессией коэффициенты, указывающие относительное влияние конкретной независимой переменной на результат.

Модель обычно принимают в более компактном виде:

• Коэффициенты регрессии β 0, β 1,..., β m сгруппированы в один вектор β размером m + 1.
• Для каждой точки данных i, дополнительная пояснительная псевдопеременная x 0, i добавляется с фиксированным значением 1, соответствующим коэффициенту точки пересечения β 0.
• . Полученные независимые переменные x 0, i, x 1, i,..., x m, i затем группируются в один вектор Xiразмера m + 1.

Это позволяет записать функцию линейного предиктора следующим образом:

$f\; (i)\; =\; \beta \; \cdot \; X\; i,\; \{\backslash \; displaystyle\; f\; (i)\; =\; \{\backslash \; boldsymbol\; \{\backslash \; beta\}\}\; \backslash \; cdot\; \backslash \; mathbf\; \{X\}\; \_\; \{i\},\}$

используя обозначение для скалярное произведение между двумя векторами.

Как обобщенная линейная модель

Конкретная модель, используемая логистической регрессией, которая отличает ее от стандартной линейной регрессии и от других типов регрессионного анализа, используемый для результатов с двоичным значением, - это способ связи вероятности конкретного результата с функцией линейного предиктора:

$logit\; \; (E\; \; [Y\; i\; \mid \; x\; 1,\; i,\dots ,\; хм,\; я])\; знак\; равно\; логит\; \; (пи)\; знак\; равно\; пер\; \; (пи\; 1\; -\; пи)\; =\; \beta \; 0\; +\; \beta \; 1\; Икс\; 1,\; я\; +\; \cdots \; +\; \beta \; mxm,\; я\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{logit\}\; (\backslash \; Operatorname\; \{\backslash \; mathcal\; \{E\}\}\; [Y\_\; \{i\}\; \backslash \; mid\; x\_\; \{1,\; i\},\; \backslash \; ldots,\; x\_\; \{m,\; i\}])\; =\; \backslash \; operatorname\; \{logit\}\; (p\_\; \{i\})\; =\; \backslash \; ln\; \backslash \; left\; (\{\backslash \; гидроразрыв\; \{p\_\; \{i\}\}\; \{1-p\_\; \{i\}\}\}\; \backslash \; right)\; =\; \backslash \; beta\; \_\; \{0\}\; +\; \backslash \; beta\; \_\; \{1\}\; x\_\; \{1,\; i\}\; +\; \backslash \; cdots\; +\; \backslash \; beta\; \_\; \{m\}\; x\_\; \{m,\; i\}\}$

Написано с использованием более компактной записи, описанной выше, это:

$logit\; \; (E\; \; [Y\; i\; \mid \; X\; i])\; =\; logit\; \; (pi)\; =\; ln\; \; (pi\; 1\; -\; пи)\; знак\; равно\; \beta \; \cdot \; Икс\; я\; \{\backslash \; Displaystyle\; \backslash \; OperatorName\; \{logit\}\; (\backslash \; operatorname\; \{\backslash \; mathcal\; \{E\}\}\; [Y\_\; \{i\}\; \backslash \; mid\; \backslash \; mathbf\; \{X\}\; \_\; \{i\}])\; =\; \backslash \; OperatorName\; \{logit\}\; (\; число\; Пи\})\; =\; \backslash \; ln\; \backslash \; left\; (\{\backslash \; frac\; \{p\_\; \{i\}\}\; \{1-p\_\; \{i\}\}\}\; \backslash \; right)\; =\; \{\backslash \; boldsymbol\; \{\backslash \; beta\}\}\; \backslash \; cdot\; \backslash \; mathbf\; \{X\}\; \_\; \{i\}\}$

Эта формулировка выражает логистическую регрессию как тип обобщенной линейной модели, которая прогнозирует переменные с различными типами распределений вероятностей путем подгонки линейной функции-предиктора вышеуказанной формы к некоторому виду произвольное преобразование ожидаемого значения переменной.

Интуиция для преобразования с использованием функции логита (натуральный логарифм шансов) была объяснена выше. Он также имеет практический эффект преобразования вероятности (которая ограничена от 0 до 1) в переменную, которая находится в диапазоне $(-\; \infty ,\; +\; \infty )\; \{\backslash \; displaystyle\; (-\; \backslash \; infty,\; +\; \backslash \; infty)\}$- таким образом согласовывая потенциальный диапазон функции линейного прогнозирования в правой части уравнения.

Обратите внимание, что и вероятности p i, и коэффициенты регрессии не наблюдаются, и средства их определения не являются частью самой модели. Обычно они определяются какой-либо процедурой оптимизации, например оценка максимального правдоподобия, которая находит значения, которые наилучшим образом соответствуют наблюдаемым данным (т. Е. Дают наиболее точные прогнозы для уже наблюдаемых данных), обычно при условии регуляризации условий, которые стремятся исключить маловероятные значения, например чрезвычайно большие значения для любого из коэффициентов регрессии. Использование условия регуляризации эквивалентно выполнению максимальной апостериорной (MAP) оценки, расширению максимальной вероятности. (Регуляризация чаще всего выполняется с использованием регуляризующей функции в квадрате, что эквивалентно помещению гауссовского априорного распределения с нулевым средним для коэффициентов, но другие регуляризаторы также возможно.) Независимо от того, используется ли регуляризация, обычно невозможно найти решение в закрытой форме; вместо этого должен использоваться итеративный численный метод, такой как итеративно перевывешенный метод наименьших квадратов (IRLS) или, что чаще в наши дни, квазиньютоновский метод, такой как L -BFGS метод.

Интерпретация оценок параметра β j заключается в аддитивном влиянии на логарифм шансов для изменения единицы в независимой переменной j. В случае дихотомической объясняющей переменной, например, пол $e\; \beta \; \{\backslash \; displaystyle\; e\; ^\; \{\backslash \; beta\}\}$- это оценка вероятности получения результата, скажем, для мужчин, сравниваемых с самками.

Эквивалентная формула использует обратную логит-функцию, которая является логистической функцией, то есть:

$E\; \; [Y\; i\; \mid \; X\; i]\; =\; pi\; =\; logit\; -\; 1\; \; (\beta \; \cdot \; Икс\; я)\; знак\; равно\; 1\; 1\; +\; е\; -\; \beta \; \cdot \; Икс\; я\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{\backslash \; mathcal\; \{E\}\}\; [Y\_\; \{i\}\; \backslash \; mid\; \backslash \; mathbf\; \{X\}\; \_\; \{i\}]\; =\; p\_\; \{i\}\; =\; \backslash \; operatorname\; \{logit\}\; ^\; \{-\; 1\}\; (\{\backslash \; boldsymbol\; \{\backslash \; beta\}\}\; \backslash \; cdot\; \backslash \; mathbf\; \{X\}\; \_\; \{i\})\; =\; \{\backslash \; frac\; \{1\}\; \{1\; +\; e\; ^\; \{-\; \{\backslash \; boldsymbol\; \{\; \backslash \; beta\}\}\; \backslash \; cdot\; \backslash \; mathbf\; \{X\}\; \_\; \{i\}\}\}\}\}$

Формулу также можно записать как распределение вероятностей (в частности, используя функцию массы вероятности ):

$Pr\; (Y\; i\; =\; y\; \mid \; X\; i)\; =\; piy\; (1\; -\; pi)\; 1\; -\; y\; =\; (e\; \beta \; \cdot \; X\; i\; 1\; +\; e\; \beta \; \cdot \; X\; i)\; y\; (1\; -\; e\; \beta \; \cdot \; X\; я\; 1\; +\; е\; \beta \; \cdot \; Икс\; я)\; 1\; -\; Y\; знак\; равно\; е\; \beta \; \cdot \; Икс\; я\; \cdot \; Y\; 1\; +\; е\; \beta \; \cdot \; Икс\; я\; \{\backslash \; displaystyle\; \backslash \; Pr\; (Y\_\; \{i\}\; =\; y\; \backslash \; mid\; \backslash \; mathbf\; \{X\}\; \_\; \{i\})\; =\; \{p\_\; \{i\}\}\; ^\; \{y\}\; (1-p\_\; \{i\})\; ^\; \{1-y\}\; =\; \backslash \; left\; (\{\backslash \; frac\; \{e\; ^\; \{\{\backslash \; boldsymbol\; \{\backslash \; beta\}\}\; \backslash \; cdot\; \backslash \; mathbf\; \{\; X\}\; \_\; \{i\}\}\}\; \{1\; +\; e\; ^\; \{\{\backslash \; boldsymbol\; \{\backslash \; beta\}\}\; \backslash \; cdot\; \backslash \; mathbf\; \{X\}\; \_\; \{i\}\}\}\}\; \backslash \; right)\; ^\; \{y\}\; \backslash \; left\; (1\; -\; \{\backslash \; frac\; \{e\; ^\; \{\{\backslash \; boldsymbol\; \{\backslash \; beta\}\}\; \backslash \; cdot\; \backslash \; mathbf\; \{X\}\; \_\; \{i\}\}\}\; \{1\; +\; e\; ^\; \{\{\backslash \; boldsymbol\; \{\backslash \; beta\}\}\; \backslash \; cdot\; \backslash \; mathbf\; \{X\}\; \_\; \{i\}\}\}\}\; \backslash \; right)\; ^\; \{1-y\}\; =\; \{\backslash \; frac\; \{e\; ^\; \{\{\backslash \; boldsymbol\; \{\backslash \; beta\}\}\; \backslash \; cdot\; \backslash \; mathbf\; \{X\}\; \_\; \{i\}\; \backslash \; cdot\; y\}\}\; \{1\; +\; e\; ^\; \{\{\backslash \; boldsymbol\; \{\backslash \; beta\}\}\; \backslash \; cdot\; \backslash \; mathbf\; \{X\}\; \_\; \{i\}\}\}\}\}$

В качестве модели скрытых переменных

Вышеуказанное модель имеет эквивалентную формулировку как модель со скрытыми переменными. Эта формулировка является общей в теории моделей дискретного выбора и упрощает распространение на некоторые более сложные модели с множественными коррелированными вариантами выбора, а также сравнение логистической регрессии с тесно связанной пробит-моделью ..

Представьте себе, что для каждого испытания i существует непрерывная скрытая переменная Yi(т.е. ненаблюдаемая случайная величина ), которая распределяется следующим образом:

$Y\; i\; \ast \; =\; \beta \; \cdot \; Икс\; я\; +\; \epsilon \; \{\backslash \; displaystyle\; Y\_\; \{i\}\; ^\; \{\backslash \; ast\}\; =\; \{\backslash \; boldsymbol\; \{\backslash \; beta\}\}\; \backslash \; cdot\; \backslash \; mathbf\; \{X\}\; \_\; \{i\}\; +\; \backslash \; varepsilon\; \backslash ,\}$

где

$\epsilon \; \sim \; Логистика\; \; (0,\; 1)\; \{\backslash \; Displaystyle\; \backslash \; varepsilon\; \backslash \; sim\; \backslash \; operatorname\; \{Logistic\}\; (0,1)\; \backslash ,\}$

т.е. скрытая переменная может быть записана непосредственно в терминах функции линейного предсказания и аддитивной случайной переменной ошибки, которая распределяется в соответствии со стандартным логистическим распределением.

Тогда Y i можно рассматривать как индикатор того, является ли эта скрытая переменная положительной:

Выбор моделирования конкретной переменной ошибки y со стандартным логистическим распределением, а не с общим логистическим распределением с произвольными значениями местоположения и масштаба, кажется ограничивающим, но на самом деле это не так. Следует иметь в виду, что мы можем сами выбирать коэффициенты регрессии и очень часто можем использовать их для компенсации изменений параметров распределения переменной ошибки. Например, распределение переменных логистической ошибки с ненулевым параметром местоположения μ (который устанавливает среднее значение) эквивалентно распределению с нулевым параметром местоположения, где μ добавлен к коэффициенту пересечения. Обе ситуации дают одно и то же значение для Y i независимо от настроек независимых переменных. Точно так же произвольный параметр масштабирования s эквивалентен установке параметра масштабирования на 1 и последующему делению всех коэффициентов регрессии на s. В последнем случае результирующее значение Y i будет в s раз меньше, чем в первом случае, для всех наборов независимых переменных, но, что важно, оно всегда будет оставаться на той же стороне 0, и, следовательно, приводят к тому же выбору Y i.

(Обратите внимание, что это предсказывает, что несоответствие параметра масштаба не может быть перенесено в более сложные модели, где доступно более двух вариантов.)

Оказывается, эта формулировка в точности эквивалентна к предыдущей, сформулированной в терминах обобщенной линейной модели и без каких-либо скрытых переменных. Это можно показать следующим образом, используя тот факт, что кумулятивная функция распределения (CDF) стандартного логистического распределения является логистической функцией , которая является обратной логит-функции , т.е.

Тогда:

Эта формулировка - стандартная для моделей дискретного выбора - проясняет взаимосвязь между логистической регрессией («логит модель ") и пробит-модель, в которой используется переменная ошибки, распределенная в соответствии с переход к стандартному нормальному распределению вместо стандартного логистического распределения. Как логистическое, так и нормальное распределения симметричны базовой унимодальной форме «колоколообразной кривой». Единственное отличие состоит в том, что логистическое распределение имеет несколько более тяжелые хвосты, что означает, что оно менее чувствительно к внешним данным (и, следовательно, несколько более надежно для моделирования неверных спецификаций или ошибочных данных)..

Модель двусторонних латентных переменных

Еще одна формулировка использует две отдельные скрытые переменные:

$Y\; i\; 0\; \ast \; =\; \beta \; 0\; \cdot \; X\; i\; +\; \epsilon \; 0\; Y\; i\; 1\; \ast \; =\; \beta \; 1\; \cdot \; Икс\; я\; +\; \epsilon \; 1\; \{\backslash \; Displaystyle\; \{\backslash \; begin\; \{align\}\; Y\_\; \{i\}\; ^\; \{0\; \backslash \; ast\}\; =\; \{\backslash \; boldsymbol\; \{\backslash \; beta\}\}\; \_\; \{0\}\; \backslash \; cdot\; \backslash \; mathbf\; \{X\}\; \_\; \{я\; \}\; +\; \backslash \; varepsilon\; \_\; \{0\}\; \backslash ,\; \backslash \backslash \; Y\_\; \{i\}\; ^\; \{1\; \backslash \; ast\}\; =\; \{\backslash \; boldsymbol\; \{\backslash \; beta\}\}\; \_\; \{1\}\; \backslash \; cdot\; \backslash \; mathbf\; \{X\}\; \_\; \{i\}\; +\; \backslash \; varepsilon\; \_\; \{1\}\; \backslash ,\; \backslash \; end\; \{align\}\}\}$

где

$\epsilon \; 0\; \sim \; EV\; 1\; \; (0,\; 1)\; \epsilon \; 1\; \sim \; EV\; 1\; \; (0,\; 1)\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{выравнивается\; \}\; \backslash \; varepsilon\; \_\; \{0\}\; \backslash \; sim\; \backslash \; operatorname\; \{EV\}\; \_\; \{1\}\; (0,1)\; \backslash \backslash \backslash \; varepsilon\; \_\; \{1\}\; \backslash \; sim\; \backslash \; operatorname\; \{EV\}\; \_\; \{1\}\; (0,1)\; \backslash \; конец\; \{выровнено\}\}\}$

где EV 1 (0,1) - стандартный тип 1 распределение экстремальных значений : т.е.

$Pr\; (\epsilon \; 0\; =\; x)\; Знак\; равно\; Pr\; (\epsilon \; 1\; знак\; равно\; Икс)\; знак\; равно\; е\; -\; хе\; -\; е\; -\; х\; \{\backslash \; Displaystyle\; \backslash \; Pr\; (\backslash \; varepsilon\; \_\; \{0\}\; =\; х)\; =\; \backslash \; Pr\; (\backslash \; varepsilon\; \_\; \{1\}\; =\; х)\; =\; е\; ^\; \{-\; х\; \}\; e\; ^\; \{-\; e\; ^\; \{-\; x\}\}\}$

Тогда

$Y\; i\; =\; \{1,\; если\; Y\; i\; 1\; \ast >Y\; i\; 0\; \ast ,\; 0\; в\; противном\; случае.\; \{\backslash \; displaystyle\; Y\_\; \{i\}\; =\; \{\backslash \; begin\; \{cases\}\; 1\; \{\backslash \; text\; \{if\}\}\; Y\_\; \{i\}\; ^\; \{1\; \backslash \; ast\}>Y\_\; \{i\}\; ^\; \{0\; \backslash \; ast\},\; \backslash \backslash \; 0\; \{\backslash \; text\; \{в\; противном\; случае.\}\}\; \backslash \; end\; \{case\}\}\}$

Эта модель имеет отдельную скрытую переменную и отдельную набор коэффициентов регрессии для каждого возможного результата зависимой переменной. Причина этого разделения заключается в том, что оно позволяет легко расширить логистическую регрессию на многозначные категориальные переменные, как в модели полиномиального логита. модели, естественно моделировать каждый возможный результат, используя другой набор коэффициентов регрессии. Также возможно мотивировать каждую из отдельных скрытых переменных как теоретическую полезность, связанную с выполнением соответствующего выбора, и, таким образом, мотивировать логистическую регрессию с точки зрения теории полезности (с точки зрения полезности t Согласно теории, рациональный субъект всегда выбирает выбор с наибольшей связанной полезностью.) Это подход, используемый экономистами при формулировании моделей дискретного выбора, поскольку он обеспечивает теоретически прочную основу и облегчает интуитивное понимание модели, что, в свою очередь, упрощает рассмотрение различных видов расширений. (См. Пример ниже.)

Выбор распределения экстремальных значений типа 1 кажется довольно произвольным, но он заставляет математику работать, и может быть возможно оправдать его использование через теория рационального выбора.

Оказывается, что эта модель эквивалентна предыдущей модели, хотя это кажется неочевидным, поскольку теперь существует два набора коэффициентов регрессии и переменных ошибок, а переменные ошибок имеют разные распространение. Фактически, эта модель сводится непосредственно к предыдущей со следующими заменами:

$\beta \; =\; \beta \; 1\; -\; \beta \; 0\; \{\backslash \; displaystyle\; \{\backslash \; boldsymbol\; \{\backslash \; beta\}\}\; =\; \{\backslash \; boldsymbol\; \{\backslash \; beta\}\}\; \_\; \{1\}\; -\; \{\backslash \; boldsymbol\; \{\backslash \; beta\}\}\; \_\; \{0\}\}$

$\epsilon \; =\; \epsilon \; 1\; -\; \epsilon \; 0\; \{\backslash \; displaystyle\; \backslash \; varepsilon\; =\; \backslash \; varepsilon\; \_\; \{1\}\; -\; \backslash \; varepsilon\; \_\; \{0\}\}$

Интуиция для это происходит из-за того, что, поскольку мы выбираем на основе максимального из двух значений, имеет значение только их разница, а не точные значения - и это эффективно удаляет одну степень свободы. Другой важный факт заключается в том, что разница двух переменных типа 1 с распределением экстремальных значений является логистическим распределением, то есть $\epsilon \; =\; \epsilon \; 1\; -\; \epsilon \; 0\; \sim \; Logistic\; \; (0,\; 1).\; \{\backslash \; displaystyle\; \backslash \; varepsilon\; =\; \backslash \; varepsilon\; \_\; \{1\}\; -\; \backslash \; varepsilon\; \_\; \{0\}\; \backslash \; sim\; \backslash \; operatorname\; \{Logistic\}\; (0,1).\}$Мы можем продемонстрировать эквивалент следующим образом:

Пример

В качестве примера рассмотрим выборы на уровне провинции, где выбор делается между правоцентристской партией и левой центристская партия и сепаратистская партия (например, Parti Québécois, которая хочет, чтобы Квебек отделился от Канады ). Затем мы использовали бы три скрытые переменные, по одной для каждого выбора. Затем, в соответствии с теорией полезности, мы можем интерпретировать скрытые переменные как выражающие полезность, которая возникает в результате принятия каждого из вариантов выбора. Мы также можем интерпретировать коэффициенты регрессии как показывающие силу, которую связанный фактор (т. Е. Объясняющая переменная) имеет в содействии полезности, или, точнее, количество, на которое изменение единицы в объясняющей переменной изменяет полезность данного выбора. Избиратель может ожидать, что правоцентристская партия снизит налоги, особенно для богатых. Это не дало бы людям с низким доходом никакой выгоды, то есть никаких изменений в полезности (поскольку они обычно не платят налоги); принесет умеренную выгоду (то есть несколько больше денег или умеренное повышение полезности) для людей среднего уровня; принесет значительные выгоды людям с высокими доходами. С другой стороны, можно ожидать, что левоцентристская партия повысит налоги и компенсирует их повышением благосостояния и другой помощью для нижних и средних классов. Это принесет значительную положительную пользу людям с низким доходом, возможно, слабую пользу людям со средним доходом и значительную отрицательную пользу людям с высокими доходами. Наконец, сепаратистская партия не будет предпринимать никаких прямых действий в отношении экономики, а просто отделится. Избиратель с низким или средним доходом может в основном не ожидать от этого явной выгоды или убытка от полезности, но избиратель с высоким доходом может ожидать отрицательной полезности, поскольку он / она, вероятно, будет владеть компаниями, которым будет труднее вести бизнес. такая среда и, вероятно, потеряете деньги.

Эти интуиции можно выразить следующим образом:

Расчетная сила коэффициента регрессии для различных исходов (партийный выбор) и различных значений независимых переменных

	Центр-справа	В центре-слева	Сецессионист
Высокий доход	сильный +	сильный -	сильный -
средний доход	умеренный +	слабый +	нет
малообеспеченный	нет	сильный +	нет

Это ясно показывает что

1. Для каждого выбора должны существовать отдельные наборы коэффициентов регрессии. Если сформулировать это с точки зрения полезности, это очень легко увидеть. Разные варианты по-разному влияют на чистую полезность; кроме того, эффекты различаются сложным образом, что зависит от характеристик каждого человека, поэтому должны быть отдельные наборы коэффициентов для каждой характеристики, а не просто одна дополнительная характеристика для каждого выбора.
2. Даже если доход есть непрерывная переменная, ее влияние на полезность слишком сложно, чтобы рассматривать ее как единственную переменную. Либо ее необходимо напрямую разделить на диапазоны, либо необходимо добавить более высокие степени дохода, чтобы эффективно выполнить полиномиальную регрессию по доходу.

В качестве «лог-линейной» модели

Еще одна формулировка объединяет описанную выше формулировку двусторонних латентных переменных с исходной формулировкой выше без латентных переменных и в процессе обеспечивает ссылку на одну из стандартных формулировок полиномиального логита.

Здесь, вместо записи logit вероятностей p i в качестве линейного предиктора мы разделяем линейный предиктор на два, по одному для каждого из двух результатов:

$ln\; \; Pr\; (\; Y\; я\; знак\; равно\; 0)\; знак\; равно\; \beta \; 0\; \cdot \; Икс\; я\; -\; пер\; \; Z\; пер\; \; Pr\; (Y\; я\; =\; 1)\; =\; \beta \; 1\; \cdot \; Икс\; я\; -\; пер\; \; Z\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{align\}\; \backslash \; ln\; \backslash \; Pr\; (Y\_\; \{\; i\}\; =\; 0)\; =\; \{\backslash \; boldsymbol\; \{\backslash \; beta\}\}\; \_\; \{0\}\; \backslash \; cdot\; \backslash \; mathbf\; \{X\}\; \_\; \{i\}\; -\; \backslash \; ln\; Z\; \backslash \backslash \backslash \; ln\; \backslash \; Pr\; (Y\_\; \{i\}\; =\; 1)\; =\; \{\backslash \; boldsymbol\; \{\backslash \; beta\}\}\; \_\; \{1\}\; \backslash \; cdot\; \backslash \; mathbf\; \{X\}\; \_\; \{i\}\; -\; \backslash \; ln\; Z\; \backslash \; end\; \{align\}\}\}$

Обратите внимание, что были введены два отдельных набора коэффициентов регрессии, просто как в модели с двусторонней скрытой переменной, и два уравнения представляют собой форму, которая записывает логарифм связанной вероятности в качестве линейного предиктора с дополнительным членом $-\; ln\; \; Z\; \{\backslash \; displaystyle\; -\; \backslash \; ln\; Z\}$в конце. Этот член, как оказалось, служит нормализующим коэффициентом , гарантирующим, что результат является распределением. Это можно увидеть, возведя в степень обе стороны:

$Pr\; (Y\; i\; =\; 0)\; =\; 1\; Z\; e\; \beta \; 0\; \cdot \; X\; i\; Pr\; (Y\; i\; =\; 1)\; =\; 1\; Z\; e\; \beta \; 1\; \cdot \; X\; i\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{выровнено\}\; \backslash \; Pr\; (Y\_\; \{i\}\; =\; 0)\; =\; \{\backslash \; frac\; \{1\}\; \{Z\}\}\; e\; ^\; \{\{\backslash \; boldsymbol\; \{\backslash \; beta\}\}\; \_\; \{0\}\; \backslash \; cdot\; \backslash \; mathbf\; \{X\}\; \_\; \{i\; \}\}\; \backslash \backslash \; [5pt]\; \backslash \; Pr\; (Y\_\; \{i\}\; =\; 1)\; =\; \{\backslash \; frac\; \{1\}\; \{Z\}\}\; e\; ^\; \{\{\backslash \; boldsymbol\; \{\backslash \; beta\}\}\; \_\; \{1\}\; \backslash \; cdot\; \backslash \; mathbf\; \{X\; \}\; \_\; \{i\}\}\; \backslash \; end\; \{align\}\}\}$

В этой форме ясно, что цель Z - гарантировать, что результирующее распределение по Y i действительно будет распределение вероятностей, т. е. сумма равна 1. Это означает, что Z - это просто сумма всех ненормированных вероятностей, и при делении каждой вероятности на Z вероятности становятся «нормализованными ». То есть:

$Z\; =\; е\; \beta \; 0\; \cdot \; Икс\; я\; +\; е\; \beta \; 1\; \cdot \; Икс\; я\; \{\backslash \; displaystyle\; Z\; =\; e\; ^\; \{\{\backslash \; boldsymbol\; \{\backslash \; beta\}\}\; \_\; \{0\}\; \backslash \; cdot\; \backslash \; mathbf\; \{X\}\; \_\; \{\; i\}\}\; +\; e\; ^\; \{\{\backslash \; boldsymbol\; \{\backslash \; beta\}\}\; \_\; \{1\}\; \backslash \; cdot\; \backslash \; mathbf\; \{X\}\; \_\; \{i\}\}\}$

, и в результате получаются уравнения

$Pr\; (Y\; i\; =\; 0)\; =\; е\; \beta \; 0\; \cdot \; X,\; т.е.\; \beta \; 0\; \cdot \; X\; i\; +\; e\; \beta \; 1\; \cdot \; X\; i\; Pr\; (Y\; i\; =\; 1)\; =\; e\; \beta \; 1\; X,\; то\; есть\; \beta \; 0\; X\; i\; +\; e\; \beta \; 1\; \cdot \; X\; i.\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{align\}\; \backslash \; Pr\; (Y\_\; \{i\}\; =\; 0)\; =\; \{\backslash \; frac\; \{e\; ^\; \{\{\backslash \; boldsymbol\; \{\backslash \; beta\}\}\; \_\; \{0\}\; \backslash \; cdot\; \backslash \; mathbf\; \{X\}\; \_\; \{i\; \}\}\}\; \{e\; ^\; \{\{\backslash \; boldsymbol\; \{\backslash \; beta\}\}\; \_\; \{0\}\; \backslash \; cdot\; \backslash \; mathbf\; \{X\}\; \_\; \{i\}\}\; +\; e\; ^\; \{\{\backslash \; boldsymbol\; \{\backslash \; beta\}\}\; \_\; \{1\}\; \backslash \; cdot\; \backslash \; mathbf\; \{X\}\; \_\; \{i\}\}\}\}\; \backslash \backslash \; [5pt]\; \backslash \; Pr\; (Y\_\; \{i\}\; =\; 1)\; =\; \{\backslash \; frac\; \{e\; ^\; \{\{\backslash \; boldsymbol\; \{\backslash \; beta\}\}\; \_\; \{1\}\; \backslash \; cdot\; \backslash \; mathbf\; \{X\}\; \_\; \{i\}\}\}\; \{e\; ^\; \{\{\backslash \; boldsymbol\; \{\backslash \; beta\}\}\; \_\; \{0\}\; \backslash \; cdot\; \backslash \; mathbf\; \{X\}\; \_\; \{i\}\}\; +\; e\; ^\; \{\{\backslash \; boldsymbol\; \{\backslash \; beta\}\}\; \_\; \{1\}\; \backslash \; cdot\; \backslash \; mathbf\; \{X\}\; \_\; \{i\}\}\}\}.\; \backslash \; End\; \{align\}\}\}$

Или обычно:

$Pr\; (Y\; i\; =\; c)\; =\; e\; \beta \; c\; \cdot \; X\; i\; \sum \; он\; \beta \; час\; \cdot \; Икс\; я\; \{\backslash \; Displaystyle\; \backslash \; Pr\; (Y\_\; \{я\}\; =\; с)\; =\; \{\backslash \; гидроразрыва\; \{е\; ^\; \{\{\backslash \; boldsymbol\; \{\backslash \; beta\}\}\; \_\; \{с\}\; \backslash \; cdot\; \backslash \; mathbf\; \{X\}\; \_\; \{я\}\; \}\}\; \{\backslash \; sum\; \_\; \{h\}\; e\; ^\; \{\{\backslash \; boldsymbol\; \{\backslash \; beta\}\}\; \_\; \{h\}\; \backslash \; cdot\; \backslash \; mathbf\; \{X\}\; \_\; \{i\}\}\}\}\}$

Это ясно показывает, как обобщить эту формулировку к более чем двум исходам, как в полиномиальный логит. Обратите внимание, что эта общая формулировка является в точности функцией softmax, как в

$Pr\; (Y\; i\; =\; c)\; =\; softmax\; \; (c,\; \beta \; 0\; \cdot \; X\; i,\; \beta \; 1\; \cdot \; X\; i,\dots ).\; \{\backslash \; displaystyle\; \backslash \; Pr\; (Y\_\; \{i\}\; =\; c)\; =\; \backslash \; operatorname\; \{softmax\}\; (c,\; \{\backslash \; boldsymbol\; \{\backslash \; beta\}\}\; \_\; \{0\}\; \backslash \; cdot\; \backslash \; mathbf\; \{X\}\; \_\; \{i\},\; \{\backslash \; boldsymbol\; \{\; \backslash \; beta\}\}\; \_\; \{1\}\; \backslash \; cdot\; \backslash \; mathbf\; \{X\}\; \_\; \{i\},\; \backslash \; dots).\}$

Чтобы доказать, что это эквивалентно предыдущей модели, обратите внимание, что указанная выше модель является завышенной, в что $Pr\; (Y\; i\; =\; 0)\; \{\backslash \; displaystyle\; \backslash \; Pr\; (Y\_\; \{i\}\; =\; 0)\}$и $Pr\; (Y\; i\; =\; 1)\; \{\backslash \; displaystyle\; \backslash \; Pr\; (Y\_\; \{\; i\}\; =\; 1)\}$нельзя указать независимо: скорее, $Pr\; (Y\; i\; =\; 0)\; +\; Pr\; (Y\; i\; =\; 1)\; =\; 1\; \{\backslash \; displaystyle\; \backslash \; Pr\; (Y\_\; \{i\}\; =\; 0)\; +\; \backslash \; Pr\; (Y\_\; \{i\}\; =\; 1)\; =\; 1\}$, поэтому знание одного автоматически определяет другое. В результате модель неидентифицируемая, в которой несколько комбинаций β0и β1будут давать одинаковые вероятности для всех возможных независимых переменных. Фактически, можно увидеть, что добавление любого постоянного вектора к ним обоим даст одинаковые вероятности:

$Pr (Y i = 1) = e (β 1 + C) ⋅ X ie (β 0 + C) ⋅ X i + e (β 1 + C) ⋅ X i = e β 1 ⋅ X, т.е. C ⋅ X, т.е. β 0 ⋅ X, т.е. C ⋅ X i + e β 1 ⋅ X, т.е. C ⋅ X i = e C ⋅ X, т.е. β 1 ⋅ X, то есть C ⋅ X i (e β 0 X i + e β 1 ⋅ X i) = e β 1 X, то есть β 0 ⋅ X i + e β 1 ⋅ X i. {\ Displaystyle {\ begin {align} \ Pr (Y_ {i} = 1) = {\ frac {e ^ {({\ boldsymbol {\ beta}} _ {1} + \ mathbf {C}) \ cdot \ mathbf {X} _ {i}}} {e ^ {({\ boldsymbol {\ beta}} _ {0} + \ mathbf {C}) \ cdot \ mathbf {X} _ {i}} + e ^ {({\ boldsymbol {\ beta}} _ {1} + \ mathbf {C}) \ cdot \ mathbf {X} _ {i}}}} \\ [5pt] = {\ frac {e ^ {{ \ boldsymbol {\ beta}} _ {1} \ cdot \ mathbf {X} _ {i}} e ^ {\ mathbf {C} \ cdot \ mathbf {X} _ {i}}} {e ^ {{\ boldsymbol {\ beta}} _ {0} \ cdot \ mathbf {X} _ {i}} e ^ {\ mathbf {C} \ cdot \ mathbf {X} _ {i}} + e ^ {{\ boldsymbol { \ beta}} _ {1} \ cdot \ mathbf {X} _ {i}} e ^ {\ mathbf {C} \ cdot \ mathbf {X} _ {i}}}} \\ [5pt] = { \ frac {e ^ {\ mathbf {C} \ cdot \ mathbf {X} _ {i}} e ^ {{\ boldsymbol {\ beta}} _ {1} \ cdot \ mathbf {X} _ {i}} } {e ^ {\ mathbf {C} \ cdot \ mathbf {X} _ {i}} (e ^ {{\ boldsymbol {\ beta}} _ {0} \ cdot \ mathbf {X} _ {i}} + e ^ {{\ boldsymbol {\ beta}} _ {1} \ cdot \ mathbf {X} _ {i}})}} \\ [5pt] = {\ frac {e ^ {{\ boldsymbol {\ beta}} _ {1} \ cdot \ mathbf {X} _ {i}}} {e ^ {{\ boldsymbol {\ beta}} _ {0} \ cdot \ mathbf {X} _ {i}} + e ^ {{\ boldsymbol {\ beta}} _ {1} \ cdot \ mathbf {X} _ {i}}}}. \ end {выравнивается}} }$

В результате мы можем упростить дело и восстановить идентифицируемость, выбрав произвольное значение для одного из двух векторов. Мы решили установить $\beta \; 0\; =\; 0.\; \{\backslash \; displaystyle\; \{\backslash \; boldsymbol\; \{\backslash \; beta\}\}\; \_\; \{0\}\; =\; \backslash \; mathbf\; \{0\}.\}$Тогда

$e\; \beta \; 0\; \cdot \; X\; i\; =\; e\; 0\; \cdot \; X\; i\; =\; 1\; \{\backslash \; displaystyle\; e\; ^\; \{\{\backslash \; boldsymbol\; \{\backslash \; beta\}\}\; \_\; \{0\}\; \backslash \; cdot\; \backslash \; mathbf\; \{X\}\; \_\; \{i\}\}\; =\; e\; ^\; \{\backslash \; mathbf\; \{0\}\; \backslash \; cdot\; \backslash \; mathbf\; \{X\}\; \_\; \{i\}\}\; =\; 1\}$

и поэтому

$Pr\; (Y\; i\; =\; 1)\; =\; e\; \beta \; 1\; \cdot \; X\; i\; 1\; +\; e\; \beta \; 1\; \cdot \; X\; i\; =\; 1\; 1\; +\; e\; -\; \beta \; 1\; \cdot \; X\; i\; =\; pi\; \{\backslash \; displaystyle\; \backslash \; Pr\; (Y\_\; \{i\}\; =\; 1)\; =\; \{\backslash \; frac\; \{e\; ^\; \{\{\backslash \; boldsymbol\; \{\backslash \; beta\}\}\; \_\; \{1\}\; \backslash \; cdot\; \backslash \; mathbf\; \{X\}\; \_\; \{i\}\}\}\; \{1\; +\; e\; ^\; \{\{\backslash \; boldsymbol\; \{\backslash \; beta\}\}\; \_\; \{1\}\; \backslash \; cdot\; \backslash \; mathbf\; \{X\}\; \_\; \{i\}\}\}\}\; =\; \{\backslash \; frac\; \{1\}\; \{1\; +\; e\; ^\; \{-\; \{\backslash \; boldsymbol\; \{\backslash \; beta\}\}\; \_\; \{1\}\; \backslash \; cdot\; \backslash \; mathbf\; \{X\}\; \_\; \{i\}\}\}\}\; =\; p\_\; \{i\}\}$

, что показывает, что эта формулировка действительно эквивалентна предыдущей формулировке. (Как и в формулировке двусторонней скрытой переменной, любые настройки, где $\beta \; =\; \beta \; 1\; -\; \beta \; 0\; \{\backslash \; displaystyle\; \{\backslash \; boldsymbol\; \{\backslash \; beta\}\}\; =\; \{\backslash \; boldsymbol\; \{\backslash \; beta\}\}\; \_\; \{1\}\; -\; \{\; \backslash \; boldsymbol\; \{\backslash \; beta\}\}\; \_\; \{0\}\}$даст эквивалентные результаты.)

Обратите внимание, что большинство методов лечения модели полиномиального логита начинается либо с расширения «лог-линейная» формулировка, представленная здесь, или формулировка двусторонней скрытой переменной, представленная выше, поскольку обе ясно показывают способ, которым модель может быть расширена для многосторонних результатов. В целом представление со скрытыми переменными более распространено в эконометрике и политологии, где господствуют модели дискретного выбора и теория полезности, в то время как "лог-линейная" формулировка здесь более распространена в информатике, например машинное обучение и обработка естественного языка.

Как однослойный перцептрон

Модель имеет эквивалентную формулировку

$pi\; =\; 1\; 1\; +\; e\; -\; (\beta \; 0\; +\; \beta \; 1\; x\; 1,\; i\; +\; \cdots \; +\; \beta \; kxk,\; i).\; \{\backslash \; displaystyle\; p\_\; \{i\}\; =\; \{\backslash \; frac\; \{1\}\; \{1\; +\; e\; ^\; \{-\; (\backslash \; beta\; \_\; \{0\}\; +\; \backslash \; beta\; \_\; \{1\}\; x\_\; \{1,\; i\}\; +\; \backslash \; cdots\; +\; \backslash \; beta\; \_\; \{k\; \}\; x\_\; \{k,\; i\})\}\}\}.\; \backslash ,\}$

Эту функциональную форму обычно называют однослойной перцептроном или однослойной искусственной нейронной сетью. Однослойная нейронная сеть вычисляет непрерывный результат вместо пошаговой функции . Производная p i по X = (x 1,..., x k) вычисляется из общей формы:

$y\; =\; 1\; 1\; +\; e\; -\; f\; (X)\; \{\backslash \; displaystyle\; y\; =\; \{\backslash \; frac\; \{1\}\; \{1\; +\; e\; ^\; \{-\; f\; (X)\}\}\}\}$

где f (X) - аналитический функция в X. При таком выборе однослойная нейронная сеть идентична модели логистической регрессии. Эта функция имеет непрерывную производную, что позволяет использовать ее в обратном распространении. Эта функция также является предпочтительной, потому что ее производная легко вычисляется:

$d\; y\; d\; X\; =\; y\; (1\; -\; y)\; d\; f\; d\; X.\; \{\backslash \; displaystyle\; \{\backslash \; frac\; \{\backslash \; mathrm\; \{d\}\; y\}\; \{\backslash \; mathrm\; \{d\}\; X\}\}\; =\; y\; (1-y)\; \{\backslash \; frac\; \{\backslash \; mathrm\; \{d\}\; f\}\; \{\backslash \; mathrm\; \{d\}\; X\}\}.\; \backslash ,\}$

В терминах биномиальных данных

Тесно связанная модель предполагает, что каждое i связано не с одним испытанием Бернулли, а с n iнезависимыми одинаково распределенными испытаниями, где наблюдение Y i - это количество наблюдаемых успехов (сумма отдельных случайных величин, распределенных по Бернулли), и, следовательно, следует биномиальному распределению :

$Y\; i\; \sim \; Bin\; \; (ni,\; pi),\; для\; я\; =\; 1,\dots ,\; n\; \{\backslash \; displaystyle\; Y\_\; \{i\}\; \backslash ,\; \backslash \; sim\; \backslash \; operatorname\; \{Bin\}\; (n\_\; \{i\},\; p\_\; \{i\}),\; \{\backslash \; text\; \{for\}\}\; i\; =\; 1,\; \backslash \; dots,\; n\}$

Примером этого распределения является доля семян (p i), которые прорастают после посадки n i.

В терминах ожидаемых значений эта модель выражается следующим образом:

$p\; i\; =\; E\; \; [Y\; i\; n\; i\; |\; Икс\; i],\; \{\backslash \; displaystyle\; p\_\; \{i\}\; =\; \backslash \; operatorname\; \{\backslash \; mathcal\; \{E\}\}\; \backslash \; left\; [\backslash \; left.\; \{\backslash \; Frac\; \{Y\_\; \{i\}\}\; \{n\_\; \{i\}\}\}\; \backslash ,\; \backslash \; right\; |\; \backslash ,\; \backslash \; mathbf\; \{X\}\; \_\; \{i\}\; \backslash \; right]\; \backslash ,,\}$

, так что

$logit\; \; (E\; \; [Y\; ini\; |\; X\; i])\; =\; logit\; \; (pi)\; =\; ln\; \; (pi\; 1\; -\; пи)\; знак\; равно\; \beta \; \cdot \; Икс\; я,\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{logit\}\; \backslash \; left\; (\backslash \; operatorname\; \{\backslash \; mathcal\; \{E\}\}\; \backslash \; left\; [\backslash \; left.\; \{\backslash \; frac\; \{Y\_\; \{i\}\}\; \{n\_\; \{i\}\}\}\}\; \backslash ,\; \backslash \; right\; |\; \backslash ,\; \backslash \; mathbf\; \{X\}\; \_\; \{i\}\; \backslash \; right]\; \backslash \; right)\; =\; \backslash \; operatorname\; \{logit\}\; (p\_\; \{i\})\; =\; \backslash \; ln\; \backslash \; left\; (\{\backslash \; frac\; \{p\_\; \{i\}\}\; \{\; 1-p\_\; \{i\}\}\}\; \backslash \; right)\; =\; \{\backslash \; boldsymbol\; \{\backslash \; beta\}\}\; \backslash \; cdot\; \backslash \; mathbf\; \{X\}\; \_\; \{i\}\; \backslash ,,\}$

Или, что эквивалентно:

$Pr\; (Y\; i\; =\; y\; \mid \; X\; i)\; знак\; равно\; (niy)\; piy\; (1\; -\; pi)\; ni\; -\; y\; =\; (niy)\; (1\; 1\; +\; e\; -\; \beta \; \cdot \; X\; i)\; y\; (1\; -\; 1\; 1\; +\; e\; -\; \beta \; \cdot \; X\; i)\; ni\; -\; y.\; \{\backslash \; displaystyle\; \backslash \; Pr\; (Y\_\; \{i\}\; =\; y\; \backslash \; mid\; \backslash \; mathbf\; \{X\}\; \_\; \{i\})\; =\; \{n\_\; \{i\}\; \backslash \; select\; y\}\; p\_\; \{i\}\; ^\; \{y\}\; (1-p\_\; \{i\})\; ^\; \{n\_\; \{i\}\; -y\}\; =\; \{n\_\; \{i\}\; \backslash \; select\; y\}\; \backslash \; left\; (\{\backslash \; frac\; \{1\}\; \{1\; +\; e\; ^\; \{-\; \{\backslash \; boldsymbol\; \{\backslash \; beta\}\}\; \backslash \; cdot\; \backslash \; mathbf\; \{X\})\; \_\; \{i\}\}\}\}\; \backslash \; right)\; ^\; \{y\}\; \backslash \; left\; (1\; -\; \{\backslash \; frac\; \{1\}\; \{1\; +\; e\; ^\; \{-\; \{\backslash \; boldsymbol\; \{\backslash \; beta\}\}\; \backslash \; cdot\; \backslash \; mathbf\; \{X\}\; \_\; \{i\; \}\}\}\}\; \backslash \; right)\; ^\; \{n\_\; \{i\}\; -y\}\; \backslash ,.\}$

Эта модель может быть адаптирована с использованием тех же методов, что и описанная выше более базовая модель.

Байесовский

Сравнение логистической функции с масштабированной обратной пробит-функцией (т.е. CDF нормального распределения ), сравнивая $\sigma \; (x)\; \{\backslash \; displaystyle\; \backslash \; sigma\; (x)\}$vs. $\Phi \; (\pi \; 8\; x)\; \{\backslash \; displaystyle\; \backslash \; Phi\; (\{\backslash \; sqrt\; \{\backslash \; frac\; \{\backslash \; pi\}\; \{8\}\}\}\; x)\}$, что делает уклоны одинаковыми в начале координат. Это показывает более тяжелые хвосты логистического распределения.

В контексте байесовской статистики предшествующие распределения обычно помещаются в коэффициенты регрессии, обычно в форма гауссовых распределений. В логистической регрессии не существует сопряженного предшествующего функции правдоподобия . Когда байесовский вывод был выполнен аналитически, это затрудняло вычисление апостериорного распределения, за исключением очень малых измерений. Однако теперь автоматическое программное обеспечение, такое как OpenBUGS, JAGS, PyMC3 или Stan, позволяет вычислять эти апостериорные компоненты с помощью моделирования, поэтому о супружестве не вызывает беспокойства. Однако, когда размер выборки или количество параметров велико, полное байесовское моделирование может быть медленным, и люди часто используют приближенные методы, такие как вариационные байесовские методы и распространение математических ожиданий.

История

Подробная история логистической регрессии приведена в Cramer (2002). Логистическая функция была разработана как модель роста населения и названа «логистической» Пьером Франсуа Ферхюльстом в 1830-х и 1840-х годах под руководством Адольфа Кетле ; подробнее см. Логистическая функция § История. В своей самой ранней статье (1838 г.) Ферхюльст не уточнил, как он подгоняет кривые к данным. В своей более подробной статье (1845) Ферхюльст определил три параметра модели, заставив кривую проходить через три наблюдаемые точки, что дало плохие прогнозы.

Логистическая функция была независимо разработана в химии как модель автокатализ (Вильгельм Оствальд, 1883). Автокаталитическая реакция - это реакция, в которой один из продуктов сам по себе является катализатором той же реакции, в то время как подача одного из реагентов является фиксированной. Это естественным образом приводит к логистическому уравнению по той же причине, что и рост населения: реакция является самоусиливающейся, но ограниченной.

Логистическая функция была независимо заново открыта как модель роста населения в 1920 году Раймондом Перлом и Лоуэллом Ридом, опубликованным как Pearl Reed (1920). ошибка harvtxt: нет цели: CITEREFPearlReed1920 (help ), что привело к его использованию в современной статистике. Первоначально они не знали о работе Ферхюльста и предположительно узнали о ней от Л. Гюстав дю Паскье, но они не поверили ему и не приняли его терминологию. Удный Юле в 1925 году признал приоритет Verhulst, и термин «логистика» был возрожден и с тех пор используется. Перл и Рид сначала применили модель к населению Соединенных Штатов, а также сначала подогнали кривую, проведя ее через три точки; как и в случае с Verhulst, это снова дало плохие результаты.

В 1930-х годах пробит-модель была разработана и систематизирована Честером Иттнером Блиссом, который ввел термин «пробит». "в Bliss (1934) harvtxt error: нет цели: CITEREFBliss1934 (help ), и John Gaddum в Gaddum (1933) Ошибка harvtxt: нет цели: CITEREFGaddum1933 (help ), и модель соответствует оценке максимального правдоподобия по Рональду А. Фишеру в Fisher (1935) ошибка harvtxt: нет цели: CITEREFFisher1935 (help ), как дополнение к работе Блисс. Пробит-модель в основном использовалась в биопроб, и ей предшествовали более ранние работы, датированные 1860 годом; см. Пробит-модель § История. Пробит-модель повлияла на последующее развитие логит-модели, и эти модели конкурировали друг с другом.

Логистическая модель, вероятно, впервые была использована в качестве альтернативы пробит-модели в биотесте Эдвином Бидвеллом Уилсоном и его ученица Джейн Вустер в Wilson Worcester (1943). Однако разработка логистической модели в качестве общей альтернативы пробит-модели была в основном связана с работой Джозефа Берксона на протяжении многих десятилетий, начиная с Berkson (1944) harvtxt error: нет цели: CITEREFBerkson1944 (help ), где он придумал "logit" по аналогии с "probit" и продолжил до Berkson (1951) harvtxt error: no target: CITEREFBerkson1951 (помощь ) и последующие годы. Логит-модель изначально отвергалась как уступающая пробит-модели, но «постепенно достигла равенства с логит-моделью», особенно в период с 1960 по 1970 г. К 1970 году логит-модель достигла паритета с пробит-моделью, которая использовалась в статистических журналах, а затем превзошел его. Эта относительная популярность была обусловлена ​​принятием логита за пределами биотеста, а не вытеснением пробита в рамках биотеста, и его неформальным использованием на практике; Популярность логита объясняется вычислительной простотой, математическими свойствами и универсальностью логит-модели, что позволяет использовать ее в различных областях.

За это время были внесены различные усовершенствования, в частности, Дэвидом Коксом, поскольку in Cox (1958).

Модель полиномиального логита была представлена ​​независимо в Cox (1966) и Thiel (1969), что значительно расширило область применения и популярность модели логита. В 1973 году Дэниел Макфадден связал полиномиальный логит с теорией дискретного выбора, в частности, аксиомой выбора Люса, показывая, что полиномиальный логит следует из предположения независимость от нерелевантных альтернатив и интерпретация вероятностей альтернатив как относительных предпочтений; это дало теоретическую основу для логистической регрессии.

Расширения

Существует большое количество расширений:

• Полиномиальная логистическая регрессия (или полиномиальный логит ) обрабатывает случай многосторонней категориальной зависимой переменной (с неупорядоченными значениями, также называемой «классификацией»). Обратите внимание, что общий случай наличия зависимых переменных с более чем двумя значениями называется политомической регрессией.
• Упорядоченная логистическая регрессия (или упорядоченный логит ) обрабатывает порядковые зависимые переменные ( упорядоченные значения).
• Смешанный логит - это расширение полиномиального логита, которое позволяет корреляции между вариантами выбора зависимой переменной.
• Расширением логистической модели на наборы взаимозависимых переменных является условное случайное поле.
• Условная логистическая регрессия обрабатывает сопоставленные или стратифицированные данные, когда страты небольшие. Он в основном используется при анализе наблюдательных исследований.

Программное обеспечение

Большинство статистических программ может выполнять бинарную логистическую регрессию.

• SPSS
  • [1] для базовой логистической регрессии.
• Stata
• SAS
  • PROC LOGISTIC для базовой логистической регрессии.
  • PROC CATMOD когда все переменные являются категориальными.
  • PROC GLIMMIX для многоуровневой модели логистическая регрессия.
• R
  • glm в пакете статистики (с использованием family = binomial)
  • lrmв rms пакете
  • GLMNET для эффективной реализации регуляризованной логистической регрессии
  • lmer для смешанной логистической регрессии
  • команда пакета Rfast gm_logisticдля быстрой и тяжелые вычисления с использованием крупномасштабных данных.
  • пакет arm для байесовской логистической регрессии
• Python
  • Logit в модуле Statsmodels.
  • LogisticRegression в модуле Scikit-learn.
  • LogisticRegressor в модуле TensorFlow.
  • Полный пример логистической регрессии в учебном пособии Theano [2]
  • Байесовская логистическая регрессия с предшествующим кодом ARD, учебник
  • Вариационная байесовская логистическая регрессия с предшествующим кодом ARD, учебник
  • код Байесовской логистической регрессии , учебник
• NCSS
  • Логистическая регрессия в NCSS
• Matlab
  • mnrfitв (с «неправильным» кодом 2 вместо 0)
  • fminunc / fmincon, fitglm, mnrfit, fitclinear, mleмогут выполнять логистическую регрессию.
• Java (JVM )
  • LibLinear
  • Apache Flink
  • Apache Spark
    • SparkML поддерживает логистическую регрессию
• FPGA
  • IP ядро ​​Logistic Regresesion в HLS для FPGA.

Примечательно, что пакет расширения статистики Microsoft Excel не включает его.

См. Также

• Портал математики

• Логистическая функция
• Дискретный выбор
• Модель Джарроу – Тернбулла
• Ограниченная зависимая переменная
• Модель полиномиального логита
• Упорядоченный логит
• Тест Хосмера – Лемешоу
• оценка Бриера
• mlpack - содержит C ++ реализацию логистической регрессии
• Локальная выборка для контроля случая
• Дерево логистической модели

Ссылки

Дополнительная литература

Внешние ссылки

Викиверситет содержит обучающие ресурсы о логистической регрессии

• СМИ, связанные с логистической регрессией на Wikimedia Commons
• Лекция по эконометрике (тема: модель логита) на YouTube от Марка Тома
• Учебник по логистической регрессии
• mlelr : программное обеспечение на C для обучения цели