Дискриминационная модель

Дискриминационные модели, также называемые условными моделями или обратными моделями, являются классом контролируемого машинного обучения, используемого для классификации или регрессии. Они различают границы принятия решений путем вывода знаний из наблюдаемых данных. Это отличается от идеи генеративных или прямых моделей, а дискриминационные модели делают меньше предположений о базовом распределении данных и больше полагаются на качество данных.

Например. Если задача классификации состоит в том, чтобы разделить изображения кошек и собак, то модель такого типа сможет только определить, является ли изображение кошкой или собакой. Это решается в соответствии с наиболее похожим примером из данных обучения (см. контролируемое обучение ). С другой стороны, генеративная модель сможет создать новую картину любого класса.

Типичные дискриминационные модели включают логистическую регрессию (LR), вспомогательные векторные машины (SVM), условные случайные поля (CRF) (заданные выше неориентированный граф), деревья решений, нейронные сети и многие другие. Типичные подходы к генеративной модели включают наивные байесовские классификаторы, модели гауссовой смеси и другие.

• 1 Определение
  • 1.1 Чистая дискриминационная модель по сравнению с условной моделью
• 2 Типичные подходы к дискриминативному моделированию
  • 2.1 Линейный классификатор
  • 2.2 Логистическая регрессия (LR)
  • 2.3 Машина опорных векторов
• 3 Контраст с генеративной моделью
  • 3.1 Контраст в подходах
  • 3.2 Преимущества и недостатки в приложении
    • 3.2.1 Преимущества
    • 3.2.2 Недостатки
• 4 Оптимизация в приложениях
• 5 Типы
• 6 См. Также
• 7 Ссылки

В отличие от генеративного моделирования, которое изучает совместную вероятность $P\; (x,\; y)\; \{\backslash \; displaystyle\; P\; (x,\; y)\}$, дискриминативное моделирование изучает $P\; (y\; |\; x)\; \{\backslash \; displaystyle\; P\; (y\; |\; x)\}$или прямое отображение данной ненаблюдаемой переменной (цель) $x\; \{\backslash \; displaystyle\; x\}$метка класса $y\; \{\backslash \; displaystyle\; y\}$зависела от наблюдаемых переменных (обучающих выборок). Например, в распознавании объекта, $x\; \{\backslash \; displaystyle\; x\}$скорее всего будет вектором необработанных пикселей (или функций, извлеченных из необработанных пикселей изображения). В рамках вероятностной модели это делается путем моделирования условного распределения вероятностей $P\; (y\; |\; x)\; \{\backslash \; displaystyle\; P\; (y\; |\; x)\}$, которое можно использовать для прогнозирования $y\; \{\backslash \; displaystyle\; y\}$из $x\; \{\backslash \; displaystyle\; x\}$. Обратите внимание, что все еще существует различие между условной моделью и дискриминативной моделью, хотя чаще они просто классифицируются как дискриминативная модель.

Чистая дискриминативная модель против условной модели

Условная модель моделирует условное распределение вероятностей, тогда как традиционная дискриминативная модель направлена ​​на оптимизацию отображения входных данных на наиболее похожие обученные выборки.

Следующий подход основан на предположении, что ему задан обучающий набор данных $D\; =\; \{(xi;\; yi)\; |\; я\; \le \; N\; \in \; Z\}\; \{\backslash \; displaystyle\; D\; =\; \backslash \; \{(x\_\; \{i\};\; y\_\; \{i\})\; |\; i\; \backslash \; leq\; N\; \backslash \; in\; \backslash \; mathbb\; \{Z\}\; \backslash \}\}$, где $yi\; \{\backslash \; displaystyle\; y\_\; \{i\}\}$- соответствующий вывод для входа $xi\; \{\backslash \; displaystyle\; x\_\; \{i\}\}$.

Линейный классификатор

Мы намерены использовать функция $f\; (x)\; \{\backslash \; displaystyle\; f\; (x)\}$для моделирования поведения того, что мы наблюдали из набора обучающих данных с помощью метода линейного классификатора. Используя объединенный вектор признаков $\varphi \; (x,\; y)\; \{\backslash \; displaystyle\; \backslash \; phi\; (x,\; y)\}$, решающая функция определяется как:

$f\; (x,\; w)\; =\; arg\; \; max\; yw\; T\; \varphi \; (x,\; y)\; \{\backslash \; displaystyle\; f\; (x,\; w)\; =\; \backslash \; arg\; \backslash \; max\; \_\; \{y\}\; w\; ^\; \{T\}\; \backslash \; phi\; (x,\; y)\}$

Согласно интерпретации Мемишевича, $вес\; T\; \varphi \; (x,\; y)\; \{\backslash \; displaystyle\; w\; ^\; \{T\}\; \backslash \; phi\; (x,\; y)\}$, что также равно $c\; (x,\; y;\; w)\; \{\backslash \; displaystyle\; c\; (x,\; y;\; w)\}$, вычисляет оценку, которая измеряет вычислимость ввода $x\; \{\backslash \; displaystyle\; x\}$с потенциальным выходом $y\; \{\; \backslash \; Displaystyle\; y\}$. Затем $arg\; \; max\; \{\backslash \; displaystyle\; \backslash \; arg\; \backslash \; max\}$определяет класс с наивысшим баллом.

Логистическая регрессия (LR)

Поскольку функция потерь 0-1 широко используется в теории принятия решений, условное распределение вероятностей $P\; (y\; |\; x;\; w)\; \{\backslash \; displaystyle\; P\; (y\; |\; x;\; w)\}$, где $w\; \{\backslash \; displaystyle\; w\}$- вектор параметров для оптимизации обучающих данных, может быть пересмотрено следующим образом для модели логистической регрессии:

$P\; (y\; |\; x;\; w)\; =\; 1\; Z\; (x;\; w)\; exp\; \; (w\; T\; \varphi \; (x,\; y))\; \{\backslash \; displaystyle\; P\; (y\; |\; x\; ;\; w)\; =\; \{\backslash \; frac\; \{1\}\; \{Z\; (x;\; w)\}\}\; \backslash \; exp\; (w\; ^\; \{T\}\; \backslash \; phi\; (x,\; y))\}$, где

$Z\; (x\; ;\; вес)\; знак\; равно\; \sum \; Y\; ехр\; \; (вес\; T\; \varphi \; (x,\; y))\; \{\backslash \; displaystyle\; Z\; (x;\; w)\; =\; \backslash \; textstyle\; \backslash \; sum\; \_\; \{y\}\; \backslash \; displaystyle\; \backslash \; exp\; (w\; ^\; \{T\}\; \backslash \; phi\; (x,\; y))\}$

Уравнение выше представляет логистическую регрессию. Обратите внимание, что основное различие между моделями заключается в том, как они вводят апостериорную вероятность. Апостериорная вероятность выводится из параметрической модели. Затем мы можем максимизировать параметр с помощью следующего уравнения:

$L\; (w)\; =\; \sum \; i\; log\; \; p\; (yi\; |\; xi;\; w)\; \{\backslash \; displaystyle\; L\; (w)\; =\; \backslash \; textstyle\; \backslash \; sum\; \_\; \{i\}\; \backslash \; displaystyle\; \backslash \; log\; p\; (y\; ^\; \{i\}\; |\; x\; ^\; \{i\};\; w)\}$

Его также можно заменить уравнением log-loss ниже:

$l\; log\; (xi,\; yi,\; c\; (xi;\; w))\; =\; -\; журнал\; \; p\; (yi\; |\; xi;\; w)\; =\; журнал\; \; Z\; (xi;\; w)\; -\; w\; T\; \varphi \; (xi,\; yi)\; \{\backslash \; displaystyle\; l\; ^\; \{\backslash \; log\}\; (x\; ^\; \{i\; \},\; y\; ^\; \{i\},\; c\; (x\; ^\; \{i\};\; w))\; =\; -\; \backslash \; log\; p\; (y\; ^\; \{i\}\; |\; x\; ^\; \{i\};\; w)\; =\; \backslash \; log\; Z\; (x\; ^\; \{i\};\; w)\; -w\; ^\; \{T\}\; \backslash \; phi\; (x\; ^\; \{i\},\; y\; ^\; \{i\})\}$

Поскольку log-loss является дифференцируемым, можно использовать метод на основе градиента для оптимизировать модель. Глобальный оптимум гарантирован, поскольку целевая функция выпуклая. Градиент логарифма правдоподобия представлен следующим образом:

$\partial \; L\; (w)\; \partial \; w\; =\; \sum \; i\; \varphi \; (xi,\; yi)\; -\; E\; p\; (y\; |\; xi;\; w)\; \varphi \; (xi,\; y)\; \{\backslash \; displaystyle\; \{\backslash \; frac\; \{\backslash \; partial\; L\; (w)\}\; \{\backslash \; partial\; w\}\}\; =\; \backslash \; textstyle\; \backslash \; sum\; \_\; \{i\}\; \backslash \; displaystyle\; \backslash \; phi\; (x\; ^\; \{i\},\; y\; ^\; \{i\})\; -\; E\_\; \{p\; (y\; |\; x\; ^\; \{\; i\};\; w)\}\; \backslash \; phi\; (x\; ^\; \{i\},\; y)\}$

где $E\; p\; (y\; |\; xi;\; w)\; \{\backslash \; displaystyle\; E\_\; \{p\; (y\; |\; x\; ^\; \{i\};\; w)\}\}$- математическое ожидание $p\; (y\; |\; xi;\; w)\; \{\backslash \; displaystyle\; p\; (y\; |\; x\; ^\; \{i\};\; w)\}$.

Вышеупомянутый метод обеспечит эффективное вычисление для относительно небольшого количества классификации.

Машина опорных векторов

Другой непрерывной (но не дифференцируемой) альтернативой 0/1-потере является «потеря на шарнире», которую можно определить как следующее уравнение

$lhinge\; (xi,\; yi,\; c\; (xi,\; yi,\; w))\; =\; max\; y\; (w\; T\; \varphi \; (xi\; +\; y)\; +\; l\; 0/1\; (xi,\; yi,\; c\; (xi;\; w)))\; -\; w\; T\; \varphi \; (xi,\; yi).\; \{\backslash \; displaystyle\; l\; ^\; \{шарнир\}\; (x\; ^\; \{i\},\; y\; ^\; \{i\},\; c\; (x\; ^\; \{i\},\; y\; ^\; \{i\},\; w))\; =\; \backslash \; max\; \_\; \{y\}\; (w\; ^\; \{T\; \}\; \backslash \; phi\; (x\; ^\; \{i\}\; +\; y)\; +\; l\; ^\; \{0/1\}\; (x\; ^\; \{i\},\; y\; ^\; \{i\},\; c\; (x\; ^\; \{i\};\; w)))\; -\; w\; ^\; \{T\; \}\; \backslash \; phi\; (x\; ^\; \{i\},\; y\; ^\; \{i\}).\}$

Потеря шарнира измеряет разницу между максимальной уверенностью, которую классификатор имеет по всем классам, и уверенностью, которую он имеет в правильном классе. При вычислении этого максимума все неправильные классы получают «фору», добавляя 1 к достоверности. В результате потеря петли равна 0, если уверенность в правильном классе как минимум на 1 больше, чем уверенность в ближайшем последующем наблюдении. Несмотря на то, что потеря шарнира не дифференцируема, она также может привести к поддающемуся устранению варианту проблемы обучения с потерей 0/1, поскольку потеря шарнира позволяет преобразовать ее в эквивалентную ограниченную оптимизацию проблема.

Контраст в подходах

Допустим, нам даны метки классов $m\; \{\backslash \; displaystyle\; m\}$(классификация) и $n\; \{\backslash \; displaystyle\; n\}$переменные характеристик, $Y:\; \{y\; 1,\; y\; 2,\dots ,\; ym\},\; X:\; \{x\; 1,\; x\; 2,\dots ,\; xn\}\; \{\backslash \; Displaystyle\; Y:\; \backslash \; \{y\_\; \{1\},\; y\_\; \{2\},\; \backslash \; ldots,\; y\_\; \{m\}\; \backslash \},\; X:\; \backslash \; \{x\_\; \{1\},\; x\_\; \{2\},\; \backslash \; ldots,\; x\_\; \{n\}\; \backslash \}\; \}$в качестве обучающих выборок.

Генеративная модель принимает совместную вероятность $P\; (x,\; y)\; \{\backslash \; displaystyle\; P\; (x,\; y)\}$, где $x\; \{\backslash \; displaystyle\; x\}$- вход, а $y\; \{\backslash \; displaystyle\; y\}$- метка, и предсказывает наиболее возможную известную метку $y\; ~\; \in \; Y\; \{\backslash \; displaystyle\; \{\backslash \; widetilde\; \{y\; \}\}\; \backslash \; in\; Y\}$для неизвестной переменной $x\; ~\; \{\backslash \; displaystyle\; \{\backslash \; widetilde\; \{x\}\}\}$с использованием теоремы Байеса.

Дискриминационные модели, в отличие от генеративных моделей, не позволяют генерировать выборки из совместного распределения наблюдаемых и целевых переменных. Однако для таких задач, как классификация и регрессия, которые не требуют совместного распределения, дискриминантные модели могут дать более высокую производительность (отчасти потому, что у них меньше переменных для вычисления). С другой стороны, генеративные модели обычно более гибкие, чем дискриминационные модели, в выражении зависимостей в сложных задачах обучения. Кроме того, большинство разборчивых моделей по своей природе контролируются и не могут легко поддерживать обучение без учителя. Детали, специфичные для конкретного приложения, в конечном итоге определяют целесообразность выбора дискриминирующей или генеративной модели.

Дискриминативные модели и генеративные модели также различаются тем, что вводят апостериорную возможность. Чтобы сохранить наименьшие ожидаемые потери, необходимо минимизировать ошибочную классификацию результатов. В дискриминативной модели апостериорные вероятности, $P\; (y\; |\; x)\; \{\backslash \; displaystyle\; P\; (y\; |\; x)\}$, выводятся из параметрической модели, где параметры берутся из данных обучения. Точки оценки параметров получаются путем вычисления максимизации вероятности или распределения по параметрам. С другой стороны, учитывая, что генеративные модели фокусируются на совместной вероятности, класс апостериорной возможности $P\; (k)\; \{\backslash \; displaystyle\; P\; (k)\}$рассматривается в теореме Байеса., то есть

$P\; (y\; |\; x)\; =\; p\; (x\; |\; y)\; p\; (y)\; \sum \; ip\; (x\; |\; i)\; p\; (i)\; =\; p\; (x\; |\; y)\; p\; (y)\; p\; (\; Икс)\; \{\backslash \; Displaystyle\; Р\; (Y\; |\; Икс)\; =\; \{\backslash \; гидроразрыва\; \{р\; (х\; |\; Y)\; р\; (Y)\}\; \{\backslash \; textstyle\; \backslash \; sum\; \_\; \{я\}\; р\; (х\; |\; я)\; р\; (я)\; \backslash \; Displaystyle\}\}\; =\; \{\backslash \; frac\; \{p\; (x\; |\; y)\; p\; (y)\}\; \{p\; (x)\}\}\}$.

Преимущества и недостатки в приложении

В повторных экспериментах применяется логистическая регрессия и наивный байесовский метод здесь для различных моделей в задаче бинарной классификации дискриминантное обучение приводит к более низким асимптотическим ошибкам, а генеративное - к более высоким асимптотическим ошибкам быстрее. Однако в совместной работе Улусоя и Бишопа «Сравнение генерирующих и дискриминационных методов для обнаружения и классификации объектов» они заявляют, что приведенное выше утверждение верно только в том случае, если модель является подходящей для данных (т.е. распределение данных правильно моделируется генеративным модель).

Преимущества

Существенными преимуществами использования дискриминантного моделирования являются:

• Более высокая точность, что в основном приводит к лучшему результату обучения.
• Позволяет упростить ввод и обеспечивает прямой подход к $P\; (y\; |\; x)\; \{\backslash \; displaystyle\; P\; (y\; |\; x)\}$
• Экономия вычислительных ресурсов
• Создает более низкие асимптотические ошибки

По сравнению с преимуществами использования генеративного моделирования:

• Принимает во внимание все данные, что может привести к более медленной обработке как недостаток
• Требуется меньше обучающих выборок
• Гибкая структура, которая может легко взаимодействовать с другими потребностями приложения

Недостатки

• Метод обучения обычно требует нескольких методов численной оптимизации
• Аналогично определению, для дискриминативной модели потребуется комбинация нескольких подзадач для решения сложной реальной проблемы

Поскольку как преимущества, так и недостатки присутствуют на двустороннем f моделирование, сочетание обоих подходов будет хорошим моделированием на практике. Например, в статье Марраса A Joint Discriminative Generative Model for Deformable Model Construction and Classification он и его соавторы применяют комбинацию двух моделей для классификации лиц моделей и получают более высокую точность, чем традиционный подход.

Точно так же Келм также предложил комбинацию двух моделей для классификации пикселей в своей статье «Объединение генеративных и дискриминирующих методов для классификации пикселей с многоканальным обучением».

В процессе выделения отличительных признаков перед кластеризацией анализ главных компонентов (PCA), хотя и обычно используется, не обязательно является дискриминационным подходом. Напротив, LDA является дискриминационным. Линейный дискриминантный анализ (LDA) обеспечивает эффективный способ устранения недостатка, который мы перечислили выше. Как мы знаем, дискриминантная модель требует комбинации нескольких подзадач перед классификацией, и LDA предоставляет соответствующее решение этой проблемы за счет уменьшения размерности.

В статье Байерлейн ДИСКРИМИНАЦИОННАЯ КОМБИНАЦИЯ МОДЕЛЕЙ комбинация дискриминационных моделей обеспечивает новый подход к автоматическому распознаванию речи. Это не только помогает оптимизировать интеграцию различных типов моделей в одно логлинейное апостериорное распределение вероятностей. Комбинация также направлена ​​на минимизацию эмпирических ошибок в словах обучающих выборок.

В статье «Унифицированная и дискриминационная модель для уточнения запросов» Гуо и его партнеры используют унифицированную дискриминантную модель для уточнения запросов с использованием линейного классификатора и успешно получают гораздо более высокий уровень точности. В эксперименте, который они разрабатывают, также рассматривается генеративная модель в сравнении с унифицированной моделью. Как и ожидалось в реальном приложении, генеративная модель работает хуже всех по сравнению с другими моделями, включая модели без их улучшения.

Примеры дискриминационных моделей, используемых в машинном обучении, включают:

• Логистическая регрессия, тип обобщенной линейной регрессии, используемый для прогнозирования двоичные или категориальные выходные данные (также известные как классификаторы максимальной энтропии )
• Поддерживающие векторные машины
• Повышение (метаалгоритм)
• Условные случайные поля
• Линейная регрессия
• Нейронные сети
• Случайные леса
• Персептроны

• Математический портал

• Генеративная модель