Наивный байесовский классификатор

В статистике, Наивный байесовский классификатор представляют собой семейство простых «вероятностные классификаторы ", основанные на применении теоремы Байеса с сильными (наивными) независимыми предположениями между признаками. Это одни из самых простых моделей байесовской сети. Но их можно сочетать с оценкой плотности ядра и обеспечивать более высокий уровень точности.

Наивные байесовские классификаторы обладают высокой масштабируемостью, требуя ряда параметров, линейных по количеству переменных (функций / предикторов) в проблеме обучения. Обучение с максимальным правдоподобием может быть выполнено путем вычисления выражения в закрытой форме, которое занимает линейное время, а не с помощью дорогостоящего итеративного приближения как используется для многих других типов классификаторов.

В литературе по статистике и информатике наивные байесовские модели известны под разными именами, включая простые байесовские и Независимость Байеса . Все эти названия ссылаются на использование теоремы Байеса в решающем правиле классификатора, но наивный байесовский метод не является (обязательно) байесовским методом.

• 1 Введение
• 2 Вероятностная модель
  • 2.1 Построение классификатора на основе вероятностной модели
• 3 Оценка параметров и модели событий
  • 3.1 Гауссовский наивный Байес
  • 3.2 Полиномиальный наивный Байес
  • 3.3 Бернулли наивный Байес
  • 3.4 Полу-контролируемая оценка параметров
• 4 Обсуждение
  • 4.1 Связь с логистической регрессией
• 5 Примеры
  • 5.1 Классификация лиц
    • 5.1.1 Обучение
    • 5.1.2 Тестирование
  • 5.2 Классификация документов
• 6 См. Также
• 7 Ссылки
• 8 Дополнительная литература
• 9 Внешние ссылки

Наивный байесовский метод построения классификаторов: модели, которые присваивают метки классов экземплярам проблемы, представленные как векторы имеют значения, где метки классов взяты из некоторого конечного набора. Для обучения таких классификаторов не существует единого алгоритма , а существует семейство алгоритмов, основанных на общем принципе: все наивные байесовские классификаторы предполагают, что значение конкретной характеристики не зависит от значение любой другой функции, учитывая переменную класса. Например, фрукт может считаться яблоком, если он красный, круглый и имеет диаметр около 10 см. Наивный байесовский классификатор считает, что каждая из этих характеристик независимо влияет на вероятность того, что этот фрукт является яблоком, независимо от любых возможных корреляций между характеристиками цвета, округлости и диаметра.

Для некоторых типов вероятностных моделей наивные байесовские классификаторы можно очень эффективно обучать в настройке контролируемого обучения. Во многих практических приложениях для оценки параметров наивных байесовских моделей используется метод максимального правдоподобия ; другими словами, можно работать с наивной байесовской моделью, не принимая байесовскую вероятность или используя какие-либо байесовские методы.

Несмотря на их наивный дизайн и явно упрощенные предположения, наивные байесовские классификаторы довольно хорошо работали во многих сложных ситуациях реального мира. В 2004 году анализ проблемы байесовской классификации показал, что существуют веские теоретические причины кажущейся неправдоподобной эффективности наивных байесовских классификаторов. Тем не менее, всестороннее сравнение с другими алгоритмами классификации в 2006 году показало, что байесовская классификация превосходит другие подходы, такие как усиленные деревья или случайные леса.

. Преимущество наивного байесовского метода состоит в том, что он требует только небольшое количество обучающих данных для оценки параметров, необходимых для классификации.

В целом, наивная байесовская модель - это модель условной вероятности : данный экземпляр проблемы должен быть классифицированный, представленный вектором $x\; =\; (x\; 1,\dots ,\; xn)\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{x\}\; =\; (x\_\; \{1\},\; \backslash \; ldots,\; x\_\; \{n\})\}$представляющим некоторые n функций (независимые переменные), этому экземпляру присваиваются вероятности

$p\; (C\; k\; \mid \; x\; 1,\dots ,\; xn)\; \{\backslash \; displaystyle\; p\; (C\_\; \{k\}\; \backslash \; mid\; x\_\; \{1\},\; \backslash \; ldots,\; x\_\; \{\; n\})\; \backslash ,\}$

для каждого из K возможных результатов или классов $C\; k\; \{\backslash \; displaystyle\; C\_\; \{k\}\}$.

Проблема с приведенной выше формулировкой состоит в том, что если количество функций n велико или если функция может принимать большое количество значений, то основывать такую ​​модель на таблицах вероятностей невозможно. Поэтому мы переформулируем модель, чтобы сделать ее более управляемой. Используя теорему Байеса, условную вероятность можно разложить как

$p\; (C\; k\; \mid \; x)\; =\; p\; (C\; k)\; p\; (x\; \mid \; C\; k)\; p\; (x)\; \{\backslash \; displaystyle\; p\; (\; C\_\; \{k\}\; \backslash \; mid\; \backslash \; mathbf\; \{x\})\; =\; \{\backslash \; frac\; \{p\; (C\_\; \{k\})\; \backslash \; p\; (\backslash \; mathbf\; \{x\}\; \backslash \; mid\; C\_\; \{k\})\}\; \{p\; (\backslash \; mathbf\; \{x\})\}\; \}\; \backslash ,\}$

На простом английском языке, используя терминологию байесовской вероятности, приведенное выше уравнение можно записать как

$апостериор\; =\; априор\; \times \; свидетельство\; правдоподобия\; \{\backslash \; displaystyle\; \{\backslash \; text\; \{posterior\}\}\; =\; \{\; \backslash \; frac\; \{\{\backslash \; text\; \{Prior\}\}\; \backslash \; times\; \{\backslash \; text\; \{likelihood\}\}\}\; \{\backslash \; text\; \{proof\}\}\}\; \backslash ,\}$

На практике интересен только числитель этой дроби, потому что знаменатель не зависит от $C\; \{\backslash \; displaystyle\; C\}$и значений признаков $xi\; \{\backslash \; displaystyle\; x\_\; \{i\}\}$даны, так что знаменатель фактически постоянен. Числитель эквивалентен модели совместной вероятности

$p\; (C\; k,\; x\; 1,\dots ,\; xn)\; \{\backslash \; displaystyle\; p\; (C\_\; \{k\},\; x\_\; \{1\},\; \backslash \; ldots,\; x\_\; \{\; n\})\; \backslash ,\}$

, который можно переписать следующим образом, используя цепное правило для повторных применений определения условной вероятности :

$p\; (C\; k,\; x\; 1,\dots ,\; xn)\; =\; p\; (x\; 1,\dots ,\; xn,\; C\; k)\; =\; p\; (x\; 1\; \mid \; x\; 2,\dots ,\; xn,\; C\; k)\; p\; (x\; 2,\dots ,\; xn,\; C\; k)\; =\; p\; (x\; 1\; \mid \; x\; 2,\dots ,\; xn,\; C\; k)\; p\; (x\; 2\; \mid \; x\; 3,\dots ,\; xn,\; C\; k)\; p\; (x\; 3,\dots ,\; xn,\; C\; k)\; =\; \cdots \; =\; p\; (x\; 1\; \mid \; x\; 2,\dots ,\; хn,\; С\; К)\; п\; (Икс\; 2\; \mid \; Икс\; 3,\dots ,\; Иксn,\; С\; К)\; \cdots \; п\; (Иксn\; -\; 1\; \mid \; Иксn,\; С\; К)\; п\; (XN\; \mid \; С\; К)\; п\; (С\; К)\; \{\backslash \; Displaystyle\; \{\backslash \; begin\; \{выровнено\}\; p\; (C\_\; \{k\},\; x\_\; \{1\},\; \backslash \; ldots,\; x\_\; \{n\})\; =\; p\; (x\_\; \{1\},\; \backslash \; ldots,\; x\_\; \{n\},\; C\_\; \{k\})\; \backslash \backslash \; =\; p\; (x\_\; \{1\}\; \backslash \; mid\; x\_\; \{2\},\; \backslash \; ldots,\; x\_\; \{n\},\; C\_\; \{k\})\; \backslash \; p\; (x\_\; \{2\},\; \backslash \; ldots,\; x\_\; \{n\},\; C\_\; \{k\})\; \backslash \backslash \; =\; p\; (x\_\; \{1\}\; \backslash \; mid\; x\_\; \{2\},\; \backslash \; ldots,\; x\_\; \{n\},\; C\_\; \{k\})\; \backslash \; p\; (x\_\; \{2\}\; \backslash \; mid\; x\_\; \{3\},\; \backslash \; ldots,\; x\_\; \{n\},\; C\_\; \{\; k\})\; \backslash \; p\; (x\_\; \{3\},\; \backslash \; ldots,\; x\_\; \{n\},\; C\_\; \{k\})\; \backslash \backslash \; =\; \backslash \; cdots\; \backslash \backslash \; =\; p\; (x\_\; \{1\}\; \backslash \; mid\; x\_\; \{2\},\; \backslash \; ldots,\; x\_\; \{n\},\; C\_\; \{k\})\; \backslash \; p\; (x\_\; \{2\}\; \backslash \; mid\; x\_\; \{3\},\; \backslash \; ldots,\; x\_\; \{n\},\; C\_\; \{k\})\; \backslash \; cdots\; p\; (\; x\_\; \{n-1\}\; \backslash \; mid\; x\_\; \{n\},\; C\_\; \{k\})\; \backslash \; p\; (x\_\; \{n\}\; \backslash \; mid\; C\_\; \{k\})\; \backslash \; p\; (C\_\; \{k\})\; \backslash \backslash \backslash \; конец\; \{выровнено\}\}\}$

Теперь в игру вступают «наивные» условные предположения независимости : предположим, что все функции в $x\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{x\}\}$взаимно независимы, при условии категории $C\; k\; \{\backslash \; displaystyle\; C\_\; \{k\}\}$. При этом предположении

$p\; (xi\; \mid \; xi\; +\; 1,\dots ,\; xn,\; C\; k)\; =\; p\; (xi\; \mid \; C\; k)\; \{\backslash \; displaystyle\; p\; (x\_\; \{i\}\; \backslash \; mid\; x\_\; \{i\; +\; 1\},\; \backslash \; ldots,\; x\_\; \{n\},\; C\_\; \{k\})\; =\; p\; (x\_\; \{i\}\; \backslash \; mid\; C\_\; \{k\})\; \backslash ,\}$.

Таким образом, совместная модель может быть выражена как

$p\; (C\; k\; \mid \; x\; 1,\dots ,\; Xn)\; \propto \; p\; (C\; k,\; x\; 1,\dots ,\; xn)\; \propto \; p\; (C\; k)\; p\; (x\; 1\; \mid \; C\; k)\; p\; (x\; 2\; \mid \; C\; k)\; p\; (x\; 3\; \mid \; C\; k)\; \cdots \; \propto \; п\; (С\; К)\; \prod \; я\; знак\; равно\; 1\; np\; (xi\; \mid \; С\; К),\; \{\backslash \; Displaystyle\; \{\backslash \; begin\; \{выровнено\}\; p\; (C\_\; \{k\}\; \backslash \; mid\; x\_\; \{1\},\; \backslash \; ldots,\; x\_\; \{n\})\; \backslash \; varpropto\; p\; (C\_\; \{k\},\; x\_\; \{1\},\; \backslash \; ldots,\; x\_\; \{n\})\; \backslash \backslash \; \backslash \; varpropto\; p\; (C\_\; \{k\})\; \backslash \; p\; (x\_\; \{1\}\; \backslash \; mid\; C\_\; \{k\})\; \backslash \; p\; (x\_\; \{2\}\; \backslash \; mid\; C\_\; \{k\})\; \backslash \; p\; (x\_\; \{3\}\; \backslash \; mid\; C\_\; \{k\})\; \backslash \; \backslash \; cdots\; \backslash \backslash \; \backslash \; varpropto\; p\; (C\_\; \{k\})\; \backslash \; prod\; \_\; \{i\; =\; 1\}\; ^\; \{n\; \}\; p\; (x\_\; \{i\}\; \backslash \; mid\; C\_\; \{k\})\; \backslash ,,\; \backslash \; end\; \{align\}\}\}$

где $\propto \; \{\backslash \; displaystyle\; \backslash \; varpropto\}$обозначает пропорциональность.

Это означает, что в соответствии с вышеуказанными предположениями о независимости условное распределение по переменной класса $C\; \{\backslash \; displaystyle\; C\}$составляет:

$p\; (C\; k\; \mid \; x\; 1,\dots ,\; xn)\; Знак\; равно\; 1\; Z\; п\; (С\; К)\; \prod \; я\; знак\; равно\; 1\; np\; (xi\; \mid \; С\; К)\; \{\backslash \; displaystyle\; p\; (C\_\; \{k\}\; \backslash \; mid\; x\_\; \{1\},\; \backslash \; ldots,\; x\_\; \{n\})\; =\; \{\backslash \; f\; rac\; \{1\}\; \{Z\}\}\; p\; (C\_\; \{k\})\; \backslash \; prod\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; p\; (x\_\; \{i\}\; \backslash \; mid\; C\_\; \{k\})\}$

где доказательства $Z\; знак\; равно\; п\; (Икс)\; знак\; равно\; \sum \; КП\; (С\; К)\; п\; (Икс\; \mid \; С\; К)\; \{\backslash \; Displaystyle\; Z\; =\; p\; (\backslash \; mathbf\; \{x\})\; =\; \backslash \; sum\; \_\; \{k\}\; p\; (C\_\; \{k\})\; \backslash \; p\; (\; \backslash \; mathbf\; \{x\}\; \backslash \; mid\; C\_\; \{k\})\}$- коэффициент масштабирования, зависящий только от $x\; 1,\dots ,\; xn\; \{\backslash \; displaystyle\; x\_\; \{1\},\; \backslash \; ldots,\; x\_\; \{n\}\; \}$, то есть константа, если известны значения переменных функции.

Построение классификатора на основе вероятностной модели

В ходе обсуждения до сих пор была выведена модель независимых признаков, то есть наивная байесовская вероятностная модель. Наивный байесовский классификатор сочетает эту модель с правилом принятия решений. Одно из общих правил - выбирать наиболее вероятную гипотезу; это известно как максимальное апостериорное или правило принятия решения MAP. Соответствующий классификатор, байесовский классификатор, представляет собой функцию, которая назначает метку класса $y\; ^\; =\; C\; k\; \{\backslash \; displaystyle\; \{\backslash \; hat\; \{y\}\}\; =\; C\_\; \{k\}\}$для некоторого k следующим образом:

$y\; ^\; =\; argmax\; k\; \in \; \{1,\dots ,\; K\}\; p\; (C\; k)\; \prod \; i\; =\; 1\; np\; (xi\; \mid \; C\; k).\; \{\backslash \; displaystyle\; \{\backslash \; hat\; \{y\}\}\; =\; \{\backslash \; underset\; \{k\; \backslash \; in\; \backslash \; \{1,\; \backslash \; ldots,\; K\; \backslash \}\}\; \{\backslash \; operatorname\; \{argmax\}\}\}\; \backslash \; p\; (C\_\; \{k\})\; \backslash \; displaystyle\; \backslash \; prod\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; p\; (x\_\; \{i\}\; \backslash \; mid\; C\_\; \{k\}).\}$

Априор класса может быть вычислен путем предположения равновероятных классов (т. е., $p\; (C\; k)\; =\; 1\; /\; K\; \{\backslash \; displaystyle\; p\; (C\_\; \{k\})\; =\; 1\; /\; K\}$), или путем вычисления оценки вероятности класса из обучающего набора ( т.е. = /). Чтобы оценить параметры для распределения признаков, необходимо предположить распределение или сгенерировать непараметрические модели для признаков из обучающего набора.

Предположения о распределении признаков называются "моделью событий". "наивного байесовского классификатора. Для дискретных функций, подобных тем, которые встречаются при классификации документов (включая фильтрацию спама), популярны полиномиальные и распределения Бернулли. Эти предположения приводят к двум различным моделям, которые часто путают.

Гауссовский наивный байесовский

При работе с непрерывными данными типичное допущение состоит в том, что непрерывные значения, связанные с каждым классом, распределяются в соответствии с нормальным (или гауссовым) распределением. Например, предположим, что обучающие данные содержат непрерывный атрибут, $x\; \{\backslash \; displaystyle\; x\}$. Сначала мы сегментируем данные по классу, а затем вычисляем среднее значение и дисперсию для $x\; \{\backslash \; displaystyle\; x\}$в каждом классе. Пусть $\mu \; k\; \{\backslash \; displaystyle\; \backslash \; mu\; \_\; \{k\}\}$будет средним из значений в $x\; \{\backslash \; displaystyle\; x\}$, связанных с классом C k, и пусть $\sigma \; k\; 2\; \{\backslash \; displaystyle\; \backslash \; sigma\; \_\; \{k\}\; ^\; \{2\}\}$будет скорректированной по Бесселю дисперсией значений в $x\; \{\backslash \; displaystyle\; x\}$, связанный с классом C k. Предположим, мы собрали какое-то значение наблюдения $v\; \{\backslash \; displaystyle\; v\}$. Затем распределение вероятностей $v\; \{\backslash \; displaystyle\; v\}$для данного класса $C\; k\; \{\backslash \; displaystyle\; C\_\; \{k\}\}$, $p\; (x\; =\; v\; \mid \; C\; k)\; \{\; \backslash \; displaystyle\; p\; (x\; =\; v\; \backslash \; mid\; C\_\; \{k\})\}$, можно вычислить, подставив $v\; \{\backslash \; displaystyle\; v\}$в уравнение для нормальное распределение параметризовано $\mu \; k\; \{\backslash \; displaystyle\; \backslash \; mu\; \_\; \{k\}\}$и $\sigma \; k\; 2\; \{\backslash \; displaystyle\; \backslash \; sigma\; \_\; \{k\}\; ^\; \{2\}\}$. То есть

$p\; (x\; =\; v\; \mid \; C\; k)\; =\; 1\; 2\; \pi \; \sigma \; k\; 2\; e\; -\; (v\; -\; \mu \; k)\; 2\; 2\; \sigma \; k\; 2\; \{\backslash \; displaystyle\; p\; (x\; =\; v\; \backslash \; mid\; C\_\; \{k\})\; =\; \{\backslash \; frac\; \{1\}\; \{\backslash \; sqrt\; \{2\; \backslash \; pi\; \backslash \; sigma\; \_\; \{k\}\; ^\; \{2\}\}\}\}\; \backslash ,\; e\; ^\; \{-\; \{\backslash \; frac\; \{(v-\; \backslash \; mu\; \_\; \{k\})\; ^\; \{2\; \}\}\; \{2\; \backslash \; sigma\; \_\; \{k\}\; ^\; \{2\}\}\}\}\}$

Другой распространенный метод обработки непрерывных значений - использование биннинга для дискретизации значений признаков, чтобы получить новый набор Особенности, распределенные по Бернулли; в некоторой литературе на самом деле предполагается, что это необходимо для применения наивного Байеса, но это не так, и дискретизация может отбросить дискриминационную информацию.

Иногда распределение условно-классовых предельных плотностей далеко от нормального. В этих случаях оценка плотности ядра может использоваться для более реалистичной оценки предельных плотностей каждого класса. Этот метод, предложенный Джоном и Лэнгли, может значительно повысить точность классификатора.

Полиномиальный наивный байесовский

В модели полиномиальных событий выборки (векторы признаков) представляют частоты, с которыми определенные события были сгенерированы мультиномом $(p\; 1,\dots ,\; pn)\; \{\backslash \; displaystyle\; (p\_\; \{1\},\; \backslash \; dots,\; p\_\; \{n\})\}$где $pi\; \{\backslash \; displaystyle\; p\_\; \{i\}\}$- вероятность того, что событие i произойдет (или K таких многочленов в случае мультикласса). Вектор признаков $x\; =\; (x\; 1,\dots ,\; xn)\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{x\}\; =\; (x\_\; \{1\},\; \backslash \; dots,\; x\_\; \{n\})\}$тогда гистограмма, где $xi\; \{\backslash \; displaystyle\; x\_\; \{i\}\}$подсчитывает, сколько раз событие i наблюдалось в конкретном случае. Это модель событий, обычно используемая для классификации документов, с событиями, представляющими появление слова в отдельном документе (см. Предположение мешок слов ). Вероятность наблюдения гистограммы x определяется как

$p\; (x\; \mid \; C\; k)\; =\; (\sum \; i\; x\; i)!\; \prod \; я\; х\; я!\; \prod \; ipkixi\; \{\backslash \; displaystyle\; p\; (\backslash \; mathbf\; \{x\}\; \backslash \; mid\; C\_\; \{k\})\; =\; \{\backslash \; frac\; \{(\backslash \; sum\; \_\; \{i\}\; x\_\; \{i\})!\}\; \{\backslash \; Prod\; \_\; \{i\}\; x\_\; \{i\}!\; \}\}\; \backslash \; prod\; \_\; \{i\}\; \{p\_\; \{ki\}\}\; ^\; \{x\_\; \{i\}\}\}$

Полиномиальный наивный байесовский классификатор становится линейным классификатором, когда выражается в пространстве журнала:

$журнал\; \; p\; (C\; k\; \mid \; x)\; \propto \; журнал\; \; (p\; (C\; k)\; \prod \; i\; =\; 1\; npkixi)\; =\; log\; \; p\; (C\; k)\; +\; \sum \; i\; =\; 1\; nxi\; \cdot \; log\; \; pki\; =\; b\; +\; wk\; \top \; x\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{align\}\; \backslash \; log\; p\; (C\_\; \{k\}\; \backslash \; mid\; \backslash \; mathbf\; \{x\})\; \backslash \; varpropto\; \backslash \; log\; \backslash \; left\; (p\; (C\_\; \{k\})\; \backslash \; prod\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; \{p\_\; \{ki\}\}\; ^\; \{x\_\; \{i\}\}\; \backslash \; right)\; \backslash \backslash \; =\; \backslash \; log\; p\; (C\_\; \{k\})\; +\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; x\_\; \{i\}\; \backslash \; cdot\; \backslash \; log\; p\_\; \{ki\}\; \backslash \backslash \; =\; b\; +\; \backslash \; mathbf\; \{w\}\; \_\; \{k\}\; ^\; \{\backslash \; top\}\; \backslash \; mathbf\; \{x\}\; \backslash \; end\; \{align\}\}\}$

где $b\; =\; log\; \; p\; (C\; k)\; \{\backslash \; displaystyle\; b\; =\; \backslash \; log\; p\; (C\_\; \{k\})\}$и $wki\; =\; log\; \; pki\; \{\backslash \; displaystyle\; w\_\; \{ki\}\; =\; \backslash \; log\; p\_\; \{ki\}\}$.

Если данный класс и значение признака никогда не встречаются вместе в обучающих данных, тогда оценка вероятности на основе частоты будет равна нулю, потому что оценка вероятности прямо пропорциональна количеству вхождений значения признака уэ. Это проблематично, потому что это уничтожит всю информацию о других вероятностях при их умножении. Следовательно, часто желательно включать поправку для малой выборки, называемую псевдосчетом, во все оценки вероятности, чтобы никакая вероятность никогда не устанавливалась равной точно нулю. Этот способ регуляризации наивного Байеса называется сглаживанием Лапласа, когда псевдосчет равен единице, и сглаживанием Лидстоуна в общем случае.

Ренни и др. обсудить проблемы с мультиномиальным допущением в контексте классификации документов и возможные способы решения этих проблем, включая использование весов tf – idf вместо необработанных частот терминов и нормализации длины документа для создания наивного байесовского классификатора которая конкурирует с опорными векторными машинами.

наивным Бернулли Байесом

В многомерной модели событий Бернулли функции независимы Булевы (двоичные переменные), описывающие входы. Как и полиномиальная модель, эта модель популярна для задач классификации документов, где используются признаки появления двоичных терминов, а не частота терминов. Если $xi\; \{\backslash \; displaystyle\; x\_\; \{i\}\}$является логическим значением, выражающим появление или отсутствие i-го термина из словаря, то вероятность документа с учетом класса $C\; к\; \{\backslash \; displaystyle\; C\_\; \{k\}\}$определяется выражением

$p\; (x\; \mid \; C\; k)\; =\; \prod \; я\; =\; 1\; npkixi\; (1\; -\; pki)\; (1\; -\; xi)\; \{\backslash \; displaystyle\; p\; (\backslash \; mathbf\; \{x\}\; \backslash \; mid\; C\_\; \{k\})\; =\; \backslash \; prod\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; p\_\; \{ki\}\; ^\; \{x\_\; \{i\}\}\; (1-p\_\; \{ki\})\; ^\; \{(1-x\_\; \{\; i\})\}\}$

где $pki\; \{\backslash \; displaystyle\; p\_\; \{ki\}\}$- вероятность класса $C\; k\; \{\backslash \; displaystyle\; C\_\; \{k\}\}$создание термина $xi\; \{\backslash \; displaystyle\; x\_\; \{i\}\}$. Эта модель событий особенно популярна для классификации коротких текстов. Его преимущество заключается в явном моделировании отсутствия терминов. Обратите внимание, что наивный байесовский классификатор с моделью событий Бернулли - это не то же самое, что полиномиальный классификатор NB с усеченными до единицы значениями частоты.

Оценка параметров с полу-контролем

Имея способ обучить наивный байесовский классификатор на основе помеченных данных, можно построить полу-контролируемый алгоритм обучения, который может учиться на комбинация помеченных и немаркированных данных путем выполнения алгоритма контролируемого обучения в цикле:

Дана коллекция $D\; =\; L\; \uplus \; U\; \{\backslash \; displaystyle\; D\; =\; L\; \backslash \; uplus\; U\}$помеченных образцов L и немаркированные образцы U, начните с обучения наивного байесовского классификатора на L.

До сходимости выполните:

Прогнозирование вероятностей классов $P\; (C\; \mid \; x)\; \{\backslash \; displaystyle\; P\; (\; C\; \backslash \; mid\; x)\}$для всех примеров x в $D\; \{\backslash \; displaystyle\; D\}$.

Переобучите модель на основе вероятностей (а не меток), предсказанных на предыдущем шаге.

Сходимость определяется на основе улучшения вероятности модели $P\; (D\; \mid \; \theta )\; \{\backslash \; displaystyle\; P\; (D\; \backslash \; mid\; \backslash \; theta)\}$, где $\theta \; \{\backslash \; displaystyle\; \backslash \; theta\; \}$обозначает параметры наивной байесовской модели.

Этот обучающий алгоритм является примером более общего алгоритма максимизации ожидания (EM): шаг прогнозирования внутри цикла - E-шаг EM, а повторное обучение наивный Байес - это M-шаг. Формально алгоритм обоснован предположением, что данные генерируются с помощью модели смеси, а компоненты этой модели смеси являются в точности классами задачи классификации.

Несмотря на то, что далеко идущие предположения о независимости часто бывают неточными, наивный байесовский классификатор имеет несколько свойств, которые делают его удивительно полезным на практике. В частности, разделение условных распределений признаков классов означает, что каждое распределение может быть независимо оценено как одномерное распределение. Это помогает облегчить проблемы, возникающие из-за проклятия размерности, например, необходимость в наборах данных, которые экспоненциально масштабируются с количеством функций. Хотя наивный метод Байеса часто не может дать хорошую оценку вероятностей правильного класса, это может не быть требованием для многих приложений. Например, наивный байесовский классификатор сделает правильную классификацию правил принятия решений MAP, если правильный класс более вероятен, чем любой другой класс. Это верно независимо от того, является ли оценка вероятности незначительной или даже очень неточной. Таким образом, общий классификатор может быть достаточно устойчивым, чтобы игнорировать серьезные недостатки лежащей в его основе наивной вероятностной модели. Другие причины наблюдаемого успеха наивного байесовского классификатора обсуждаются в цитируемой ниже литературе.

Связь с логистической регрессией

В случае дискретных входных данных (индикатор или частотные характеристики для дискретных событий) наивные байесовские классификаторы образуют генеративно-дискриминативную пару с (мультиномиальным ) логистическая регрессия классификаторы: каждый наивный байесовский классификатор можно рассматривать как способ подбора вероятностной модели, которая оптимизирует совместное правдоподобие $p\; (C,\; x)\; \{\backslash \; displaystyle\; p\; (C,\; \backslash \; mathbf\; \{x\; \})\}$, тогда как логистическая регрессия соответствует той же вероятностной модели для оптимизации условного $p\; (C\; \mid \; x)\; \{\backslash \; displaystyle\; p\; (C\; \backslash \; mid\; \backslash \; mathbf\; \{x\})\}$.

связь между ними можно увидеть, заметив, что функция принятия решения для наивного Байеса (в двоичном случае) может быть переписана как «класс прогнозирования $C\; 1\; \{\backslash \; displaystyle\; C\_\; \{1\}\}$, если шансы из $p\; (C\; 1\; \mid \; x)\; \{\backslash \; displaystyle\; p\; (C\_\; \{1\}\; \backslash \; mid\; \backslash \; mathbf\; \{x\})\}$превышают коэффициенты $p\; (\; С\; 2\; \mid \; Икс)\; \{\backslash \; Displaystyle\; p\; (C\_\; \{2\}\; \backslash \; mid\; \backslash \; mathbf\; \{x\})\}$". Выражение этого в лог-пространстве дает:

$log\; \; p\; (C\; 1\; x)\; p\; (C\; 2\; \mid \; x)\; =\; log\; \; p\; (C\; 1\; \mid \; x)\; -\; log\; \; p\; (C\; 2\; \mid \; x)>0\; \{\; \backslash \; displaystyle\; \backslash \; log\; \{\backslash \; frac\; \{p\; (C\_\; \{1\}\; \backslash \; mid\; \backslash \; mathbf\; \{x\})\}\; \{p\; (C\_\; \{2\}\; \backslash \; mid\; \backslash \; mathbf\; \{x\})\}\}\; =\; \backslash \; log\; p\; (C\_\; \{1\}\; \backslash \; mid\; \backslash \; mathbf\; \{x\})\; -\; \backslash \; log\; p\; (C\_\; \{2\}\; \backslash \; mid\; \backslash \; mathbf\; \{x\})>0\}$

Левая часть этого уравнения - это логарифм-шансы, или logit, количество, предсказанное линейной моделью, лежащей в основе логистической регрессии. Поскольку наивный байесовский метод также является линейной моделью для двух «дискретных» моделей событий, ее можно перепараметризовать как линейную функцию $b\; +\; w\; \top \; x>0\; \{\; \backslash \; displaystyle\; b\; +\; \backslash \; mathbf\; \{w\}\; ^\; \{\backslash \; top\}\; x>0\}$. Тогда для получения вероятностей нужно применить логистическую функцию к $b\; +\; w\; \top \; x\; \{\backslash \; displaystyle\; b\; +\; \backslash \; mathbf\; \{w\}\; ^\; \{\backslash \; top\}\; x\}$, или в случае мультиклассов функция softmax.

Дискриминантные классификаторы имеют более низкую асимптотическую ошибку, чем генеративные; однако исследование Нг и Джордан показало, что в некоторых практических случаях наивный байесовский метод может превзойти логистическую регрессию, поскольку она быстрее достигает своей асимптотической ошибки.

Классификация людей

Задача: определить, является ли данный человек мужчиной или женщиной, на основе измеренных характеристик. Характеристики включают рост, вес и размер стопы.

Обучение

Пример обучающего набора ниже.

Классификатор, созданный из обучающей выборки с использованием предположения о распределении по Гауссу, будет (заданные дисперсии являются несмещенными выборочными дисперсиями ):

Допустим, у нас есть эквипроба Таким образом, P (мужской) = P (женский) = 0,5. Это априорное распределение вероятностей может быть основано на наших знаниях о частотах в большей популяции или на частоте в обучающей выборке.

Тестирование

Ниже приводится образец, который можно разделить на мужчин и женщин.

Мы хотим определить какая задняя часть больше, мужская или женская. Для классификации как мужчины задняя часть дается как

$posterior\; (мужчина)\; =\; P\; (мужчина)\; p\; (рост\; \mid \; мужчина)\; p\; (вес\; \mid \; мужчина)\; p\; (размер\; ноги\; \mid \; мужчина)\; доказательство\; \{\backslash \; displaystyle\; \{\backslash \; text\; \{posterior\; (мужской)\}\}\; =\; \{\backslash \; frac\; \{P\; (\{\backslash \; text\; \{male\}\})\; \backslash ,\; p\; (\{\backslash \; text\; \{height\}\}\; \backslash \; mid\; \{\backslash \; text\; \{male\}\})\; \backslash ,\; p\; (\{\backslash \; text\; \{weight\; \}\}\; \backslash \; mid\; \{\backslash \; text\; \{male\}\})\; \backslash ,\; p\; (\{\backslash \; text\; \{foot\; size\}\}\; \backslash \; mid\; \{\backslash \; text\; \{male\}\})\}\; \{доказательство\}\}\}$

Для классификации женского пола дается как

$задний\; (женский)\; =\; P\; (женский)\; p\; (рост\; \mid \; женский)\; p\; (вес\; \mid \; женский)\; p\; (размер\; ноги\; \mid \; женский)\; свидетельство\; \{\backslash \; displaystyle\; \{\backslash \; text\; \{posterior\; (женский)\}\}\; =\; \{\; \backslash \; frac\; \{P\; (\{\backslash \; text\; \{female\}\})\; \backslash ,\; p\; (\{\backslash \; text\; \{height\}\}\; \backslash \; mid\; \{\backslash \; text\; \{female\}\})\; \backslash ,\; p\; (\{\backslash \; text\; \{weight\}\}\; \backslash \; mid\; \{\backslash \; text\; \{женщина\}\})\; \backslash ,\; p\; (\{\backslash \; text\; \{размер\; ноги\}\}\; \backslash \; mid\; \{\backslash \; text\; \{female\}\})\}\; \{доказательство\}\}\}$

Свидетельство (также называемое нормализующей константой) может быть вычислено:

$доказательства\; =\; P\; (мужчина)\; p\; (рост\; \mid \; мужчина)\; p\; (вес\; мужчина)\; p\; (размер\; ноги\; мужчина)\; +\; P\; (женщина)\; p\; (рост\; женщина)\; p\; (вес\; женщина)\; p\; (размер\; ноги\; fe\; мужской)\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{align\}\; \{\backslash \; text\; \{доказательство\}\}\; =\; P\; (\{\backslash \; text\; \{male\}\})\; \backslash ,\; p\; (\{\backslash \; text\; \{height\}\}\; \backslash \; mid\; \{\backslash \; text\; \{male\}\})\; \backslash ,\; p\; (\{\backslash \; text\; \{weight\}\}\; \backslash \; mid\; \{\backslash \; text\; \{male\}\})\; \backslash ,\; p\; (\{\backslash \; text\; \{foot\; size\}\}\; \backslash \; mid\; \{\backslash \; text\; \{male\}\})\; \backslash \backslash \; +\; P\; (\{\backslash \; текст\; \{женский\}\})\; \backslash ,\; p\; (\{\backslash \; text\; \{height\}\}\; \backslash \; mid\; \{\backslash \; text\; \{female\}\})\; \backslash ,\; p\; (\{\backslash \; text\; \{weight\}\}\; \backslash \; mid\; \{\backslash \; text\; \{female\}\})\; \backslash ,\; p\; (\{\backslash \; text\; \{размер\; стопы\}\}\; \backslash \; mid\; \{\backslash \; text\; \{female\}\})\; \backslash \; end\; \{align\}\}\}$

Однако, учитывая образец, свидетельство является константой и, таким образом, одинаково масштабируется на обоих задних направлениях. Таким образом, это не влияет на классификацию и может быть проигнорировано. Теперь определим распределение вероятностей для пола выборки.

$P\; (мужской)\; =\; 0,5\; \{\backslash \; displaystyle\; P\; (\{\backslash \; text\; \{мужской\}\})\; =\; 0,5\}$

$p\; (рост\; \mid \; мужской)\; =\; 1\; 2\; \pi \; \sigma \; 2\; exp\; \; (-\; (6\; -\; \mu )\; 2\; 2\; \sigma \; 2)\; \approx \; 1,5789\; \{\backslash \; displaystyle\; p\; (\{\backslash \; text\; \{height\}\}\; \backslash \; mid\; \{\backslash \; text\; \{male\}\})\; =\; \{\backslash \; frac\; \{1\}\; \{\backslash \; sqrt\; \{2\; \backslash \; pi\; \backslash \; sigma\; ^\; \{2\}\}\}\; \}\; \backslash \; exp\; \backslash \; left\; (\{\backslash \; frac\; \{-\; (6-\; \backslash \; mu)\; ^\; \{2\}\}\; \{2\; \backslash \; sigma\; ^\; \{2\}\}\}\; \backslash \; right)\; \backslash \; приблизительно\; 1,5789\}$,

где $\mu \; =\; 5,855\; \{\; \backslash \; displaystyle\; \backslash \; mu\; =\; 5.855\}$и $\sigma \; 2\; =\; 3.5033\; \cdot \; 10\; -\; 2\; \{\backslash \; displaystyle\; \backslash \; sigma\; ^\; \{2\}\; =\; 3.5033\; \backslash \; cdot\; 10\; ^\; \{-\; 2\}\}$- параметры нормального распределения, предварительно определенные из обучающей выборки. Обратите внимание, что значение больше 1 здесь в порядке - это плотность вероятности, а не вероятность, потому что высота является непрерывной переменной.

$п\; (вес\; \mid \; мужской)\; =\; 1\; 2\; \pi \; \sigma \; 2\; ехр\; \; (-\; (130\; -\; \mu )\; 2\; 2\; \sigma \; 2)\; =\; 5,9881\; \cdot \; 10\; -\; 6\; \{\backslash \; displaystyle\; p\; (\{\backslash \; text\; \{weight\}\}\; \backslash \; mid\; \{\; \backslash \; text\; \{male\}\})\; =\; \{\backslash \; frac\; \{1\}\; \{\backslash \; sqrt\; \{2\; \backslash \; pi\; \backslash \; sigma\; ^\; \{2\}\}\}\}\; \backslash \; exp\; \backslash \; left\; (\{\backslash \; frac\; \{-\; (130-\; \backslash \; mu)\; ^\; \{2\}\; \}\; \{2\; \backslash \; sigma\; ^\; \{2\}\}\}\; \backslash \; right)\; =\; 5.9881\; \backslash \; cdot\; 10\; ^\; \{-\; 6\}\}$

$p\; (размер\; стопы\; \mid \; мужской)\; =\; 1\; 2\; \pi \; \sigma \; 2\; exp\; \; (-\; (8\; -\; \mu )\; 2\; 2\; \sigma \; 2)\; знак\; равно\; 1,3112\; \cdot \; 10\; -\; 3\; \{\backslash \; displaystyle\; p\; (\{\backslash \; text\; \{размер\; стопы\}\}\; \backslash \; mid\; \{\backslash \; text\; \{male\}\})\; =\; \{\backslash \; frac\; \{1\}\; \{\backslash \; sqrt\; \{2\; \backslash \; pi\; \backslash \; sigma\; ^\; \{2\}\}\}\}\; \backslash \; exp\; \backslash \; left\; (\{\backslash \; frac\; \{-\; (8-\; \backslash \; mu)\; ^\; \{2\}\}\; \{2\; \backslash \; sigma\; ^\; \{2\}\}\}\; \backslash \; right)\; =\; 1.3112\; \backslash \; cdot\; 10\; ^\; \{-\; 3\; \}\}$

$апостериорный\; числитель\; (мужской)\; =\; их\; продукт\; =\; 6.1984\; \cdot \; 10\; -\; 9\; \{\backslash \; displaystyle\; \{\backslash \; text\; \{последующий\; числитель\; (мужской)\}\}\; =\; \{\backslash \; text\; \{их\; продукт\}\}\; =\; 6.1984\; \backslash \; cdot\; 10\; ^\; \{-\; 9\}\}$

$P\; (женский)\; =\; 0,5\; \{\backslash \; displaystyle\; P\; (\{\backslash \; text\; \{female\}\})\; =\; 0,5\}$

$p\; (рост\; \mid \; женский)\; =\; 2,2346\; \cdot \; 10\; -\; 1\; \{\backslash \; displaystyle\; p\; (\{\backslash \; text\; \{height\}\}\; \backslash \; mid\; \{\backslash \; text\; \{female\}\})\; =\; 2.2346\; \backslash \; cdot\; 10\; ^\; \{-\; 1\}\}$

$p\; (вес\; \mid \; женский)\; =\; 1.6789\; \cdot \; 10-2\; \{\backslash \; displaystyle\; p\; (\{\backslash \; text\; \{\; weight\}\}\; \backslash \; mid\; \{\backslash \; text\; \{female\}\})\; =\; 1.6789\; \backslash \; cdot\; 10\; ^\; \{-\; 2\}\}$

$p\; (размер\; стопы\; \mid \; fem\; ale)\; =\; 2,8669\; \cdot \; 10-1\; \{\backslash \; displaystyle\; p\; (\{\backslash \; text\; \{foot\; size\}\}\; \backslash \; mid\; \{\backslash \; text\; \{female\}\})\; =\; 2,8669\; \backslash \; cdot\; 10\; ^\; \{-\; 1\}\}$

$апостериорный\; числитель\; (женский)\; =\; их\; продукт\; =\; 5,3778\; \cdot \; 10\; -\; 4\; \{\backslash \; displaystyle\; \{\backslash \; text\; \{posterior\; numerator\; (female)\}\}\; =\; \{\backslash \; text\; \{their\; product\}\}\; =\; 5,3778\; \backslash \; cdot\; 10\; ^\; \{-\; 4\}\}$

Поскольку апостериорный числитель больше в случае женщин, мы прогнозируем, что выборка будет женской.

Классификация документов

Вот рабочий пример наивной байесовской классификации для проблемы классификации документов. Рассмотрим проблему классификации документов по их содержимому, например, на спам и не-спам электронные письма. Представьте, что документы взяты из нескольких классов документов, которые можно смоделировать как наборы слов, где (независимая) вероятность того, что i-е слово данного документа встречается в документе из класса C, может быть записана как

$p\; (wi\; \mid \; C)\; \{\backslash \; displaystyle\; p\; (w\_\; \{i\}\; \backslash \; mid\; C)\; \backslash ,\}$

(Для этой обработки мы еще больше упрощаем ситуацию, предполагая, что слова распределены в документе случайным образом, то есть слова не зависит от длины документа, положения в документе по отношению к другим словам или другого контекста документа.)

Тогда вероятность того, что данный документ D содержит все слова $wi\; \{\; \backslash \; displaystyle\; w\_\; \{i\}\}$для класса C:

$p\; (D\; \mid \; C)\; =\; \prod \; ip\; (wi\; \mid \; C)\; \{\backslash \; displaystyle\; p\; (D\; \backslash \; mid\; C)\; =\; \backslash \; prod\; \_\; \{i\}\; p\; (w\_\; \{i\}\; \backslash \; mid\; C)\; \backslash ,\}$

Вопрос, на который мы хотим ответить: «какова вероятность того, что данный документ D принадлежит данному классу C?» Другими словами, то, что $p\; (C\; \mid \; D)\; \{\backslash \; displaystyle\; p\; (C\; \backslash \; mid\; D)\; \backslash ,\}$?

Теперь по определению

$p\; (D\; \mid \; C)\; =\; p\; (D\; \cap \; C)\; п\; (C)\; \{\backslash \; Displaystyle\; p\; (D\; \backslash \; mid\; C)\; =\; \{p\; (D\; \backslash \; cap\; C)\; \backslash \; over\; p\; (C)\}\}$

и

$p\; (C\; \mid \; D)\; =\; p\; (\; D\; \cap \; C)\; п\; (D)\; \{\backslash \; displaystyle\; p\; (C\; \backslash \; mid\; D)\; =\; \{p\; (D\; \backslash \; cap\; C)\; \backslash \; over\; p\; (D)\}\}$

Теорема Байеса превращает их в формулировку вероятности в терминах правдоподобия.

$p\; (C\; \mid \; D)\; =\; p\; (C)\; p\; (D\; \mid \; C)\; p\; (D)\; \{\backslash \; displaystyle\; p\; (C\; \backslash \; mid\; D)\; =\; \{\backslash \; frac\; \{p\; (C)\; \backslash ,\; p\; (D\; \backslash \; mid\; C)\}\; \{p\; (D)\}\}\}$

Предположим на данный момент, что существует только два взаимоисключающих класса, S и ¬S (например, спам, а не спам), так что каждый элемент (электронная почта) находится либо в одном, либо в другом;

$п\; (D\; \mid \; S)\; знак\; равно\; \prod \; ip\; (wi\; \mid \; S)\; \{\backslash \; displaystyle\; p\; (D\; \backslash \; mid\; S)\; =\; \backslash \; prod\; \_\; \{i\}\; p\; (w\_\; \{i\}\; \backslash \; mid\; S)\; \backslash ,\}$

и

$п\; (D\; \mid \; \neg \; S)\; =\; \prod \; ip\; (wi\; \mid \; \neg \; S)\; \{\backslash \; displaystyle\; p\; (D\; \backslash \; mid\; \backslash \; neg\; S)\; =\; \backslash \; prod\; \_\; \{i\}\; p\; (w\_\; \{i\}\; \backslash \; mid\; \backslash \; neg\; S))\; \backslash ,\}$

Используя байесовский результат выше, мы можем написать:

$p\; (S\; \mid \; D)\; =\; p\; (S)\; p\; (D)\; \prod \; ip\; (wi\; \mid \; S)\; \{\backslash \; displaystyle\; p\; (S\; \backslash \; mid\; D)\; =\; \{p\; (S)\; \backslash \; над\; p\; (D)\}\; \backslash ,\; \backslash \; prod\; \_\; \{i\}\; p\; (w\_\; \{i\}\; \backslash \; mid\; S)\}$

$p\; (\neg \; S\; \mid \; D)\; =\; p\; (\neg \; S)\; п\; (D)\; \prod \; ip\; (wi\; \mid \; \neg \; S)\; \{\backslash \; displaystyle\; p\; (\backslash \; neg\; S\; \backslash \; mid\; D)\; =\; \{p\; (\backslash \; neg\; S)\; \backslash \; over\; p\; (D)\}\; \backslash ,\; \backslash \; prod\; \_\; \{i\}\; p\; (w\_\; \{i\}\; \backslash \; mid\; \backslash \; neg\; S)\}$

Деление одного на другое дает:

$p\; (S\; \mid \; D)\; p\; (\neg \; S\; S\; D)\; =\; p\; (S)\; \prod \; ip\; (wi\; \mid \; S)\; p\; (\; \neg \; S)\; \prod \; ip\; (wi\; \mid \; \neg \; S)\; \{\backslash \; displaystyle\; \{p\; (S\; \backslash \; mid\; D)\; \backslash \; over\; p\; (\backslash \; neg\; S\; \backslash \; mid\; D)\}\; =\; \{p\; (S)\; \backslash ,\; \backslash \; prod\; \_\; \{i\}\; p\; (\; w\_\; \{i\}\; \backslash \; mid\; S)\; \backslash \; over\; p\; (\backslash \; neg\; S)\; \backslash ,\; \backslash \; prod\; \_\; \{i\}\; p\; (w\_\; \{i\}\; \backslash \; mid\; \backslash \; neg\; S)\}\}$

Что может быть преобразовано как:

$п\; (S\; \mid \; D)\; п\; (\neg \; S\; \mid \; D)\; знак\; равно\; п\; (S)\; п\; (\neg \; S)\; \prod \; ip\; (wi\; \mid \; S)\; p\; (wi\; \mid \; \neg \; S)\; \{\backslash \; displaystyle\; \{p\; (S\; \backslash \; mid\; D)\; \backslash \; over\; p\; (\backslash \; neg\; S\; \backslash \; mid\; D)\}\; =\; \{p\; (S)\; \backslash \; over\; p\; (\backslash \; neg\; S)\}\; \backslash ,\; \backslash \; prod\; \_\; \{i\}\; \{p\; (w\_\; \{i\}\; \backslash \; mid\; S)\; \backslash \; over\; p\; (w\_\; \{i\}\; \backslash \; mid\; \backslash \; neg\; S)\}\}$

Таким образом, отношение вероятностей p (S | D) / p (¬S | D) может быть выражено через ряд отношений правдоподобия. Фактическая вероятность p (S | D) может быть легко вычислена из log (p (S | D) / p (¬S | D)) на основании наблюдения, что p (S | D) + p (¬S | D) = 1.

Взяв логарифм всех этих соотношений, получим:

$ln\; \; p\; (S\; \mid \; D)\; p\; (\neg \; S\; \mid \; D)\; =\; ln\; \; p\; (S)\; п\; (\neg \; S)\; +\; \sum \; я\; пер\; \; п\; (wi\; \mid \; S)\; п\; (wi\; \mid \; \neg \; S)\; \{\backslash \; displaystyle\; \backslash \; ln\; \{p\; (S\; \backslash \; mid\; D)\; \backslash \; над\; p\; (\backslash \; neg\; S\; \backslash \; mid\; D)\}\; =\; \backslash \; ln\; \{p\; (S)\; \backslash \; over\; p\; (\backslash \; neg\; S)\}\; +\; \backslash \; sum\; \_\; \{i\}\; \backslash \; ln\; \{p\; (w\_\; \{i\}\; \backslash \; mid\; S)\; \backslash \; over\; p\; (w\_\; \{i\}\; \backslash \; mid\; \backslash \; neg\; S)\; \}\}$

(Этот метод «логарифмических отношений правдоподобия » является распространенным методом в статистике. В случае двух взаимоисключающих альтернатив (таких как этот пример) преобразование логарифмического правдоподобия отношение к вероятности принимает форму сигмовидной кривой : подробности см. в logit.)

Наконец, документ можно классифицировать следующим образом. Это спам, если $p\; (S\; \mid \; D)>p\; (\neg \; S\; \mid \; D)\; \{\backslash \; displaystyle\; p\; (S\; \backslash \; mid\; D)>p\; (\backslash \; neg\; S\; \backslash \; mid\; D)\}$( т.е. $пер\; \; п\; (S\; \mid \; D)\; п\; (\neg \; S\; \mid \; D)>0\; \{\backslash \; displaystyle\; \backslash \; ln\; \{p\; (S\; \backslash \; mid\; D)\; \backslash \; over\; p\; (\backslash \; neg\; S\; \backslash \; mid\; D)\}>0\}$), иначе это не спам.

• AODE
• Байесовский классификатор
• Байесовская фильтрация спама
• Байесовская сеть
• Случайный наивный байесовский
• Линейный классификатор
• Логистическая регрессия
• Персептрон
• Лучшая эвристика

• Домингос, Педро; Паццани, Майкл (1997). «Об оптимальности простого байесовского классификатора при потере нуля или единицы». Машинное обучение. 29(2/3): 103–137. doi : 10.1023 / A: 1007413511361.
• Webb, G.I.; Boughton, J.; Ван, З. (2005). «Не такой уж наивный байесовский: агрегирование оценок с одной зависимостью». Машинное обучение. 58 (1): 5–24. doi : 10.1007 / s10994-005-4258-6.
• Mozina, M.; Demsar, J.; Kattan, M.; Зупан, Б. (2004). Номограммы для визуализации наивного байесовского классификатора (PDF). Proc. ПКДД-2004. С. 337–348.
• Марон М. Э. (1961). «Автоматическое индексирование: экспериментальное исследование». Журнал ACM. 8(3): 404–417. doi : 10.1145 / 321075.321084. HDL : 2027 / uva.x030748531. S2CID 6692916.
• Минский М. (1961). Шаги к искусственному интеллекту. Proc. IRE. 49 . стр. 8–30.

• Глава книги: Наивная байесовская классификация текста, Введение в поиск информации
• Наивная байесовская классификация текста с несбалансированными классами
• Результаты тестов наивных байесовских реализаций
• Иерархический Наивные байесовские классификаторы для неопределенных данных (расширение наивного байесовского классификатора).

Программное обеспечение

• Наивные байесовские классификаторы доступны во многих универсальных пакетах машинного обучения и НЛП, включая Apache Mahout, Mallet, NLTK, Orange, scikit-learn и Weka.
• Числовые библиотеки IMSL Коллекции математических и статистических алгоритмов, доступных на C / C ++, Fortran, Java и C # /. NET. Процедуры интеллектуального анализа данных в библиотеках IMSL включают наивный байесовский классификатор.
• Интерактивная Microsoft Excel электронная таблица Наивная реализация Байеса с использованием VBA (необходимо включить макросов) с видимым исходным кодом.
• jBNC - Панель инструментов байесовского сетевого классификатора
• Набор инструментов статистического распознавания образов для Matlab.
• ifile - первый свободно доступный (наивный) байесовский фильтр почты / спама
• NClassifier - NClassifier - это библиотека.NET, которая поддерживает классификацию текста и резюмирование текста. Это порт Classifier4J.
• Classifier4J - Classifier4J - это библиотека Java, предназначенная для классификации текста. Он поставляется с реализацией байесовского классификатора.
• JNBC Наивный байесовский классификатор, работающий в памяти или использующий быстрые хранилища значений ключа (MapDB, LevelDB или RocksDB).
• Blayze - Blayze - это минимальная библиотека JVM для наивной байесовской классификации, написанная на Kotlin.