Перекрестная энтропия

В теории информации, перекрестная энтропия между двумя распределениями вероятностей $p\; \{\backslash \; displaystyle\; p\}$и $q\; \{\backslash \; displaystyle\; q\}$для одного и того же базового набора событий измеряет среднее количество бит необходимо для идентификации события, извлеченного из набора, если схема кодирования, используемая для набора, оптимизирована для оценочного распределения вероятностей $q\; \{\backslash \; displaystyle\; q\}$, а не для истинного распределения $p\; \{\backslash \; displaystyle\; p\}$.

• 1 Определение
• 2 Мотивация
• 3 Оценка
• 4 Отношение к логарифмической вероятности
• 5 Минимизация перекрестной энтропии
• 6 Перекрестная энтропия функция потерь и логистическая регрессия
• 7 См. также
• 8 Ссылки
• 9 Внешние ссылки

Кросс-энтропия распределения $q\; \{\backslash \; displaystyle\; q\}$относительно распределения $p\; \{\backslash \; displaystyle\; p\}$по заданному набору определяется как fo llows:

$H\; (p,\; q)\; =\; -\; E\; p\; \; [журнал\; \; q]\; \{\backslash \; displaystyle\; H\; (p,\; q)\; =\; -\; \backslash \; operatorname\; \{E\}\; \_\; \{p\}\; [\backslash \; log\; q]\}$,

где $E\; p\; [\cdot ]\; \{\backslash \; displaystyle\; E\_\; \{p\}\; [\backslash \; cdot]\}$- оператор ожидаемого значения по отношению к распределению $p\; \{\backslash \; displaystyle\; p\}$. Определение может быть сформулировано с использованием расхождения Кульбака – Лейблера $DKL\; (p\; \Vert \; q)\; \{\backslash \; displaystyle\; D\; \_\; \{\backslash \; mathrm\; \{KL\}\}\; (p\; \backslash \; |\; q)\}$из $p\; \{\backslash \; displaystyle\; p\}$из $q\; \{\backslash \; displaystyle\; q\}$(также известного как относительная энтропия $q\; \{\backslash \; displaystyle\; q\}$относительно $p\; \{\backslash \; displaystyle\; p\}$).

$ЧАС\; (п,\; д)\; знак\; равно\; ЧАС\; (п)\; +\; DKL\; (п\; \Vert \; q)\; \{\backslash \; Displaystyle\; Н\; (р,\; д)\; =\; Н\; (р)\; +\; D\; \_\; \{\backslash \; mathrm\; \{KL\}\}\; (р\; \backslash \; |\; q)\; \}$,

где $H\; (p)\; \{\backslash \; displaystyle\; H\; (p)\}$- это энтропия из $p\; \{\backslash \; displaystyle\; p\}$.

для дискретные распределения вероятностей $p\; \{\backslash \; displaystyle\; p\}$и $q\; \{\backslash \; displaystyle\; q\}$с той же поддержкой $Икс\; \{\backslash \; Displaystyle\; \{\backslash \; mathcal\; \{X\}\}\}$это означает

$H\; (p,\; q)\; =\; -\; \sum \; x\; \in \; X\; p\; (x)\; log\; \; q\; (x)\; \{\backslash \; displaystyle\; H\; (p,\; q)\; =\; -\; \backslash \; sum\; \_\; \{x\; \backslash \; in\; \{\backslash \; mathcal\; \{X\}\}\}\; p\; (x)\; \backslash ,\; \backslash \; log\; q\; (x)\}$

(уравнение 1)

Ситуация для Непрерывные распределения аналогичны. Мы должны предположить, что $p\; \{\backslash \; displaystyle\; p\}$и $q\; \{\backslash \; displaystyle\; q\}$являются абсолютно непрерывными по отношению к некоторой ссылке measure $r\; \{\backslash \; displaystyle\; r\}$(обычно $r\; \{\backslash \; displaystyle\; r\}$- это мера Лебега на a Борель σ-алгебра ). Пусть $P\; \{\backslash \; displaystyle\; P\}$и $Q\; \{\backslash \; displaystyle\; Q\}$будут функциями плотности вероятности $p\; \{\backslash \; displaystyle\; p\}$и $q\; \{\backslash \; displaystyle\; q\}$по отношению к $r\; \{\backslash \; displaystyle\; r\}$. Тогда

$-\; \int \; XP\; (x)\; журнал\; \; Q\; (x)\; dr\; (x)\; =\; E\; p\; \; [-\; log\; \; Q]\; \{\backslash \; displaystyle\; -\; \backslash \; int\; \_\; \{\backslash \; mathcal\; \{X\}\}\; P\; (x)\; \backslash ,\; \backslash \; log\; Q\; (x)\; \backslash ,\; dr\; (x)\; =\; \backslash \; operatorname\; \{E\}\; \_\; \{p\}\; [-\; \backslash \; log\; Q]\}$

и, следовательно,

$H\; (p,\; q)\; =\; -\; \int \; XP\; (x)\; журнал\; \; Q\; (Икс)\; dr\; (Икс)\; \{\backslash \; Displaystyle\; H\; (p,\; q)\; =\; -\; \backslash \; int\; \_\; \{\backslash \; mathcal\; \{X\}\}\; P\; (x)\; \backslash ,\; \backslash \; log\; Q\; (x)\; \backslash ,\; dr\; (x)\}$

(уравнение 2)

Примечание. Обозначение $H\; (p,\; q)\; \{\backslash \; displaystyle\; H\; (p,\; q)\}$также используется для другой концепции, совместная энтропия из $p\; \{\backslash \; displaystyle\; p\}$и $q\; \{\backslash \; displaystyle\; q\}$.

В теории информации, теорема Крафт-Макмиллана устанавливает, что любая напрямую декодируемая схема кодирования для кодирования сообщения идентифицирует одно значение $xi\; \{\backslash \; displaystyle\; x\_\; \{i\}\}$из набор возможностей $\{x\; 1,...,\; xn\}\; \{\backslash \; displaystyle\; \backslash \; \{x\_\; \{1\},...,\; x\_\; \{n\}\; \backslash \}\}$можно рассматривать как представление неявного распределения вероятностей $q\; (xi)\; =\; (1\; 2)\; li\; \{\backslash \; displaystyle\; q\; (x\_\; \{i\})\; =\; \backslash \; left\; (\{\backslash \; frac\; \{1\}\; \{2\}\}\; \backslash \; right)\; ^\; \{l\_\; \{i\}\}\}$более $\{x\; 1,...,\; xn\}\; \{\backslash \; displaystyle\; \backslash \; \{x\_\; \{1\},...,\; x\_\; \{n\}\; \backslash \}\}$, где $li\; \{\backslash \; displaystyle\; l\_\; \{i\}\}$- длина кода для $xi\; \{\backslash \; displaystyle\; x\_\; \{i\}\}$в битах. Следовательно, перекрестная энтропия может быть интерпретирована как ожидаемая длина сообщения для данных, когда предполагается неправильное распределение $q\; \{\backslash \; displaystyle\; q\}$, в то время как данные фактически следуют распределению $p\; \{\backslash \; displaystyle\; p\}$. Вот почему математическое ожидание берется из истинного распределения вероятностей $p\; \{\backslash \; displaystyle\; p\}$, а не для $q\; \{\backslash \; displaystyle\; q\}$. Действительно, ожидаемая длина сообщения при истинном распределении $p\; \{\backslash \; displaystyle\; p\}$равна,

$E\; p\; \; [l]\; =\; -\; E\; p\; \; [ln\; \; q\; (x)\; ln\; \; (2)]\; =\; -\; E\; p\; \; [журнал\; 2\; \; q\; (x)]\; =\; -\; \sum \; xip\; (xi)\; журнал\; 2\; \; q\; (xi)\; =\; -\; \sum \; xp\; (x)\; журнал\; 2\; \; q\; (x)\; =\; H\; (p,\; q)\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{E\}\; \_\; \{p\}\; [l]\; =\; -\; \backslash \; operatorname\; \{E\}\; \_\; \{p\}\; \backslash \; left\; [\{\backslash \; frac\; \{\backslash \; ln\; \{q\; (x)\}\}\; \{\backslash \; ln\; (2)\}\}\; \backslash \; right]\; =\; -\; \backslash \; operatorname\; \{E\}\; \_\; \{p\}\; \backslash \; left\; [\backslash \; log\; \_\; \{2\}\; \{q\; (x)\}\; \backslash \; right]\; =\; -\; \backslash \; sum\; \_\; \{x\_\; \{i\}\}\; p\; (x\_\; \{\; i\})\; \backslash ,\; \backslash \; log\; \_\; \{2\}\; \{q\; (x\_\; \{i\})\}\; =\; -\; \backslash \; sum\; \_\; \{x\}\; p\; (x)\; \backslash ,\; \backslash \; log\; \_\; \{2\}\; q\; (x)\; =\; H\; (p,\; q)\}$

Во многих ситуациях необходимо измерить кросс-энтропию, но распределение $p\; \{\backslash \; displaystyle\; p\}$неизвестно. Примером является языковое моделирование, где модель создается на основе обучающего набора $T\; \{\backslash \; displaystyle\; T\}$, а затем ее перекрестная энтропия измеряется на тестовом наборе. чтобы оценить, насколько точна модель при прогнозировании тестовых данных. В этом примере $p\; \{\backslash \; displaystyle\; p\}$- это истинное распределение слов в любом корпусе, а $q\; \{\backslash \; displaystyle\; q\}$- это распределение слов как и предсказано моделью. Поскольку истинное распределение неизвестно, кросс-энтропию нельзя вычислить напрямую. В этих случаях оценка кросс-энтропии вычисляется по следующей формуле:

$H\; (T,\; q)\; =\; -\; \sum \; i\; =\; 1\; N\; 1\; N\; log\; 2\; \; q\; (xi)\; \{\backslash \; displaystyle\; H\; (T,\; q)\; =\; -\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{N\}\; \{\backslash \; frac\; \{1\}\; \{N\}\}\; \backslash \; log\; \_\; \{2\}\; q\; (x\_\; \{i\})\}$

где $N\; \{\backslash \; displaystyle\; N\}$- это размер набора тестов, а $q\; (x)\; \{\backslash \; displaystyle\; q\; (x)\}$- вероятность события $x\; \{\backslash \; displaystyle\; x\}$оценивается по обучающей выборке. Сумма рассчитывается по $N\; \{\backslash \; displaystyle\; N\}$. Это оценка Монте-Карло истинной кросс-энтропии, где тестовый набор обрабатывается как образцы из $p\; (x)\; \{\backslash \; displaystyle\; p\; (x)\}$.

В задачах классификации мы хотим оценить вероятность различных результатов. Если оценочная вероятность результата $i\; \{\backslash \; displaystyle\; i\}$равна $qi\; \{\backslash \; displaystyle\; q\_\; \{i\}\}$, а частота (эмпирическая вероятность) результата $i\; \{\backslash \; displaystyle\; i\}$в обучающем наборе равно $pi\; \{\backslash \; displaystyle\; p\_\; \{i\}\}$, и имеется N условно независимых образцов в обучающем наборе, то вероятность обучающего набора равна

$\prod \; i\; (вероятность\; i)\; количества\; вхождений\; i\; =\; \prod \; iqi\; N\; pi\; \{\backslash \; displaystyle\; \backslash \; prod\; \_\; \{i\}\; (\{\backslash \; t\_dv\; \{вероятность\; of\}\}\; i)\; ^\; \{\{\backslash \; t\_dv\; \{количество\; вхождений\}\}\; i\}\; =\; \backslash \; prod\; \_\; \{i\}\; q\_\; \{i\}\; ^\; \{Np\_\; \{i\}\}\}$

, поэтому логарифмическая вероятность, деленная на $N\; \{\backslash \; displaystyle\; N\}$равно

$1\; N\; log\; \; \prod \; iqi\; N\; pi\; =\; \sum \; ipi\; log\; \; qi\; =\; -\; H\; (p,\; q)\; \{\backslash \; displaystyle\; \{\backslash \; frac\; \{1\}\; \{\; N\}\}\; \backslash \; log\; \backslash \; prod\; \_\; \{i\}\; q\_\; \{i\}\; ^\; \{Np\_\; \{i\}\}\; =\; \backslash \; sum\; \_\; \{i\}\; p\_\; \{i\}\; \backslash \; log\; q\_\; \{i\}\; =\; -\; H\; (p,\; q)\}$

так что максимизация вероятности - это то же самое, что минимизация перекрестной энтропии.

Минимизация перекрестной энтропии часто используется при оптимизации и оценке вероятности редких событий. При сравнении распределения $q\; \{\backslash \; displaystyle\; q\}$с фиксированным эталонным распределением $p\; \{\backslash \; displaystyle\; p\}$перекрестная энтропия и расхождение KL идентичны с точностью до аддитивной константы (поскольку $p\; \{\backslash \; displaystyle\; p\}$фиксировано): оба принимают свои минимальные значения, когда $p\; =\; q\; \{\backslash \; displaystyle\; p\; =\; q\}$, что равно $0\; \{\backslash \; displaystyle\; 0\}$для расхождения KL и $H\; (p)\; \{\backslash \; displaystyle\; \backslash \; mathrm\; \{H\}\; (p)\}$для кросс-энтропии. В технической литературе принцип минимизации дивергенции KL («Принцип минимальной информации о различении » Кульбака) часто называют Принципом минимальной кросс-энтропии (MCE) или Minxent .

Однако, как обсуждалось в статье Дивергенция Кульбака – Лейблера, иногда распределение $q\; \{\backslash \; displaystyle\; q\}$является фиксированным априорным эталонным распределением, а Распределение $p\; \{\backslash \; displaystyle\; p\}$оптимизировано, чтобы быть как можно ближе к $q\; \{\backslash \; displaystyle\; q\}$с учетом некоторых ограничений. В этом случае две минимизации не эквивалентны. Это привело к некоторой двусмысленности в литературе, и некоторые авторы пытались разрешить несогласованность, переопределив кросс-энтропию как $DKL\; (p\; \Vert \; q)\; \{\backslash \; displaystyle\; D\; \_\; \{\backslash \; mathrm\; \{KL\}\}\; (p\; \backslash \; |\; q)\}$, а не $H\; (p,\; q)\; \{\backslash \; displaystyle\; H\; (p,\; q)\}$.

кросс-энтропия может использоваться для определения функции потерь в машинном обучении и оптимизации. Истинная вероятность $pi\; \{\backslash \; displaystyle\; p\_\; \{i\}\}$- это истинная метка, а данное распределение $qi\; \{\backslash \; displaystyle\; q\_\; \{i\}\}$- это прогнозируемое значение текущей модели.

Более конкретно, рассмотрим логистическую регрессию, которая (среди прочего) может использоваться для классификации наблюдений на два возможных класса (часто просто помечаются как $0\; \{\backslash \; displaystyle\; 0\}$и $1\; \{\backslash \; displaystyle\; 1\}$). Выходные данные модели для данного наблюдения с учетом вектора входных характеристик $x\; \{\backslash \; displaystyle\; x\}$можно интерпретировать как вероятность, которая служит основой для классификации наблюдения. Вероятность моделируется с помощью логистической функции $g\; (z)\; =\; 1\; /\; (1\; +\; e\; -\; z)\; \{\backslash \; displaystyle\; g\; (z)\; =\; 1\; /\; (1\; +\; e\; ^\; \{-\; z\}))\}$где $z\; \{\backslash \; displaystyle\; z\}$- некоторая функция входного вектора $x\; \{\backslash \; displaystyle\; x\}$, обычно просто линейная функция. Вероятность выхода $y\; =\; 1\; \{\backslash \; displaystyle\; y\; =\; 1\}$определяется как

$qy\; =\; 1\; =\; y\; ^\; \equiv \; g\; (w\; \cdot \; x)\; =\; 1\; /\; (1\; +\; e\; -\; вес\; \cdot \; Икс),\; \{\backslash \; Displaystyle\; Q\_\; \{Y\; =\; 1\}\; \backslash \; =\; \backslash \; \{\backslash \; hat\; \{Y\}\}\; \backslash \; \backslash \; Equiv\; \backslash \; g\; (\backslash \; mathbf\; \{w\}\; \backslash \; cdot\; \backslash \; mathbf\; \{x\})\; \backslash \; =\; 1\; /\; (1\; +\; e\; ^\; \{-\; \backslash \; mathbf\; \{w\}\; \backslash \; cdot\; \backslash \; mathbf\; \{x\}\}),\}$

где вектор весов $w\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{w\}\}$оптимизирован через некоторый подходящий алгоритм, такой как градиентный спуск. Точно так же дополнительная вероятность найти результат $y\; =\; 0\; \{\backslash \; displaystyle\; y\; =\; 0\}$просто дается как

$qy\; =\; 0\; =\; 1\; -\; y\; ^\; \{\backslash \; displaystyle\; q\_\; \{y\; =\; 0\}\; \backslash \; =\; \backslash \; 1\; -\; \{\backslash \; hat\; \{y\}\}\}$

Установив нашу нотацию, $p\; \in \; \{y,\; 1\; -\; y\}\; \{\backslash \; displaystyle\; p\; \backslash \; in\; \backslash \; \{y,\; 1-y\; \backslash \; \}\}$и $q\; \in \; \{y\; ^,\; 1\; -\; y\; ^\}\; \{\backslash \; displaystyle\; q\; \backslash \; in\; \backslash \; \{\{\backslash \; hat\; \{y\}\},\; 1\; -\; \{\backslash \; hat\; \{y\}\}\; \backslash \}\; \}$, мы можем использовать кросс-энтропию, чтобы получить меру несходства между $p\; \{\backslash \; displaystyle\; p\}$и $q\; \{\backslash \; displaystyle\; q\}$:

$H\; (п,\; д)\; знак\; равно\; -\; \sum \; ipi\; журнал\; \; qi\; знак\; равно\; -\; Y\; журнал\; \; у\; ^\; -\; (1\; -\; у)\; журнал\; \; (1\; -\; у\; ^)\; \{\backslash \; Displaystyle\; Н\; (р,\; д)\; \backslash \; =\; \backslash \; -\; \backslash \; сумма\; \_\; \{\; i\}\; p\_\; \{i\}\; \backslash \; log\; q\_\; \{i\}\; \backslash \; =\; \backslash \; -y\; \backslash \; log\; \{\backslash \; hat\; \{y\}\}\; -\; (1-y)\; \backslash \; log\; (1\; -\; \{\backslash \; hat\; \{y\}\})\}$

Логистика Регрессия обычно оптимизирует потери журнала для всех наблюдений, на которых она обучается, что аналогично оптимизации средней перекрестной энтропии в выборке. Например, предположим, что у нас есть $N\; \{\backslash \; displaystyle\; N\}$выборок, каждая из которых проиндексирована $n\; =\; 1,\dots ,\; N\; \{\backslash \; displaystyle\; n\; =\; 1,\; \backslash \; dots,\; N\}$. Среднее значение функции потерь тогда определяется как:

$J\; (w)\; =\; 1\; N\; \sum \; n\; =\; 1\; NH\; (pn,\; qn)\; =\; -\; 1\; N\; \sum \; n\; =\; 1\; N\; [yn\; log\; \; y\; ^\; n\; +\; (1\; -\; yn)\; журнал\; \; (1\; -\; y\; ^\; n)],\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{align\}\; J\; (\backslash \; mathbf\; \{w\})\; \backslash \; =\; \backslash \; \{\backslash \; frac\; \{1\}\; \{N\}\}\; \backslash \; sum\; \_\; \{n\; =\; 1\}\; ^\; \{N\}\; H\; (p\_\; \{n\},\; q\_\; \{n\})\; \backslash \; =\; \backslash \; -\; \{\backslash \; frac\; \{1\}\; \{N\}\}\; \backslash \; sum\; \_\; \{n\; =\; 1\}\; ^\; \{N\}\; \backslash \; \{\backslash \; bigg\; [\; \}\; y\_\; \{n\}\; \backslash \; log\; \{\backslash \; hat\; \{y\}\}\; \_\; \{n\}\; +\; (1-y\_\; \{n\})\; \backslash \; log\; (1\; -\; \{\backslash \; hat\; \{y\}\}\; \_\; \{n\})\; \{\backslash \; bigg]\}\; \backslash ,,\; \backslash \; end\; \{align\}\}\}$

где $y\; ^\; n\; \equiv \; g\; (w\; \cdot \; xn)\; =\; 1\; /\; (1\; +\; e\; -\; w\; \cdot \; xn)\; \{\backslash \; displaystyle\; \{\backslash \; hat\; \{y\}\}\; \_\; \{\; n\}\; \backslash \; Equiv\; g\; (\backslash \; mathbf\; \{w\}\; \backslash \; cdot\; \backslash \; mathbf\; \{x\}\; \_\; \{n\})\; =\; 1\; /\; (1\; +\; e\; ^\; \{-\; \backslash \; mathbf\; \{w\}\; \backslash \; cdot\; \backslash \; mathbf\; \{x\}\; \_\; \{n\}\})\}$, с $g\; (z)\; \{\backslash \; displaystyle\; g\; (z)\}$логистической функцией, как и раньше.

Логистические потери иногда называют кросс-энтропийными потерями. Это также известно как потеря журнала (в этом случае двоичная метка часто обозначается {-1, + 1}).

Примечание: Градиент потери кросс-энтропии для логистической регрессии такой же как градиент квадрата ошибки потери для Линейной регрессии. То есть, определим

$XT\; =\; (1\; x\; 11\dots \; x\; 1\; p\; 1\; x\; 21\dots \; x\; 2\; p\dots \; 1\; xn\; 1\dots \; xnp)\; \in \; R\; n\; \times \; (p\; +\; 1)\; \{\backslash \; displaystyle\; X\; ^\; \{T\}\; =\; \{\; \backslash \; begin\; \{pmatrix\}\; 1\; x\_\; \{11\}\; \backslash \; dots\; x\_\; \{1p\}\; \backslash \backslash \; 1\; x\_\; \{21\}\; \backslash \; dots\; x\_\; \{2p\}\; \backslash \backslash \; \backslash \; dots\; \backslash \backslash \; 1\; x\_\; \{n1\}\; \backslash \; dots\; x\_\; \{np\}\; \backslash \backslash \backslash \; end\; \{pmatrix\}\}\; \backslash \; in\; \backslash \; mathbb\; \{R\}\; ^\; \{n\; \backslash \; times\; (p\; +\; 1)\}\}$

$yi\; ^\; =\; f\; ^\; (xi\; 1,\dots ,\; xip)\; =\; 1\; 1\; +\; exp\; (-\; \beta \; 0\; -\; \beta \; 1\; xi\; 1\; -\; \cdots \; -\; \beta \; pxip)\; \{\backslash \; displaystyle\; \{\backslash \; hat\; \{y\_\; \{i\}\}\}\; =\; \{\backslash \; hat\; \{f\}\}\; (x\_\; \{i1\},\; \backslash \; dots,\; x\_\; \{ip\})\; =\; \{\backslash \; frac\; \{\; 1\}\; \{1\; +\; exp\; (-\; \backslash \; beta\; \_\; \{0\}\; -\; \backslash \; beta\; \_\; \{1\}\; x\_\; \{i1\}\; -\; \backslash \; dots\; -\; \backslash \; beta\; \_\; \{p\}\; x\_\; \{ip\})\}\}$

$L\; (\beta \; \to )\; Знак\; равно\; -\; \sum \; я\; знак\; равно\; 1\; N\; [yi\; журнал\; \; Y\; ^\; я\; +\; (1\; -\; yi)\; журнал\; \; (1\; -\; y\; ^\; i)]\; \{\backslash \; displaystyle\; L\; (\{\backslash \; overrightarrow\; \{\backslash \; beta\}\})\; =\; -\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{N\}\; [y\; ^\; \{i\}\; \backslash \; log\; \{\backslash \; hat\; \{y\}\}\; ^\; \{i\}\; +\; (1-y\; ^\; \{i\})\; \backslash \; log\; (1\; -\; \{\backslash \; hat\; \{y\}\}\; ^\; \{i\})]\}$

Тогда у нас есть результат

$\partial \; \partial \; \beta \; \to \; L\; (\beta \; \to )\; =\; X\; (Y\; ^\; -\; Y)\; \{\backslash \; displaystyle\; \{\backslash \; frac\; \{\backslash \; partial\}\; \{\backslash \; partial\; \{\backslash \; overrightarrow\; \{\backslash \; beta\}\}\}\}\; L\; (\{\backslash \; overrightarrow\; \{\backslash \; beta\}\})\; =\; X\; (\{\backslash \; hat\; \{Y\}\}\; -\; Y)\}$

Доказательство состоит в следующем. Для любого $y\; ^\; i\; \{\backslash \; displaystyle\; \{\backslash \; hat\; \{y\}\}\; ^\; \{i\}\}$имеем

$\partial \; \partial \; \beta \; 0\; ln\; \; 1\; 1\; +\; e\; -\; \beta \; 0\; +\; k\; 0\; знак\; равно\; е\; -\; \beta \; 0\; +\; к\; 0\; 1\; +\; е\; -\; \beta \; 0\; +\; к\; 0\; \{\backslash \; Displaystyle\; \{\backslash \; frac\; \{\backslash \; partial\}\; \{\backslash \; partial\; \backslash \; beta\; \_\; \{0\}\}\}\; \backslash \; ln\; \{\backslash \; frac\; \{1\}\; \{1+\; e\; ^\; \{-\; \backslash \; beta\; \_\; \{0\}\; +\; k\_\; \{0\}\}\}\}\; =\; \{\backslash \; frac\; \{e\; ^\; \{-\; \backslash \; beta\; \_\; \{0\}\; +\; k\_\; \{0\}\}\}\; \{1\; +\; e\; ^\; \{-\; \backslash \; beta\; \_\; \{0\}\; +\; k\_\; \{0\}\}\}\}\}$

$\partial \; \partial \; \beta \; 0\; ln\; \; (1\; -\; 1\; 1\; +\; e\; -\; \beta \; 0\; +\; k\; 0)\; =\; -\; 1\; 1\; +\; e\; -\; \beta \; 0\; +\; k\; 0\; \{\backslash \; displaystyle\; \{\backslash \; frac\; \{\backslash \; partial\}\; \{\backslash \; partial\; \backslash \; beta\; \_\; \{0\}\}\}\; \backslash \; ln\; \backslash \; left\; (1\; -\; \{\backslash \; frac\; \{1\}\; \{1\; +\; e\; ^\; \{-\; \backslash \; beta\; \_\; \{0\}\; +\; k\_\; \{0\}\}\; \}\}\; \backslash \; right)\; =\; \{\backslash \; frac\; \{-1\}\; \{1\; +\; e\; ^\; \{-\; \backslash \; beta\; \_\; \{0\}\; +\; k\_\; \{0\}\}\}\}\}$

$\partial \; \partial \; \beta \; 0\; L\; (\beta \; \to )\; =\; -\; \sum \; i\; =\; 1\; N\; [yi\; \cdot \; e\; -\; \beta \; 0\; +\; k\; 0\; 1\; +\; e\; -\; \beta \; 0\; +\; k\; 0\; -\; (1\; -\; yi)\; 1\; 1\; +\; e\; -\; \beta \; 0\; +\; k\; 0]\; =\; -\; \sum \; i\; =\; 1\; N\; [yi\; -\; у\; ^\; я]\; =\; \sum \; я\; знак\; равно\; 1\; N\; (у\; ^\; я\; -\; йи)\; \{\backslash \; Displaystyle\; \{\backslash \; begin\; \{align\}\; \{\backslash \; frac\; \{\backslash \; partial\}\; \{\backslash \; partial\; \backslash \; beta\; \_\; \{0\}\}\}\; L\; (\{\backslash \; overrightarrow\; \{\; \backslash \; beta\}\})\; =\; -\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{N\}\; \backslash \; left\; [\{\backslash \; frac\; \{y\; ^\; \{i\}\; \backslash \; cdot\; e\; ^\; \{-\; \backslash \; beta\; \_\; \{0\}\; +\; k\_\; \{0\}\}\; \}\; \{1\; +\; e\; ^\; \{-\; \backslash \; beta\; \_\; \{0\}\; +\; k\_\; \{0\}\}\}\}\; -\; (1-y\; ^\; \{i\})\; \{\backslash \; frac\; \{1\}\; \{1\; +\; e\; ^\; \{-\; \backslash \; beta\; \_\; \{0\; \}\; +\; k\_\; \{0\}\}\}\}\; \backslash \; right]\; \backslash \backslash \; =\; -\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{N\}\; [y\; ^\; \{i\}\; -\; \{\backslash \; hat\; \{y\}\}\; ^\; \{i\}]\; =\; \backslash \; сумма\; \_\; \{i\; =\; 1\}\; ^\; \{N\}\; (\{\backslash \; hat\; \{y\}\}\; ^\; \{i\}\; -y\; ^\; \{i\})\; \backslash \; end\; \{align\}\}\}$

$\partial \; \partial \; \beta \; 1\; ln\; \; 1\; 1\; +\; e\; -\; \beta \; 1\; xi\; 1\; +\; k\; 1\; =\; xi\; 1\; ek\; 1\; e\; \beta \; 1\; xi\; 1\; +\; ek\; 1\; \{\backslash \; displaystyle\; \{\backslash \; frac\; \{\backslash \; partial\}\; \{\backslash \; partial\; \backslash \; beta\; \_\; \{1\}\}\}\; \backslash \; ln\; \{\backslash \; frac\; \{1\}\; \{1\; +\; e\; ^\; \{-\; \backslash \; beta\; \_\; \{1\}\; x\_\; \{i1\}\; +\; k\_\; \{1\}\}\}\}\; =\; \{\backslash \; frac\; \{x\_\; \{i1\}\; e\; ^\; \{k\_\; \{1\}\}\}\; \{e\; ^\; \{\backslash \; beta\; \_\; \{1\}\; x\_\; \{i1\}\}\; +\; e\; ^\; \{k\_\; \{1\}\}\}\}\; \}$

$\partial \; \partial \; \beta \; 1\; пер\; \; [1\; -\; 1\; 1\; +\; e\; -\; \beta \; 1\; xi\; 1\; +\; k\; 1]\; =\; -\; xi\; 1\; e\; \beta \; 1\; xi\; 1\; e\; \beta \; 1\; xi\; 1\; +\; ek\; 1\; \{\backslash \; displaystyle\; \{\backslash \; frac\; \{\; \backslash \; partial\}\; \{\backslash \; partial\; \backslash \; beta\; \_\; \{1\}\}\}\; \backslash \; ln\; \backslash \; left\; [1\; -\; \{\backslash \; frac\; \{1\}\; \{1\; +\; e\; ^\; \{-\; \backslash \; beta\; \_\; \{1\}\; x\_\; \{i1\}\; +\; k\_\; \{1\}\}\; \}\}\; \backslash \; right]\; =\; \{\backslash \; frac\; \{-x\_\; \{i1\}\; e\; ^\; \{\backslash \; beta\; \_\; \{1\}\; x\_\; \{i1\}\}\}\; \{e\; ^\; \{\backslash \; beta\; \_\; \{1\}\; x\_\; \{i1\}\}\; +\; e\; ^\; \{k\_\; \{1\}\}\}\}\}$

$\partial \; \partial \; \beta \; 1\; L\; (\beta \; \to )\; =\; -\; \sum \; i\; =\; 1\; N\; xi\; 1\; (yi\; -\; y\; ^\; i)\; =\; \sum \; i\; =\; 1\; N\; xi\; 1\; (y\; ^\; i\; -\; yi)\; \{\backslash \; displaystyle\; \{\backslash \; frac\; \{\backslash \; partial\}\; \{\backslash \; partial\; \backslash \; beta\; \_\; \{1\}\}\}\; L\; (\{\backslash \; overrightarrow\; \{\backslash \; beta\}\})\; =\; -\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{N\}\; x\_\; \{i1\}\; (y\; ^\; \{i\}\; -\; \{\backslash \; hat\; \{y\}\}\; ^\; \{i\})\; =\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{N\}\; x\_\; \{i1\}\; (\{\backslash \; hat\; \{y\}\}\; ^\; \{i\}\; -y\; ^\; \{i\})\}$

Аналогичным образом мы в итоге получаем желаемый результат.

• Метод перекрестной энтропии
• Логистическая регрессия
• Условная энтропия
• Оценка максимального правдоподобия
• Взаимная информация

• Перекрестная энтропия