Функция Softmax

Функция softmax, также известная как softargmax или нормализованная экспоненциальная функция - это обобщение логистической функции на несколько измерений. Он используется в полиномиальной логистической регрессии и часто используется в качестве последней функции активации нейронной сети для нормализации выходных данных сети до распределение вероятностей по прогнозируемым выходным классам.

Функция softmax принимает в качестве входных данных вектор z из K действительных чисел и нормализует его до распределения вероятностей, состоящего из K вероятностей, пропорциональных экспонентам входных чисел. То есть до применения softmax некоторые компоненты вектора могут быть отрицательными или больше единицы; и не может суммировать до 1; но после применения softmax каждый компонент будет в интервале $(0,\; 1)\; \{\backslash \; displaystyle\; (0,1)\}$, и компоненты будут складываться до 1, так что их можно интерпретировать как вероятности. Кроме того, более крупные входные компоненты будут соответствовать большим вероятностям.

Стандартная (единичная) функция softmax $\sigma :\; RK\; \to \; RK\; \{\backslash \; displaystyle\; \backslash \; sigma:\; \backslash \; mathbb\; \{R\}\; ^\; \{K\}\; \backslash \; to\; \backslash \; mathbb\; \{R\}\; ^\; \{K\}\}$определяется формулой

$\sigma \; (z)\; i\; =\; ezi\; \sum \; j\; =\; 1\; K\; ezj\; для\; i\; =\; 1,\dots ,\; K\; и\; z\; =\; (z\; 1,\dots ,\; z\; K)\; \in \; RK\; \{\backslash \; displaystyle\; \backslash \; sigma\; (\backslash \; mathbf\; \{z\})\; \_\; \{i\}\; =\; \{\backslash \; frac\; \{e\; ^\; \{z\_\; \{i\}\}\}\; \{\backslash \; sum\; \_\; \{j\; =\; 1\}\; ^\; \{K\}\; e\; ^\; \{z\_\; \{j\}\}\}\}\; \{\backslash \; text\; \{for\}\}\; i\; =\; 1,\; \backslash \; dotsc,\; K\; \{\backslash \; text\; \{and\}\}\; \backslash \; mathbf\; \{z\}\; =\; (z\_\; \{1\},\; \backslash \; dotsc,\; z\_\; \{K\})\; \backslash \; in\; \backslash \; mathbb\; \{R\}\; ^\; \{K\}\}$

На словах: мы применяем стандартную экспоненциальную функцию к каждому элементу $zi\; \{\backslash \; displaystyle\; z\_\; \{i\}\}$входного вектора $z\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{z\}\}$и нормализовать эти значения, разделив их на сумму всех этих экспонент; эта нормализация гарантирует, что сумма компонентов выходного вектора $\sigma \; (z)\; \{\backslash \; displaystyle\; \backslash \; sigma\; (\backslash \; mathbf\; \{z\})\}$равна 1.

Вместо e, может использоваться другое основание b>0; выбор большего значения b создаст распределение вероятностей, которое более сконцентрировано вокруг позиций наибольших входных значений. Запись $b\; =\; e\; \beta \; \{\backslash \; displaystyle\; b\; =\; e\; ^\; \{\backslash \; beta\}\}$или $b\; =\; e\; -\; \beta \; \{\backslash \; displaystyle\; b\; =\; e\; ^\; \{-\; \backslash \; beta\}\}$(для действительного β) дает выражения:

$\sigma \; (z)\; i\; =\; e\; \beta \; zi\; \sum \; j\; =\; 1\; K\; e\; \beta \; zj\; или\; \sigma \; (z)\; i\; =\; e\; -\; \beta \; zi\; \sum \; j\; =\; 1\; K\; e\; -\; \beta \; zj\; для\; я\; =\; 1,\dots ,\; К\; \{\backslash \; displaystyle\; \backslash \; sigma\; (\backslash \; mathbf\; \{z\})\; \_\; \{i\}\; =\; \{\backslash \; frac\; \{e\; ^\; \{\backslash \; beta\; z\_\; \{i\}\}\}\; \{\backslash \; sum\; \_\; \{j\; =\; 1\}\; ^\; \{K\}\; e\; ^\; \{\backslash \; beta\; z\_\; \{j\}\}\}\}\; \{\backslash \; text\; \{или\}\}\; \backslash \; sigma\; (\backslash \; mathbf\; \{z\})\; \_\; \{i\}\; =\; \{\backslash \; frac\; \{e\; ^\; \{-\; \backslash \; beta\; z\_\; \{i\}\}\}\; \{\backslash \; sum\; \_\; \{j\; =\; 1\}\; ^\; \{K\}\; e\; ^\; \{-\; \backslash \; beta\; z\_\; \{j\}\}\}\}\; \{\backslash \; text\; \{for\}\}\; i\; =\; 1,\; \backslash \; dotsc,\; K\}$.

В одних полях база фиксирована, что соответствует фиксированному масштабу, в других - варьируется параметр β.

• 1 Интерпретации
  • 1.1 Smooth arg max
  • 1.2 Теория вероятностей
  • 1.3 Статистическая механика
• 2 Приложения
  • 2.1 Нейронные сети
  • 2.2 Обучение с подкреплением
• 3 Свойства
• 4 История
• 5 Пример
• 6 См. Также
• 7 Примечания
• 8 Ссылки

Smooth arg max

Имя "softmax" вводит в заблуждение; функция не является сглаженным максимумом (сглаженным приближением к функции maximum ), а скорее плавным приближением к arg max функция: функция, значение которой соответствует максимальному индексу. Фактически, термин softmax также используется для тесно связанной функции LogSumExp, которая является сглаженным максимумом. По этой причине некоторые предпочитают более точный термин «softargmax», но термин «softmax» является обычным в машинном обучении. В этом разделе термин «softargmax» используется, чтобы подчеркнуть эту интерпретацию.

Формально, вместо того чтобы рассматривать arg max как функцию с категориальным выводом $1,\dots ,\; n\; \{\backslash \; displaystyle\; 1,\; \backslash \; dots,\; n\}$(соответствует индексу) рассмотрим функцию arg max с одним горячим представлением вывода (при условии, что существует уникальный max arg):

$argmax\; \; (z\; 1,\dots ,\; zn)\; =\; (y\; 1,\dots ,\; yn)\; =\; (0,\dots ,\; 0,\; 1,\; 0,\dots ,\; 0),\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{arg\; \backslash ,\; max\}\; (z\_\; \{1\},\; \backslash \; dots,\; z\_\; \{n\})\; =\; (y\_\; \{1\},\; \backslash \; dots,\; y\_\; \{n\})\; =\; (0,\; \backslash \; dots,\; 0,1,0,\; \backslash \; dots,\; 0),\}$

где выходная координата $yi\; =\; 1\; \{\backslash \; displaystyle\; y\_\; \{i\}\; =\; 1\}$тогда и только тогда, когда $i\; \{\backslash \; displaystyle\; i\}$является максимальным аргументом $(z\; 1,\dots ,\; zn)\; \{\backslash \; displaystyle\; (z\_\; \{1\; \},\; \backslash \; dots,\; z\_\; \{n\})\}$, что означает, что $zi\; \{\backslash \; displaystyle\; z\_\; \{i\}\}$- уникальное максимальное значение $(z\; 1,\; \dots ,\; Zn)\; \{\backslash \; displaystyle\; (z\_\; \{1\},\; \backslash \; dots,\; z\_\; \{n\})\}$. Например, в этой кодировке $argmax\; \; (1,\; 5,\; 10)\; =\; (0,\; 0,\; 1),\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{arg\; \backslash ,\; max\}\; (1,5,10)\; =\; (0,0,\; 1),\}$, поскольку третий аргумент является максимальным.

Это можно обобщить на несколько максимальных значений аргументов (множественные равные $z\; i\; \{\backslash \; displaystyle\; z\_\; \{i\}\}$являются максимальными) путем деления 1 между всеми максимальными аргументами; формально 1 / k, где k - максимальное количество аргументов. Например, $argmax\; \; (1,\; 5,\; 5)\; =\; (0,\; 1/2,\; 1/2),\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{arg\; \backslash ,\; max\}\; (1,5,5)\; =\; (0,\; 1\; /\; 2,1\; /\; 2),\}$, поскольку второй и третий аргументы являются максимальными. Если все аргументы равны, это просто $a\; r\; g\; m\; a\; x\; \; (z,\dots ,\; z)\; =\; (1\; /\; n,\dots ,\; 1\; /\; n).\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{arg\; \backslash ,\; max\}\; (z,\; \backslash \; dots,\; z)\; =\; (1\; /\; n,\; \backslash \; dots,\; 1\; /\; n).\}$Points z с несколькими Значения arg max - это особые точки (или сингулярности, образующие особый набор) - это точки, в которых arg max является разрывным (с разрывом скачка ) - в то время как точки с одиночным arg max известны как неособые или регулярные точки.

В последнем выражении, приведенном во введении, softargmax теперь является гладкой аппроксимацией arg max: as $\beta \; \to \; \infty \; \{\backslash \; displaystyle\; \backslash \; beta\; \backslash \; to\; \backslash \; infty\}$, softargmax сходится к arg max. Существуют различные понятия сходимости функции; softargmax сходится к arg max поточечно, что означает для каждого фиксированного ввода z как $\beta \; \to \; \infty \; \{\backslash \; displaystyle\; \backslash \; beta\; \backslash \; to\; \backslash \; infty\}$, $\sigma \; \beta \; (z)\; \to \; argmax\; \; (z).\; \{\backslash \; displaystyle\; \backslash \; sigma\; \_\; \{\backslash \; beta\}\; (\backslash \; mathbf\; \{z\})\; \backslash \; to\; \backslash \; operatorname\; \{arg\; \backslash ,\; max\}\; (\backslash \; mathbf\; \{z\}).\}$Однако softargmax не сходятся равномерно к arg max, что интуитивно означает, что разные точки сходятся с разной скоростью и могут сходиться сколь угодно медленно. Фактически softargmax непрерывен, но arg max не является непрерывным в особом множестве, где две координаты равны, в то время как равномерный предел непрерывных функций непрерывен. Неудачная сходимость связана с тем, что для входов, где две координаты почти равны (и одна является максимальной), arg max является индексом одной или другой, поэтому небольшое изменение входных данных приводит к большим изменениям в выходных. Например, $\sigma \; \beta \; (1,\; 1.0001)\; \to \; (0,\; 1),\; \{\backslash \; displaystyle\; \backslash \; sigma\; \_\; \{\backslash \; beta\}\; (1,1.0001)\; \backslash \; to\; (0,1),\}$но $\sigma \; \beta \; (1,\; 0,9999)\; \to \; (1,\; 0),\; \{\backslash \; displaystyle\; \backslash \; sigma\; \_\; \{\backslash \; beta\}\; (1,0.9999)\; \backslash \; to\; (1,0),\}$и $\sigma \; \beta \; (1,\; 1)\; =\; 1/2\; \{\backslash \; displaystyle\; \backslash \; sigma\; \_\; \{\backslash \; beta\}\; (1,1)\; =\; 1/2\}$для всех входов: чем ближе точки к сингулярный набор $(x,\; x)\; \{\backslash \; displaystyle\; (x,\; x)\}$, тем медленнее они сходятся. Однако softargmax компактно сходится на неособом множестве.

И наоборот, поскольку $\beta \; \to \; -\; \infty \; \{\backslash \; displaystyle\; \backslash \; beta\; \backslash \; to\; -\; \backslash \; infty\}$, softargmax сходится к arg min таким же образом, где здесь сингулярное множество точки с двумя значениями arg min. На языке тропического анализа softmax - это деформация или «квантование» arg max и arg min, соответствующее использованию логарифмического полукольца вместо полукольцо макс-плюс (соответственно полукольцо мин-плюс ), и восстановление arg max или arg min путем взятия предела называется «тропикализацией» или «деквантованием».

Также бывает, что для любого фиксированного β, если один вход $zi\; \{\backslash \; displaystyle\; z\_\; \{i\}\}$намного больше других относительно температуры, $T\; =\; 1\; /\; \beta \; \{\backslash \; displaystyle\; T\; =\; 1\; /\; \backslash \; beta\}$, выходные данные примерно равны максимальному аргументу. Например, разница в 10 велика по сравнению с температурой 1:

$\sigma \; (0,\; 10):\; =\; \sigma \; 1\; (0,\; 10)\; =\; (1\; /\; (1\; +\; e\; 10),\; e\; 10\; /\; (1\; +\; е\; 10))\; \approx \; (0,00005,\; 0,99995)\; \{\backslash \; displaystyle\; \backslash \; sigma\; (0,10):\; =\; \backslash \; sigma\; \_\; \{1\}\; (0,10)\; =\; \backslash \; left\; (1\; /\; (1\; +\; e\; ^\; \{10\}),\; e\; ^\; \{10\}\; /\; (1\; +\; e\; ^\; \{10\})\; \backslash \; right)\; \backslash \; приблизительно\; (0.00005,0.99995)\}$

Однако, если разница мала по сравнению с температурой, значение не близко к arg max. Например, разница в 10 мала по сравнению с температурой 100:

$\sigma \; 1/100\; (0,\; 10)\; =\; (1\; /\; (1\; +\; e\; 1/10),\; e\; 1/10\; /\; (1\; +\; e\; 1/10))\; \approx \; (0,475,\; 0,525).\; \{\backslash \; displaystyle\; \backslash \; sigma\; \_\; \{1/100\}\; (0,10)\; =\; \backslash \; left\; (1\; /\; (1\; +\; e\; ^\; \{1/10\}),\; e\; ^\; \{1/10\}\; /\; (1\; +\; e\; ^\; \{1\; /\; 10\})\; \backslash \; right)\; \backslash \; приблизительно\; (0,475,0,525).\}$

При $\beta \; \to \; \infty \; \{\backslash \; displaystyle\; \backslash \; beta\; \backslash \; to\; \backslash \; infty\}$температура падает до нуля, $T\; =\; 1\; /\; \beta \; \to \; 0\; \{\backslash \; displaystyle\; T\; =\; 1\; /\; \backslash \; beta\; \backslash \; to\; 0\}$, поэтому в конечном итоге все различия становятся большими (относительно температуры сжатия), что дает другую интерпретацию поведения предела.

Теория вероятностей

В теории вероятностей выходные данные функции softargmax могут использоваться для представления категориального распределения, то есть распределение вероятностей по K различным возможным исходам.

Статистическая механика

В статистической механике функция softargmax известна как распределение Больцмана (или распределение Гиббса ) : набор индексов $1,\dots ,\; k\; \{\backslash \; displaystyle\; \{1,\; \backslash \; dots,\; k\}\}$- это микросостояния системы; входы $z\; i\; \{\backslash \; displaystyle\; z\_\; \{i\}\}$- энергии этого состояния; знаменатель известен как статистическая сумма , часто обозначаемая Z; а коэффициент β называется холодностью (или термодинамическим бета, или обратной температурой ).

Функция softmax используется в различных методах многоклассовой классификации, таких как полиномиальная логистическая регрессия (также известная как регрессия softmax) [1], мультиклассовый линейный дискриминантный анализ, наивные байесовские классификаторы и искусственные нейронные сети. В частности, в полиномиальной логистической регрессии и линейном дискриминантном анализе входные данные функции являются результатом K различных линейных функций и прогнозируемой вероятности для j-го класса с учетом выборочного вектора x, а вектор взвешивания w равен:

$P\; (y\; =\; j\; \mid \; x)\; =\; ex\; T\; wj\; \sum \; k\; =\; 1\; K\; ex\; T\; wk\; \{\backslash \; displaystyle\; P\; (y\; =\; j\; \backslash \; mid\; \backslash \; mathbf\; \{x\})\; =\; \{\backslash \; frac\; \{e\; ^\; \{\backslash \; mathbf\; \{x\}\; ^\; \{\backslash \; mathsf\; \{T\}\}\; \backslash \; mathbf\; \{w\}\; \_\; \{j\}\}\}\; \{\backslash \; sum\; \_\; \{k\; =\; 1\}\; ^\; \{K\}\; e\; ^\; \{\backslash \; mathbf\; \{x\}\; ^\; \{\backslash \; mathsf\; \{T\}\}\; \backslash \; mathbf\; \{w\}\; \_\; \{k\}\}\}\}\}$

Это можно рассматривать как композицию K линейных функций $Икс\; \mapsto \; Икс\; T\; вес\; 1,\dots ,\; Икс\; \mapsto \; Икс\; T\; вес\; К\; \{\backslash \; Displaystyle\; \backslash \; mathbf\; \{x\}\; \backslash \; mapsto\; \backslash \; mathbf\; \{x\}\; ^\; \{\backslash \; mathsf\; \{T\}\}\; \backslash \; mathbf\; \{w\}\; \_\; \{1\},\; \backslash \; ldots,\; \backslash \; mathbf\; \{x\}\; \backslash \; mapsto\; \backslash \; mathbf\; \{x\}\; ^\; \{\backslash \; mathsf\; \{T\}\}\; \backslash \; mathbf\; \{w\}\; \_\; \{K\}\}$и функция softmax (где $x\; T\; w\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{x\}\; ^\; \{\backslash \; mathsf\; \{T\}\}\; \backslash \; mathbf\; \{w\}\}$обозначает внутренний продукт $x\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{x\}\}$и $w\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{w\}\}$). Операция эквивалентна применению линейного оператора, определенного как $w\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{w\}\}$, к векторам $x\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{x\}\}$, таким образом преобразуя исходный, вероятно, многомерный, ввод в векторы в K-мерном пространстве $RK\; \{\backslash \; displaystyle\; \backslash \; mathbb\; \{R\}\; ^\; \{K\}\}$.

Нейронные сети

Функция softmax часто используется на последнем уровне классификатора на основе нейронной сети. Такие сети обычно обучаются в режиме логарифма потерь (или кросс-энтропии ), что дает нелинейный вариант полиномиальной логистической регрессии.

Поскольку функция сопоставляет вектор и определенный индекс $i\; \{\backslash \; displaystyle\; i\}$с действительным значением, производная должна учитывать индекс:

$\partial \; \partial \; qk\; \sigma \; (q,\; i)\; =\; \sigma \; (q,\; i)\; (\delta \; ik\; -\; \sigma \; (q,\; k)).\; \{\backslash \; displaystyle\; \{\backslash \; frac\; \{\backslash \; partial\}\; \{\backslash \; partial\; q\_\; \{k\}\}\}\; \backslash \; sigma\; (\{\backslash \; textbf\; \{q\}\},\; i)\; =\; \backslash \; sigma\; (\{\backslash \; textbf\; \{q\}\},\; i)\; (\backslash \; delta\; \_\; \{ik\}\; -\; \backslash \; sigma\; (\{\backslash \; textbf\; \{q\}\},\; k)).\}$

Это выражение симметрично по индексам $i,\; k\; \{\backslash \; displaystyle\; i,\; k\}$и таким образом, можно также выразить как

$\partial \; \partial \; qk\; \sigma \; (q,\; i)\; =\; \sigma \; (q,\; k)\; (\delta \; ik\; -\; \sigma \; (q,\; i)).\; \{\backslash \; displaystyle\; \{\backslash \; frac\; \{\backslash \; partial\}\; \{\backslash \; partial\; q\_\; \{k\}\}\}\; \backslash \; sigma\; (\{\backslash \; textbf\; \{q\}\},\; i)\; =\; \backslash \; sigma\; (\{\backslash \; textbf\; \{q\}\},\; k)\; (\backslash \; delta\; \_\; \{ik\}\; -\; \backslash \; sigma\; (\{\backslash \; textbf\; \{q\}\},\; i)).\}$

Здесь дельта Кронекера используется для простоты (ср. производную сигмоидной функции, выражаемый через саму функцию).

Если функция масштабируется с помощью параметра $\beta \; \{\backslash \; displaystyle\; \backslash \; beta\}$, то эти выражения необходимо умножить на $\beta \; \{\backslash \; displaystyle\; \backslash \; beta\}$.

См. Полиномиальный логит для модели вероятности, в которой используется функция активации softmax.

Обучение с подкреплением

В области обучения с подкреплением функция softmax может использоваться для преобразования значений в вероятности действия. Обычно используется следующая функция:

$P\; t\; (a)\; =\; exp\; \; (qt\; (a)\; /\; \tau )\; \sum \; i\; =\; 1\; n\; exp\; \; (qt\; (i)\; /\; \tau ),\; \{\backslash \; displaystyle\; P\_\; \{t\}\; (a)\; =\; \{\backslash \; frac\; \{\backslash \; exp\; (q\_\; \{t\}\; (a)\; /\; \backslash \; tau)\}\; \{\backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{n\}\; \backslash \; exp\; (q\_\; \{t\}\; (i)\; /\; \backslash \; tau)\}\}\; \{\backslash \; text\; \{,\}\}\}$

где значение действия $qt\; (a)\; \{\backslash \; displaystyle\; q\_\; \{t\}\; (a)\}$соответствует ожидаемой награде за следующие действия a и $\tau \; \{\backslash \; displaystyle\; \backslash \; tau\}$называется температурным параметром (в отсылке к статистической механике ). Для высоких температур ($\tau \; \to \; \infty \; \{\backslash \; displaystyle\; \backslash \; tau\; \backslash \; to\; \backslash \; infty\}$) все действия имеют примерно одинаковую вероятность, и чем ниже температура, тем больше ожидаемых наград влияет на вероятность. Для низкой температуры ($\tau \; \to \; 0\; +\; \{\backslash \; displaystyle\; \backslash \; tau\; \backslash \; to\; 0\; ^\; \{+\}\}$) вероятность действия с наибольшим ожидаемым вознаграждением стремится к 1.

Геометрически функция softmax отображает векторное пространство $RK\; \{\backslash \; displaystyle\; \backslash \; mathbb\; \{R\}\; ^\; \{K\}\}$в интерьер стандарта стандарт $(K\; -\; 1)\; \{\backslash \; displaystyle\; (K-1)\}$-simplex, уменьшив размер на единицу (диапазон a $(K\; -\; 1)\; \{\backslash \; displaystyle\; (K-1)\}$-мерный симплекс в $K\; \{\backslash \; displaystyle\; K\}$-мерном пространстве) из-за линейное ограничение, что сумма всех выходных данных равна 1, что означает, что он лежит на гиперплоскости.

вдоль главной диагонали $(x,\; x,\dots ,\; x),\; \{\backslash \; displaystyle\; (x,\; x,\; \backslash \; dots,\; x),\}$softmax - это просто равномерное распределение на выходах, $(1\; /\; n,\dots ,\; 1\; /\; n)\; \{\backslash \; displaystyle\; (1\; /\; n,\; \backslash \; dots,\; 1\; /\; n)\}$: равные баллы дают равные вероятности.

В более общем смысле softmax инвариантен относительно перевода на одно и то же значение в каждой координате: добавление $c\; =\; (c,\dots ,\; c)\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{c\}\; =\; (c,\; \backslash \; dots,\; c)\}$на входы $z\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{z\}\}$дает $\sigma \; (z\; +\; c)\; =\; \sigma \; (z)\; \{\backslash \; displaystyle\; \backslash \; sigma\; (\backslash \; mathbf\; \{z\}\; +\; \backslash \; mathbf\; \{c\})\; =\; \backslash \; sigma\; (\backslash \; mathbf\; \{z\})\}$, потому что он умножает каждый показатель степени на тот же коэффициент, $ec\; \{\backslash \; displaystyle\; e\; ^\; \{c\}\}$(потому что $ezi\; +\; c\; =\; ezi\; \cdot \; ec\; \{\backslash \; displaystyle\; e\; ^\; \{z\_\; \{i\}\; +\; c\}\; =\; e\; ^\; \{z\_\; \{i\}\}\; \backslash \; cdot\; e\; ^\; \{\; c\}\}$), поэтому отношения не меняются:

$\sigma \; (z\; +\; c)\; j\; =\; ezj\; +\; c\; \sum \; k\; =\; 1\; K\; ezk\; +\; c\; =\; ezj\; \cdot \; ec\; \sum \; k\; =\; 1\; K\; ezk\; \cdot \; ec\; =\; \sigma \; (z)\; j.\; \{\backslash \; displaystyle\; \backslash \; sigma\; (\backslash \; mathbf\; \{z\}\; +\; \backslash \; mathbf\; \{c\})\; \_\; \{j\}\; =\; \{\backslash \; frac\; \{e\; ^\; \{z\_\; \{j\}\; +\; c\}\}\; \{\backslash \; sum\; \_\; \{k\; =\; 1\}\; ^\; \{K\; \}\; e\; ^\; \{z\_\; \{k\}\; +\; c\}\}\}\; =\; \{\backslash \; frac\; \{e\; ^\; \{z\_\; \{j\}\}\; \backslash \; cdot\; e\; ^\; \{c\}\}\; \{\backslash \; sum\; \_\; \{k\; =\; 1\}\; ^\; \{K\}\; e\; ^\; \{\; z\_\; \{k\}\}\; \backslash \; cdot\; e\; ^\; \{c\}\}\}\; =\; \backslash \; sigma\; (\backslash \; mathbf\; \{z\})\; \_\; \{j\}.\}$

Геометрически softmax постоянен по диагоналям: это размер, который удаляется, и соответствует тому, что выход softmax не зависит от перевода во входных оценках (выбор 0 баллов). Можно нормализовать входные оценки, предположив, что сумма равна нулю (вычтите среднее значение: $c\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{c\}\}$, где $c\; =\; 1\; n\; \sum \; zi\; \{\backslash \; textstyle\; c\; =\; \{\backslash \; frac\; \{1\}\; \{n\}\}\; \backslash \; sum\; z\_\; \{i\}\}$), а затем softmax берет гиперплоскость точек, сумма которых равна нулю, $\sum \; zi\; =\; 0\; \{\backslash \; textstyle\; \backslash \; sum\; z\_\; \{i\}\; =\; 0\}$в открытый симплекс положительных значений, сумма которых равна 1 $\sum \; \sigma \; (z)\; i\; =\; 1\; \{\backslash \; textstyle\; \backslash \; sum\; \backslash \; sigma\; (\backslash \; mathbf\; \{z\; \})\; \_\; \{i\}\; =\; 1\}$, аналогично тому, как экспонента преобразует 0 в 1, $e\; 0\; =\; 1\; \{\backslash \; displaystyle\; e\; ^\; \{0\}\; =\; 1\}$и положительный.

Напротив, softmax не инвариантен при масштабировании. Например, $\sigma \; ((0,\; 1))\; =\; (1\; /\; (1\; +\; e),\; e\; /\; (1\; +\; e))\; \{\backslash \; displaystyle\; \backslash \; sigma\; \{\backslash \; bigl\; (\}\; (0,1)\; \{\backslash \; bigr)\}\; =\; \{\backslash \; bigl\; (\}\; 1\; /\; (1\; +\; e),\; e\; /\; (1\; +\; e)\; \{\backslash \; bigr)\}\}$но $\sigma \; ((0,\; 2))\; =\; (1\; /\; (1\; +\; e\; 2),\; e\; 2\; /\; (1\; +\; e\; 2)).\; \{\backslash \; displaystyle\; \backslash \; sigma\; \{\backslash \; bigl\; (\}\; (0,2)\; \{\backslash \; bigr)\}\; =\; \{\backslash \; bigl\; (\}\; 1\; /\; (1\; +\; e\; ^\; \{2\}),\; e\; ^\; \{2\}\; /\; (1\; +\; e\; ^\; \{\; 2\})\; \{\backslash \; bigr)\}.\}$

Стандартная логистическая функция является частным случаем для 1-мерной оси в 2-мерном пространстве, скажем, оси x в (x, y) самолет. Одна переменная имеет фиксированное значение 0 (например, $z\; 2\; =\; 0\; \{\backslash \; displaystyle\; z\_\; \{2\}\; =\; 0\}$), поэтому $e\; 0\; =\; 1\; \{\backslash \; displaystyle\; e\; ^\; \{0\}\; =\; 1\}$, а другая переменная может меняться, обозначьте ее $z\; 1\; =\; x\; \{\backslash \; displaystyle\; z\_\; \{1\}\; =\; x\}$, поэтому $ez\; 1\; /\; \sum \; к\; =\; 1\; 2\; ezk\; =\; ex\; /\; (ex\; +\; 1),\; \{\backslash \; textstyle\; e\; ^\; \{z\_\; \{1\}\}\; /\; \backslash \; sum\; \_\; \{k\; =\; 1\}\; ^\; \{2\}\; e\; ^\; \{z\_\; \{k\}\}\; =\; e\; ^\; \{\; x\}\; /\; (e\; ^\; \{x\}\; +1),\}$стандартная логистическая функция и $ez\; 2\; /\; \sum \; k\; =\; 1\; 2\; ezk\; =\; 1\; /\; (ex\; +\; 1),\; \{\backslash \; textstyle\; e\; ^\; \{z\_\; \{2\}\}\; /\; \backslash \; sum\; \_\; \{k\; =\; 1\}\; ^\; \{2\}\; e\; ^\; \{z\_\; \{k\}\}\; =\; 1\; /\; (e\; ^\; \{x\}\; +1),\}$его дополнение (то есть они в сумме составляют 1). В качестве альтернативы одномерный ввод может быть выражен как строка $(x\; /\; 2,\; -\; x\; /\; 2)\; \{\backslash \; displaystyle\; (x\; /\; 2,\; -x\; /\; 2)\}$, с выходами $ex\; /\; 2\; /\; (ex\; /\; 2\; +\; e\; -\; x\; /\; 2)\; =\; ex\; /\; (ex\; +\; 1)\; \{\backslash \; displaystyle\; e\; ^\; \{x\; /\; 2\}\; /\; (e\; ^\; \{x\; /\; 2\}\; +\; e\; ^\; \{-\; x\; /\; 2\})\; =\; e\; ^\; \{x\}\; /\; (e\; ^\; \{x\}\; +1)\}$и $e\; -\; x\; /\; 2\; /\; (ex\; /\; 2\; +\; e\; -\; x\; /\; 2)\; =\; 1\; /\; (ex\; +\; 1).\; \{\backslash \; displaystyle\; e\; ^\; \{-\; x\; /\; 2\}\; /\; (e\; ^\; \{x\; /\; 2\}\; +\; e\; ^\; \{-\; x\; /\; 2\})\; =\; 1\; /\; (e\; ^\; \{x\}\; +1).\}$

Функция softmax это также градиент функции LogSumExp, сглаженный максимум ; определение:

$LSE\; \; (z\; 1,\dots ,\; zn)\; =\; журнал\; \; (exp\; \; (z\; 1)\; +\; \cdots \; +\; exp\; \; (zn)),\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{LSE\}\; (z\_\; \{1\},\; \backslash \; точки,\; z\_\; \{n\})\; =\; \backslash \; log\; \backslash \; left\; (\backslash \; exp\; (z\_\; \{1\})\; +\; \backslash \; cdots\; +\; \backslash \; exp\; (z\_\; \{n\})\; \backslash \; right),\}$

частные производные:

$\partial \; i\; LSE\; \; (x)\; =\; exp\; \; xi\; \sum \; i\; exp\; \; xi.\; \{\backslash \; displaystyle\; \backslash \; partial\; \_\; \{i\}\; \backslash \; operatorname\; \{LSE\}\; (\backslash \; mathbf\; \{x\})\; =\; \{\backslash \; frac\; \{\backslash \; exp\; x\_\; \{i\}\}\; \{\backslash \; sum\; \_\; \{i\}\; \backslash \; exp\; x\_\; \{i\}\}\}.\}$

Выражение частных производных в виде вектора с градиентом дает softmax.

Функция softmax использовалась в статистической механике как распределение Больцмана в основополагающей статье Boltzmann (1868), формализованная и популяризированная во влиятельном учебнике Гиббс (1902).

Использование softmax в теории принятия решений приписывается Люсу (1959) ошибка harvtxt: нет target: CITEREFLuce1959 (help ), который использовал аксиому независимости от нерелевантных альтернатив в теории рационального выбора, чтобы вывести softmax в аксиоме выбора Люса за относительные предпочтения.

В машинном обучении термин «softmax» используется Джоном С. Брайдлом в двух докладах на конференции 1989 года: Bridle (1990a) : и Bridle (1990b) :

Нас интересуют нелинейные сети с прямой связью (многослойные персептроны или MLP) с несколькими выходами. Мы хотим рассматривать выходы сети как вероятности альтернатив (например, классы шаблонов), обусловленные входами. Мы ищем соответствующие нелинейности на выходе и соответствующие критерии для адаптации параметров сети (например, весов). Мы объясняем две модификации: оценку вероятности, которая является альтернативой минимизации квадратичной ошибки, и нормализованное экспоненциальное (softmax ) обобщение логистической нелинейности с множеством входов.

Для любого входа выходы все должны быть положительными и должны составлять единство....

Учитывая набор неограниченных значений, $V\; j\; (x)\; \{\backslash \; displaystyle\; V\_\; \{j\}\; (x)\}$, мы можем обеспечить оба условия, используя Нормализованное экспоненциальное преобразование:

$Q\; j\; (x)\; =\; e\; V\; j\; (x)\; /\; \sum \; ke\; V\; k\; (x)\; \{\backslash \; displaystyle\; Q\_\; \{j\}\; (x)\; =\; \backslash \; left.e\; ^\; \{V\_\; \{j\}\; (x)\}\; \backslash \; right\; /\; \backslash \; sum\; \_\; \{k\}\; e\; ^\; \{V\_\; \{k\}\; (x)\}\}$

Это преобразование можно рассматривать как обобщение логистики с несколькими входами, действующее на весь выходной слой. Он сохраняет порядок ранжирования входных значений и является дифференцируемым обобщением операции «победитель получает все» по выбору максимального значения. По этой причине мы предпочитаем называть его softmax .

Если мы возьмем на входе [1, 2, 3, 4, 1, 2, 3], softmax этого равно [0,024, 0,064, 0,175, 0,475, 0,024, 0,064, 0,175]. Выход имеет большую часть своего веса там, где в исходном входе была цифра «4». Это то, для чего функция обычно используется: для выделения наибольших значений и подавления значений, которые значительно ниже максимального значения. Но обратите внимание: softmax не масштабно инвариантен, поэтому, если бы входные данные были [0,1, 0,2, 0,3, 0,4, 0,1, 0,2, 0,3] (что в сумме составляет 1,6), softmax будет [0,125, 0,138, 0,153, 0,169, 0,125, 0,138, 0,153]. Это показывает, что для значений от 0 до 1 softmax фактически уменьшает максимальное значение (обратите внимание, что 0,169 не только меньше 0,475, но и меньше начальной пропорции 0,4 / 1,6 = 0,25).

Вычисление этого примера с использованием кода Python :

>>>import numpy as np>>>a = [1.0, 2.0, 3.0, 4.0, 1.0, 2.0, 3.0]>>>np.exp (a) / np.sum (np.exp (a)) массив ([0,02364054, 0,06426166, 0,1746813, 0,474833, 0,02364054, 0,06426166, 0,1746813])

Вот пример Юлия код:

Юлия>A = [1.0, 2.0, 3.0, 4.0, 1.0, 2.0, 3.0]; # точка с запятой для подавления интерактивного вывода julia>exp. (A)./ sum (exp. (A)) 7-элементный массив {Float64,1}: 0,0236405 0,0642617 0,174681 0,474833 0,0236405 0,0642617 0,174681

Вот пример R код:

>z <- c(1.0, 2.0, 3.0, 4.0, 1.0, 2.0, 3.0)>softmax <- exp(z)/sum(exp(z))>softmax [1] 0,02364054 0,06426166 0,17468130 0,47483300 0,02364054 0,06426166 0,17468130

• Softplus
• Мультиномиальная логистическая регрессия Dirich distribution - альтернативный способ выборки категориальных распределений
• Функция разделения