Обратное распространение

Алгоритм оптимизации для искусственных нейронных сетей

В машинном обучении, обратном распространении (backprop,BP) - широко используемый алгоритм в обучении нейронных сетей прямого распространения для контролируемого обучения. Обобщения обратного распространения существуют для искусственных нейронных сетей (ИНС) и других функций в целом. Все эти классы алгоритмов обычно называются «обратным распространением». В подгонке нейронной сети, обратное распространение вычисляет градиент функции потерь относительно весов сети для одного входа –Пример вывода, и делает это эффективно, в отличие от наивного прямого градиента по отношению к каждому весу индивидуально. Эта эффективность делает возможным использование градиентных методов для обучения многослойных сетей, обновления весов для минимизации потерь; Обычно используются градиентный спуск или варианты, такие как стохастический градиентный спуск. Алгоритм обратного распространения работает путем вычисления градиента функций потерь по отношению к каждому весу по правиламуочки , вычисляя градиент по одному слою за раз, повторяя назад от последнего уровня к повторных вычислений промежуточных членов в цепном правиле; это пример динамического программирования.

Термин обратное распространение строго относится только к алгоритму вычисления градиента, а не к тому, как градиент используется; однако этот термин часто используется в широком смысле слова алгоритма обучения, включая способ использования градиента, например, стохастический градиентный спуск. Обратное распространение вычисление градиента в правиле дельты, которое является однослойной версией обратного распространения, и, в свою очередь, обобщается с помощью автоматического дифференцирования, где обратное распространение является частным случаем обратное накопление (или «обратный режим»). Термин обратное распространение и его общее использование в нейронных сетях было объявлено в Rumelhart, Hinton Williams (1986a), разработано и популяризировано в Rumelhart, Hinton Williams (1986b), но техника была открыта заново много раз и имеет много предшественников, начиная с 1960-х годов; см. § История. Современный обзор дан в учебнике по глубокому обучению от Goodfellow, Bengio Courville (2016).

• 1 Обзор
• 2 Умножение матриц
• 3 Присоединенный граф
• 4 Интуиция
  • 4.1 Мотивация
  • 4.2 Обучение как задача оптимизации
• 5 Выведение
  • 5.1 Нахождение производной ошибки
• 6 Функция потерь
  • 6.1 Допущения
  • 6.2 Пример потери функция
• 7 Ограничения
• 8 История
• 9 См. также
• 10 Примечания
• 11 Ссылки
• 12 Дополнительная литература
• 13 Внешние ссылки

Обратное распространение вычисляет градиент в весовом пространстве нейронной сети прямого распространения по отношению к функциям потерь . Обозначьте:

• $x\; \{\backslash \; displaystyle\; x\}$: вход (векторные характеристики)
• $y\; \{\backslash \; displaystyle\; y\}$: целевой выход

  для классификации, выходными данными будет вектор вероятностей классов (например, $(0,1,\; 0,7,\; 0,2)\; \{\backslash \; displaystyle\; (0,1,0.7,0.2)\}$, а целевым выходом будет конкретный класс, закодированный горячая / фиктивная переменная (например, $(0,\; 1,\; 0)\; \{\backslash \; displaystyle\; (0,1,0)\}$).

• $C\; \{\backslash \; displaystyle\; C\}$: функция потерь или «функция стоимости»

  Для классификации это обычно перекрестная энтропия (XC, логарифм потерь ), а для регрессии это обычно квадрат ошибки потери (SEL).

• $L\; \{\backslash \; displaystyle\; L\}$: количество слоев
• $W\; l\; =\; (wjkl)\; \{\backslash \; displaystyle\; W\; ^\; \{l\}\; =\; (w\_\; \{jk\}\; ^\; \{l\})\}$: между весом слоем $l\; -\; 1\; \{\backslash \; displaystyle\; l-1\}$и $l\; \{\backslash \; displaystyle\; l\}$, где $wjkl\; \{\backslash \; displaystyle\; w\_\; \{jk\}\; ^\; \{l\}\}$- вес между $k\; \{\backslash \; disp\; laystyle\; k\}$-й узел в слое $l\; -\; 1\; \{\backslash \; displaystyle\; l-1\}$и $j\; \{\backslash \; displaystyle\; j\}$- й узел в слое $l\; \{\backslash \; displaystyle\; l\}$
• $fl\; \{\backslash \; displaystyle\; f\; ^\; \{l\}\}$: функции активации на уровне $l\; \{\backslash \; displaystyle\; l\}$

  Для классификации последний обычно является логистическая функция для двоичной классификации и softmax (softargmax) для многоклассовой классификации, в то время как для скрытых слоев это традиционно была сигмоидальная функция (логистическая функция или другие) на каждом узле (координаты), но сегодня более разнообразен, с обычным выпрямителем (пандус, ReLU ).

При выводе обратного распространения, используются другие промежуточные количества; они вводятся по мере необходимости ниже. Члены с помощью функций обратного распространения не обрабатываются специально, поскольку они соответствуют весу с фиксированным входом 1. Для целей обратного распространения функции используются не значения, если они и их производные функции могут быть эффективно оценены.

Вся сеть представляет собой комбинацию композиции функций и умножения матриц :

$g\; (x):\; =\; f\; L\; (WL\; f\; L\; -\; 1\; (WL\; -\; 1\; \cdots \; f\; 1\; (\; W\; 1\; Икс)\; \cdots ))\; \{\backslash \; Displaystyle\; g\; (x):\; =\; f\; ^\; \{L\}\; (W\; ^\; \{L\}\; f\; ^\; \{L-1\}\; (W\; ^\; \{L-1\}\; \backslash \; cdots\; f\; ^\; \{1\}\; (\; W\; ^\; \{1\}\; x)\; \backslash \; cdots))\}$

Для обучающего набора будет набор пар ввода-вывода, $\{(xi,\; yi)\}\; \{\backslash \; displaystyle\; \backslash \; left\; \backslash \; \{(x\_\; \{i\},\; y\_\; \{\; i\})\; \backslash \; right\; \backslash \}\}$. Для каждой пары ввода-вывода $(xi,\; yi)\; \{\backslash \; displaystyle\; (x\_\; \{i\},\; y\_\; \{i\})\}$в обучающем наборе потеря модели в этой паре является стоимостью разницы между прогнозируемым выводом $г\; (xi)\; \{\backslash \; displaystyle\; g\; (x\_\; \{i\})\}$и целевым выводом $yi\; \{\backslash \; displaystyle\; y\_\; \{i\}\}$:

$C\; (yi,\; g\; (xi))\; \{\backslash \; displaystyle\; C\; (y\_\; \{i\},\; g\; (x\_\; \{i\}))\}$

Обратите внимание на различие: во время оценки модели веса фиксируются, а входные данные меняются (и конечный выход может быть неизвестен), и сеть заканчивается выходным слоем (он не включает функцию потерь). Во время обучения модели пара вход-выход фиксирована, веса меняются, и сеть функций потерь.

Обратное распространение вычисляет градиент для фиксированной пары вход-выход $(xi,\; yi)\; \{\backslash \; displaystyle\; (x\_\; \{i\},\; y\_\; \{i\})\}$, где вес $wjkl\; \{\backslash \; displaystyle\; w\_\; \{jk\}\; ^\; \{l\}\}$может изменяться. Каждый отдельный компонент градиента, $\partial \; C\; /\; \partial \; вес\; J\; К\; l,\; \{\backslash \; displaystyle\; \backslash \; partial\; C\; /\; \backslash \; partial\; w\_\; \{jk\}\; ^\; \{l\},\}$, может быть вычислен по цепочному правилу; однако делать это отдельно для каждого веса неэффективно. Обратное распространение вычисляет градиент, обратное сравнение вычислений и вычисляет ненужных промежуточных значений, вычисляя градиент каждого слоя - в частности, градиентного взвешивания каждого слоя, обозначаемый $\delta \; l\; \{\backslash \; displaystyle\; \backslash \; delta\; ^\; \{l\}\}$- сзади наперед.

Неформально, ключевой момент заключается в том, что является единственным способом, которым используется вес в $W\; l\; \{\backslash \; displaystyle\; W\; ^\; \{l\}\}$влияет на потерю, - это его влияние на следующие слои, и он делает это линейно, $\delta \; l\; \{\backslash \; displaystyle\; \backslash \; delta\; ^\; \{l\}\}$- единственные данные, которые вам нужны для вычислений градиентов весов на слое $l\; \{\; \backslash \; displaystyle\; l\}$, а затем вы можете вычислить предыдущий слой $\delta \; l\; -\; 1\; \{\backslash \; displaystyle\; \backslash \; delta\; ^\; \{l-1\}\}$и повторить рекурсивно. Это позволяет избежать неэффективности двумя способами. Во-первых, это позволяет избежать дублирования, потому что при вычислении градиента на слое $l\; \{\backslash \; displaystyle\; l\}$вам не нужно повторно вычислять все производные на более поздних слоях $l\; +\; 1,\; l\; +\; 2,\dots \; \{\backslash \; Displaystyle\; l\; +\; 1,\; l\; +\; 2,\; \backslash \; ldots\}$каждый раз. Во-вторых, он позволяет избежать ненужных промежуточных вычислений, потому что на каждом этапе он вычисляет градиент весов относительно конечного результата (потерь), а не без необходимости вычисляет производные значения скрытых слоев относительно изменений весов $\partial \; aj\; \prime \; l\; \prime \; /\; \partial \; wjkl\; \{\backslash \; displaystyle\; \backslash \; partial\; a\_\; \{j\; \text{'}\}\; ^\; \{l\text{'}\}\; /\; \backslash \; partial\; w\_\; \{jk\}\; ^\; \{l\}\}$.

Обратное распространение может быть выражено для простых сетей прямого распространения в терминах матричное умножение, или, в более общем смысле, присоединенный граф.

Для базового случая прямой сети, где узлы на каждом уровне подключены только к узлам в ближайшем следующем слое (без пропуска каких-либо слоев), и есть функция потерь, вычисляет скалярные потери для окончательного вывода, обратное распространение можно понять как просто умножение матриц. По сути, обратное распространение оценивает выражение для каждого слоя в обратном направлении - с градиентом весов между слоем, имеющимся простым модификацией частичных произведений («ошибка, распространяющаяся в обратном направлении»). 429>

Для пары вход-выход $(x,\; y)\; \{\backslash \; displaystyle\; (x,\; y)\}$, потеря составляет:

$C\; (y,\; f\; L\; (WL\; е\; L\; -\; 1\; (WL\; -\; 1\; \cdots \; е\; 2\; (W\; 2\; f\; 1\; (W\; 1\; x))\; \cdots )))\; \{\backslash \; displaystyle\; C\; (y,\; f\; ^\; \{L\}\; (W\; ^\; \{L\}\; f\; ^\; \{L-\; 1\}\; (\; W\; ^\; \{L-1\}\; \backslash \; cdots\; f\; ^\; \{2\}\; (W\; ^\; \{2\}\; f\; ^\; \{1\}\; (W\; ^\; \{1\}\; x))\; \backslash \; cdots)))\}$

Чтобы вычислить это, один начинается с ввода $x\; \{\backslash \; displaystyle\; x\}$и идет вперед; обозначим взвешенный ввод каждого слоя как $zl\; \{\backslash \; displaystyle\; z\; ^\; \{l\}\}$, а вывод слоя $l\; \{\backslash \; displaystyle\; l\}$как активация $аль\; \{\backslash \; displaystyle\; a\; ^\; \{l\}\}$ошибки. Для обратного распространения активация $al\; \{\backslash \; displaystyle\; a\; ^\; \{l\}\}$, а также производные $(fl)\; \prime \; \{\backslash \; displaystyle\; (f\; ^\; \{l\})\; \text{'}\}$(оценивается как $zl\; \{\backslash \; displaystyle\; z\; ^\; \{l\}\}$) должен быть кэширован для использования во время обратного прохода.

Производная цепная потеря по входам определяет правилаомочки; обратите внимание, что каждый член - это полная производная, вычисленная по значению сети (в каждом узле) на входе $x\; \{\backslash \; displaystyle\; x\}$:

$d\; C\; da\; L\; \cdot \; da\; L\; dz\; L\; \cdot \; dz\; L\; да\; L\; -\; 1\; \cdot \; da\; L\; -\; 1\; dz\; L\; -\; 1\; \cdot \; dz\; L\; -\; 1\; da\; L\; -\; 2\; \cdots \; da\; 1\; dz\; 1\; \cdot \; \partial \; z\; 1\; \partial \; x.\; \{\backslash \; displaystyle\; \{\backslash \; frac\; \{dC\}\; \{da\; ^\; \{L\}\}\}\; \backslash \; cdot\; \{\backslash \; frac\; \{da\; ^\; \{L\}\}\; \{dz\; ^\; \{L\}\}\}\; \backslash \; cdot\; \{\backslash \; frac\; \{dz\; ^\; \{L\}\}\; \{\; da\; ^\; \{L-1\}\}\}\; \backslash \; cdot\; \{\backslash \; frac\; \{da\; ^\; \{L-1\}\}\; \{dz\; ^\; \{L-1\}\}\}\; \backslash \; cdot\; \{\backslash \; frac\; \{dz\; ^\; \{L-1\}\}\; \{da\; ^\; \{L-2\}\}\}\; \backslash \; cdots\; \{\backslash \; frac\; \{da\; ^\; \{1\}\}\; \{dz\; ^\; \{1\}\}\}\; \backslash \; cdot\; \{\backslash \; frac\; \{\backslash \; partial\; z\; ^\; \{1\}\}\; \{\backslash \; partial\; x\}\}.\}$

Этими членами: производственная функция потерь; производные функции активации; и матрицы весов:

$d\; C\; da\; L\; \cdot \; (f\; L)\; \prime \; \cdot \; WL\; \cdot \; (f\; L\; -\; 1)\; \prime \; \cdot \; WL\; -\; 1\; \cdots \; (f\; 1)\; \prime \; \cdot \; W\; 1.\; \{\backslash \; displaystyle\; \{\backslash \; frac\; \{dC\}\; \{da\; ^\; \{L\}\}\}\; \backslash \; cdot\; (f\; ^\; \{L\})\; \text{'}\backslash \; cdot\; W\; ^\; \{L\}\; \backslash \; cdot\; (f\; ^\; \{L-1\})\text{'}\; \backslash \; cdot\; W\; ^\; \{L-1\}\; \backslash \; cdots\; (f\; ^\; \{1\})\; \text{'}\backslash \; cdot\; W\; ^\; \{1\}.\}$

Градиент $\nabla \; \{\backslash \; displaystyle\; \backslash \; nabla\}$- это транспонировать производной вывода в терминах ввода, так что матрицы транспонируются и порядок умножения меняется на противоположный, но элементы остаются теми же:

$\nabla \; x\; C\; =\; (W\; 1)\; T\; \cdot \; (f\; 1)\; \prime \; \cdots \; \cdot \; (WL\; -\; 1)\; T\; \cdot \; (f\; L\; -\; 1)\; \prime \; \cdot \; (WL)\; T\; \cdot \; (f\; L)\; \prime \; \cdot \; \nabla \; a\; LC.\; \{\backslash \; displaystyle\; \backslash \; nabla\; \_\; \{x\}\; C\; =\; (W\; ^\; \{1\})\; ^\; \{T\}\; \backslash \; cdot\; (f\; ^\; \{1\})\; \text{'}\backslash \; cdots\; \backslash \; cdot\; (W\; ^\; \{L-1\})\; ^\; \{T\}\; \backslash \; cdot\; (f\; ^\; \{L-1\})\; \text{'}\backslash \; cdot\; (W\; ^\; \{L\})\; ^\; \{T\}\; \backslash \; cdot\; (f\; ^\; \{L\})\text{'}\; \backslash \; cdot\; \backslash \; nabla\; \_\; \{a\; ^\; \{L\}\}\; C.\}$

Обратное распространение в этом случае по существу, в оценке выражения этого справа налево (эквивалентно умножении выражения для производной направо слева), вычислении градиента на каждом слое на пути; есть дополнительный шаг, потому что градиент весов - это не просто подвыражение: есть дополнительное умножение.

Представляемую вспомогательную функцию $\delta \; l\; \{\backslash \; displaystyle\; \backslash \; delta\; ^\; \{l\}\}$для частичных произведений (умножение справа налево), интерпретируемую как «ошибка на уровне $l\; \{\; \backslash \; displaystyle\; l\}$"и определяет как градиент входных значений на уровне $l\; \{\backslash \; displaystyle\; l\}$:

$\delta \; l:\; =\; (fl)\; \prime \; \cdot \; (W\; l\; +\; 1)\; T\; \cdots \; \cdot \; (\; WL\; -\; 1)\; T\; \cdot \; (е\; L\; -\; 1)\; \prime \; \cdot \; (WL)\; T\; \cdot \; (f\; L)\; \prime \; \cdot \; \nabla \; LC.\; \{\backslash \; Displaystyle\; \backslash \; delta\; ^\; \{l\}:\; =\; (е\; ^\; \{l\})\; \text{'}\backslash \; cdot\; (W\; ^\; \{l\; +\; 1\})\; ^\; \{T\}\; \backslash \; cdots\; \backslash \; cdot\; (W\; ^\; \{L-1\})\; ^\; \{T\}\; \backslash \; cdot\; (f\; ^\; \{L-1\})\; \text{'}\backslash \; cdot\; (W\; ^\; \{L\})\; ^\; \{T\}\; \backslash \; cdot\; (f\; ^\; \{L\})\; \text{'}\backslash \; cdot\; \backslash \; nabla\; \_\; \{a\; ^\; \{L\}\}\; C.\}$

Обратите внимание, что $\delta \; l\; \{\backslash \; displaystyle\; \backslash \; delta\; ^\; \{l\; \}\}$- это вектор, длина которого равна количеству узлов на уровне $l\; \{\backslash \; displaystyle\; l\}$; каждый термин интерпретируется как «стоимость, относящаяся к (значению) этого узла».

Градиент весов в слое $l\; \{\backslash \; displaystyle\; l\}$тогда равенство:

$\nabla \; W\; l\; C\; =\; \delta \; l\; (al\; -\; 1)\; T.\; \{\backslash \; displaystyle\; \backslash \; набла\; \_\; \{W\; ^\; \{l\}\}\; C\; =\; \backslash \; delta\; ^\; \{l\}\; (a\; ^\; \{l-1\})\; ^\; \{T\}.\}$

Фактор $al\; -\; 1\; \{\backslash \; displaystyle\; a\; ^\; \{l-1\}\; \}$потому, что вес $W\; l\; \{\backslash \; displaystyle\; W\; ^\; \{l\}\}$между уровнем $l\; -\; 1\; \{\backslash \; displaystyle\; l-1\}$и $l\; \{\backslash \; displaystyle\; l\}$влиять на уровень $l\; \{\backslash \; displaystyle\; l\}$пропорционально входам (активам): входы фиксированные, вес меняются.

$\delta \; l\; \{\backslash \; displaystyle\; \backslash \; delta\; ^\; \{l\}\}$может быть легко вычислено рекурсивно как:

$\delta \; l\; -\; 1:\; =\; (fl\; -\; 1)\; \prime \; \cdot \; (W\; l)\; T\; \cdot \; \delta \; l.\; \{\backslash \; displaystyle\; \backslash \; delta\; ^\; \{l-1\}:\; =\; (f\; ^\; \{l-1\})\; \text{'}\backslash \; cdot\; (W\; ^\; \{l\})\; ^\; \{T\}\; \backslash \; cdot\; \backslash \; delta\; ^\; \{l\}.\}$

таким образом, градиенты весов могут быть вычислены с использованием нескольких матричных умножений для каждого уровня; это обратное распространение.

По сравнению с наивным расчетом вперед (с <использованием $\delta \; l\; \{\backslash \; displaystyle\; \backslash \; delta\; ^\; \{l\}\}$для иллюстрации):

$\delta \; 1\; =\; (f\; 1)\; \prime \; \cdot \; (W\; 2)\; T\; \cdot \; (f\; 2)\; \prime \; \cdots \; \cdot \; (WL\; -\; 1)\; T\; \cdot \; (f\; L\; -\; 1)\; \prime \; \cdot \; (WL)\; T\; \cdot \; (f\; L)\; \prime \; \cdot \; \nabla \; a\; LC\; \delta \; 2\; =\; (f\; 2)\; \prime \; \cdots \; \cdot \; (WL\; -\; 1)\; T\; \cdot \; (f\; L\; -\; 1)\; \prime \; \cdot \; (WL)\; T\; \cdot \; (f\; L)\; \prime \; \cdot \; \nabla \; a\; LC\; ⋮\; \delta \; L\; -\; 1\; =\; (f\; L\; -\; 1)\; \prime \; \cdot \; (WL)\; T\; \cdot \; (е\; L)\; \prime \; \cdot \; \nabla \; LC\; \delta \; L\; =\; (е\; L)\; \prime \; \cdot \; \nabla \; LC,\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{align\}\; \backslash \; delta\; ^\; \{1\}\; =\; (f\; ^\; \{1\})\; \text{'}\backslash \; cdot\; (\; W\; ^\; \{2\})\; ^\; \{T\}\; \backslash \; cdot\; (f\; ^\; \{2\})\; \text{'}\backslash \; cdots\; \backslash \; cdot\; (W\; ^\; \{L-1\})\; ^\; \{T\}\; \backslash \; cdot\; (f\; ^\; \{L-1\})\text{'}\; \backslash \; cdot\; (W\; ^\; \{L\})\; ^\; \{T\}\; \backslash \; cdot\; (f\; ^\; \{L\})\; \text{'}\backslash \; cdot\; \backslash \; nabla\; \_\; \{a\; ^\; \{L\}\}\; C\; \backslash \backslash \backslash \; delta\; ^\; \{2\}\; =\; (f\; ^\; \{2\; \})\; \text{'}\backslash \; cdots\; \backslash \; cdot\; (W\; ^\; \{L-1\})\; ^\; \{T\}\; \backslash \; cdot\; (f\; ^\; \{L-1\})\text{'}\; \backslash \; cdot\; (W\; ^\; \{L\})\; ^\; \{T\}\; \backslash \; cdot\; (f\; ^\; \{L\})\; \text{'}\backslash \; cdot\; \backslash \; nabla\; \_\; \{a\; ^\; \{L\}\}\; C\; \backslash \backslash \; \backslash \; vdots\; \backslash \backslash \backslash \; delta\; ^\; \{L-1\}\; =\; (f\; ^\; \{L-1\})\text{'}\; \backslash \; cdot\; (W\; ^\; \{L\})\; ^\; \{T\}\; \backslash \; cdot\; (f\; ^\; \{L\})\; \text{'}\backslash \; cdot\; \backslash \; nabla\; \_\; \{a\; ^\; \{L\}\}\; C\; \backslash \backslash \backslash \; delta\; ^\; \{L\}\; =\; (f\; ^\; \{L\})\text{'}\; \backslash \; cdot\; \backslash \; nabla\; \_\; \{a\; ^\; \{L\}\}\; C,\; \backslash \; end\; \{align\}\}\}$

есть два ключевых отличия от обратного распро странения:

1. Вычисление $\delta \; l\; -\; 1\; \{\backslash \; displaystyle\; \backslash \; delta\; ^\; \{l-1\}\}$через $\delta \; l\; \{\backslash \; displaystyle\; \backslash \; delta\; ^\; \{l\}\}$позволяет избежать очевидного дублирования слоев $l\; \{\backslash \; displaystyle\; l\}$и выше.
2. Умножение, начиная с $\nabla \; a\; LC\; \{\backslash \; displaystyle\; \backslash \; nabla\; \_\; \{a\; ^\; \{L\}\}\; C\}$ошибки - распространение в обратном направлении - означает, что каждый шаг просто умножает вектор ($\delta \; l\; \{\backslash \; displaystyle\; \backslash \; delta\; ^\; \{l\}\}$) по матрицам весов $(W\; l)\; T\; \{\backslash \; displaystyle\; (W\; ^\; \{l\})\; ^\; \{T\}\; \}$и производные от активаций $(fl\; -\; 1)\; \prime \; \{\backslash \; displaystyle\; (f\; ^\; \{l-1\})\; \text{'}\}$. Напротив, умножение вперед, начиная с изменений на более раннем уровне, означает, что каждое умножение умножает матрицу на матрицу. Это намного дороже и соответствует отслеживанию всех путей изменений в одном слое $l\; \{\backslash \; displaystyle\; l\}$вперед до изменений в слое $l\; +\; 2\; \{\backslash \; displaystyle\; l\; +2\}$(для умножения $W\; l\; +\; 1\; \{\backslash \; displaystyle\; W\; ^\; \{l\; +\; 1\}\}$на $W\; l\; +\; 2\; \{\backslash \; displaystyle\; W\; ^\; \{l\; +\; 2\}\}$, с дополнительными умножениями для производных активаций), который без необходимости вычисляет промежуточные величины того, как изменения веса на значения скрытых узлов.

Для более общих графиков и других расширенных вариантов обратное распространение можно понять в терминах автоматического дифференцирования, где обратное распространение - это частный случай обратного накопления ( или «обратного режима»).

Мотивация

Цель любого алгоритма контролируемого обучения - найти функцию, которая наилучшим образом отображает набор входных данных на их правильный выход. Мотивация для обратного распространения - обучение многослойной нейронной сети таким образом, чтобы она могла изучить соответствующие внутренние представления, позволяющие изучить любое произвольное отображение ввода и вывода.

Обучение как задача оптимизации

Чтобы понять математический вывод алгоритма дальнейшего распространения, он сначала помогает развить некоторую интуицию о взаимосвязи между фактическим выходом нейрона и правильным выходом для конкретного обучающего примера. Рассмотрим простую нейронную сеть с двумя входными блоками, одним выходным блоком и без скрытых блоков, и в которой каждый нейрон использует линейный выход (в отличие от различных нейронных сетей, в которых отображаются входов в выходы не -линейный), который является взвешенной суммой его ввода.

Простая нейронная сеть с двумя входными блоками (каждый с одним входом) и одним выходным блоком (с двумя входами)

Первоначально, перед обучением, веса будут установлены случайным образом. Затем нейрон учится на обучающих примерах, в данном случае состоят из набора кортежей $(x\; 1,\; x\; 2,\; t)\; \{\backslash \; displaystyle\; (x\_\; \{1\},\; x\_\; \{\; 2\},\; t)\}$где $x\; 1\; \{\backslash \; displaystyle\; x\_\; \{1\}\}$и $x\; 2\; \{\backslash \; displaystyle\; x\_\; \{2\}\}$- это входы в сеть, а t - правильный выход (выход, который должна выдавать с этими входами, когда она была обучена). Исходная сеть, заданная $x\; 1\; \{\backslash \; displaystyle\; x\_\; \{1\}\}$и $x\; 2\; \{\backslash \; displaystyle\; x\_\; \{2\}\}$, вычислит выход y который, вероятно, отличается от t (с учетом случайных весов). функция потерь $L\; (t,\; y)\; \{\backslash \; displaystyle\; L\; (t,\; y)\}$используется для измерения несоответствия между целевым выходом t и вычисленным выходом y.. Для задач регрессионного рейтинга номер сообщения как функция потерь, для классификации может быть категориальная кроссэнтропия.

В качестве примера рассмотрим задачу регрессии, используя квадратную ошибку как потерю:

$L\; (t,\; y)\; =\; (t\; -\; y)\; 2\; =\; E,\; \{\backslash \; displaystyle\; L\; (t,\; y)\; =\; (ty)\; ^\; \{2\}\; =\; E,\}$

где E - несоответствие или ошибка.

Рассмотрим сеть на одном примере примера: $(1,\; 1,\; 0)\; \{\backslash \; displaystyle\; (1,1,0)\}$. Таким образом, входные данные $x\; 1\; \{\backslash \; displaystyle\; x\_\; \{1\}\}$и $x\; 2\; \{\backslash \; displaystyle\; x\_\; \{2\}\}$равны 1 и 1 соответственно, а правильный выход, t равно 0. Теперь, если соотношение между выходом y сети по горизонтальной оси и ошибкой E по вертикальной оси, результатом будет парабола. минимум параболы соответствует выходному значению y, которое минимизирует ошибку E. Для обучающего случая минимум также касается горизонтальной оси, что означает, что ошибка будет равна выходной нулю и сеть может выдавать сигнал y, точно соответствующий целевому выходу t. Следовательно, проблема отображения входов в выходы может быть сведена к задаче оптимизации поиска функции, которая будет выполнять минимальную ошибку.

Поверхность ошибок линейного нейрона для одного обучающего случая

Однако выход нейрона зависит от взвешенной суммы всех его входов:

$y\; =\; x\; 1\; w\; 1\; +\; x\; 2\; w\; 2,\; \{\backslash \; displaystyle\; y\; =\; x\_\; \{1\}\; w\_\; \{1\}\; +\; x\_\; \{2\}\; w\_\; \{2\},\}$

где $w\; 1\; \{\backslash \; displaystyle\; w\_\; \{1\}\}$и $w\; 2\; \{\backslash \; displaystyle\; w\_\; \{2\}\; \}$- весовые коэффициенты на соединении модулей ввода к модулю вывод. Следовательно, ошибка также зависит от входящих в нейрон весов. Если каждый вес нанесен на отдельную горизонтальную ось, а ошибка - на вертикальную, результатом будет параболическая чаша. Для нейрона с k весами тот же график потребует эллиптического параболоида $k\; +\; 1\; \{\backslash \; displaystyle\; k\; +\; 1\}$измерений.

Поверхностьлинейного нейрона с двумя входными весами

Одним из часто используемых алгоритмов для поиска набора весов, который минимизирует ошибку, градиентный спуск. Метод для расчета направления наискорейшего спуска используется обратное распространение.

Метод градиентного спуска включает в себя вычисление производной функции потерь по весам сети. Обычно это делается с помощью обратного распространения ошибки. Предполагаемая, что один выходной нейрон, функция ошибки в квадрате равна

$E\; =\; L\; (t,\; y)\; \{\backslash \; displaystyle\; E\; =\; L\; (t,\; y)\}$

где

$E\; \{\backslash \; displaystyle\; E\}$- потеря для вывода $y\; \{\backslash \; displaystyle\; y\}$и целевого значения $t\; \{\backslash \; displaystyle\; t\}$,

$t\; \{\backslash \; displaystyle\; t\}$- целевой вывод для обучающей выборки, а

$y\; \{\backslash \; displaystyle\; y\}$- фактический вывод выходного нейрона.

Для каждого нейрона $j\; \{\backslash \; displaystyle\; j\}$, его вывод $oj\; \{\backslash \; displaystyle\; o\_\; \{j\}\}$определяется как

$oj\; =\; \phi \; (чистая\; j)\; знак\; равно\; \phi \; (\sum \; К\; =\; 1\; nwkjok),\; \{\backslash \; displaystyle\; o\_\; \{j\}\; =\; \backslash \; varphi\; (\{\backslash \; text\; \{net\}\}\; \_\; \{j\})\; =\; \backslash \; varphi\; \backslash \; left\; (\backslash \; sum\; \_\; \{k\; =\; 1\; \}\; ^\; \{n\}\; w\_\; \{kj\}\; o\_\; \{k\}\; \backslash \; right),\}$

, где функция активации $\phi \; \{\backslash \; displaystyle\; \backslash \; varphi\}$является нелинейной и дифференцируемой (даже если ReLU не в одной точке). Исторически используемая функция активации является логистическая функция :

$\phi \; (z)\; =\; 1\; 1\; +\; e\; -\; z\; \{\backslash \; displaystyle\; \backslash \; varphi\; (z)\; =\; \{\backslash \; frac\; \{1\}\; \{1\; +\; e\; ^\; \{-\; z\}\}\}\; \}$

который имеет удобную производную от:

$d\; \phi \; (z)\; dz\; =\; \phi \; (z)\; (1\; -\; \phi \; (z))\; \{\backslash \; displaystyle\; \{\backslash \; frac\; \{d\; \backslash \; varphi\; (z)\}\; \{dz\}\}\; =\; \backslash \; varphi\; (z)\; (1-\; \backslash \; varphi\; (z))\}$

Входные данные $net\; j\; \{\backslash \; displaystyle\; \{\backslash \; text\; \{net\}\}\; \_\; \{j\}\}$к нейрону - это взвешенная сумма выходных сигналов $ok\; \{\backslash \; displaystyle\; o\_\; \{k\}\}$предыдущих нейронов. Если нейрон находится в первом слое после входного, то $ok\; \{\backslash \; displaystyle\; o\_\; \{k\}\}$входного слоя - это просто входы $xk\; \{\backslash \; displaystyle\; x\_\; \{k\}\}$в сети. Количество входных единиц нейрона составляет $n\; \{\backslash \; displaystyle\; n\}$. Переменная $wkj\; \{\backslash \; displaystyle\; w\_\; \{kj\}\}$обозначает вес между нейроном $k\; \{\backslash \; displaystyle\; k\}$предыдущий слой и нейроном $j.\; \{\backslash \; displaystyle\; j\}$текущий слой.

Нахождение производной ошибки

Схема искусственной нейронной сети для используемых здесь обозначений.

Вычисление частной производной ошибки по весу $wij\; \{\backslash \; displaystyle\; w\_\; \{ij\}\}$выполнено с использованием цепного правила дважды:

$\partial \; E\; \partial \; wij\; знак\; равно\; \partial \; E\; \partial \; oj\; \partial \; oj\; \partial \; wij\; =\; \partial \; E\; \partial \; oj\; \partial \; oj\; \partial \; net\; j\; \partial \; net\; j\; \partial \; wij\; \{\backslash \; displaystyle\; \{\backslash \; frac\; \{\backslash \; partial\; E\}\; \{\backslash \; partial\; w\_\; \{ij\}\}\}\; =\; \{\backslash \; frac\; \{\backslash \; partial\; E\}\; \{\backslash \; partial\; o\_\; \{j\}\}\}\; \{\backslash \; frac\; \{\backslash \; partial\; o\_\; \{j\}\}\; \{\backslash \; partial\; w\_\; \{ij\}\}\}\; =\; \{\backslash \; frac\; \{\backslash \; partial\; E\}\; \{\backslash \; partial\; o\_\; \{j\; \}\}\}\; \{\backslash \; frac\; \{\backslash \; partial\; o\_\; \{j\}\}\; \{\backslash \; partial\; \{\backslash \; text\; \{net\}\}\; \_\; \{j\}\}\}\; \{\backslash \; frac\; \{\backslash \; partial\; \{\backslash \; text\; \{net\}\}\; \_\; \{j\}\}\; \{\backslash \; частичный\; w\_\; \{ij\}\}\}\}$

(Ур. 1)

В последнем множителе правой части приведенного выше одного члена в сумме $net\; j\; \{\backslash \; displaystyle\; \{\backslash \; text\; \{net\}\}\; \_\; \{j\}\; \}$зависит от $wij\; \{\backslash \; displaystyle\; w\_\; \{ij\}\}$, так что

$\partial \; net\; j\; \partial \; wij\; =\; \partial \; \partial \; wij\; (\sum \; k\; =\; 1\; nwkjok)\; =\; \partial \; \partial \; wijwijoi\; =\; oi.\; \{\backslash \; displaystyle\; \{\backslash \; frac\; \{\backslash \; partial\; \{\backslash \; text\; \{net\}\}\; \_\; \{j\}\}\; \{\backslash \; partial\; w\_\; \{ij\}\}\}\; =\; \{\backslash \; frac\; \{\backslash \; partial\}\; \{\backslash \; partial\; w\_\; \{ij\}\}\}\; \backslash \; left\; (\; \backslash \; sum\; \_\; \{k\; =\; 1\}\; ^\; \{n\}\; w\_\; \{kj\}\; o\_\; \{k\}\; \backslash \; right)\; =\; \{\backslash \; frac\; \{\backslash \; partial\}\; \{\backslash \; partial\; w\_\; \{ij\}\}\}\; w\_\; \{ij\}\; o\_\; \{i\}\; =\; o\_\; \{i\}.\}$

(уравнение 2)

Если нейрон находится в первом слое после входного, $oi\; \{\backslash \; displaystyle\; o\_\; \{i\}\}$просто $xi\; \{\backslash \; displaystyle\; x\_\; \{i\}\}$.

Производная выход нейрона $j\; \{\backslash \; displaystyle\; j\}$по отношению к его входу - это просто частная производная функция активации:

$\partial \; oj\; \partial \; net\; j\; =\; \partial \; \phi \; (чистая\; j)\; \partial \; net\; j\; \{\backslash \; displaystyle\; \{\backslash \; frac\; \{\backslash \; partial\; o\_\; \{j\}\}\; \{\backslash \; partial\; \{\backslash \; text\; \{net\}\}\; \_\; \{j\}\}\}\; =\; \{\backslash \; frac\; \{\backslash \; partial\; \backslash \; varphi\; (\{\backslash \; text\; \{net\}\}\; \_\; \{j\})\}\; \{\backslash \; partial\; \{\backslash \; text\; \{net\}\}\; \_\; \{j\}\}\}\}$

(уравнение 3)

что для случая логистической функции активации :

$\partial \; oj\; \partial \; net\; j\; =\; \partial \; \partial \; net\; j\; \phi \; (net\; j)\; =\; \phi \; (net\; j)\; (1\; -\; \phi \; (net\; j))\; =\; oj\; (1\; -\; oj)\; \{\backslash \; displaystyle\; \{\backslash \; frac\; \{\backslash \; partial\; o\_\; \{j\}\}\; \{\backslash \; partial\; \{\backslash \; text\; \{net\}\}\; \_\; \{j\}\}\}\; =\; \{\; \backslash \; frac\; \{\backslash \; partial\}\; \{\backslash \; partial\; \{\backslash \; text\; \{net\}\}\; \_\; \{j\}\}\}\; \backslash \; varphi\; (\{\backslash \; text\; \{net\}\}\; \_\; \{j\})\; =\; \backslash \; varphi\; (\{\backslash \; text\; \{net\}\}\; \_\; \{\; j\})\; (1-\; \backslash \; varphi\; (\{\backslash \; text\; \{net\}\}\; \_\; \{j\}))\; =\; o\_\; \{j\}\; (1-o\_\; \{j\})\}$

Это причина, по которой обратное распространение требует, чтобы функция активации была дифференцируемой. (Тем не менее, функция активации ReLU, которая недифференцируема в 0, стала довольно популярной, например, в AlexNet )

. Первый фактор легко оценить, находится ли нейрон в выходном слое, потому что тогда что тогда $oj\; =\; y\; \{\backslash \; displaystyle\; o\_\; \{j\}\; =\; y\}$и

$\partial \; E\; \partial \; oj\; =\; \partial \; E\; \partial \; y\; \{\backslash \; displaystyle\; \{\backslash \; frac\; \{\backslash \; partial\; E\}\; \{\backslash \; partial\; o\_\; \{j\}\}\}\; =\; \{\backslash \; frac\; \{\backslash \; partial\; E\}\; \{\backslash \; partial\; y\}\}\}$

(уравнение 4)

Если половина квадратной клетки используется как функция потерь, мы можем переписать это как

$\partial \; E\; \partial \; oj\; знак\; равно\; \partial \; E\; \partial \; Y\; =\; \partial \; \partial \; Y\; 1\; 2\; (t\; -\; y)\; 2\; =\; y\; -\; t\; \{\backslash \; displaystyle\; \{\backslash \; frac\; \{\backslash \; partial\; E\}\; \{\backslash \; partial\; o\_\; \{j\}\}\}\; =\; \{\backslash \; frac\; \{\backslash \; partial\; E\}\; \{\backslash \; partial\; y\}\}\; =\; \{\backslash \; frac\; \{\backslash \; partial\}\; \{\backslash \; partial\; y\}\}\; \{\backslash \; frac\; \{1\}\; \{2\}\}\; (ty)\; ^\; \{2\}\; =\; yt\}$

Однако, если $j\; \{\backslash \; displaystyle\; j\}$находится на произвольном внутреннем уровне сети, нахождение производной $E\; \{\backslash \; displaystyle\; E\}$с учетом $oj\; \{\backslash \; displaystyle\; o\_\; \{j\; \}\}$менее очевидно.

Рассмотрение $E\; \{\backslash \; displaystyle\; E\}$как функции с входными данными являются все нейроны $L\; =\; \{u,\; v,\dots ,\; w\}\; \{\backslash \; displaystyle\; L\; =\; \backslash \; \{u,\; v,\; \backslash \; dots,\; w\; \backslash \}\; \}$получение входных данных от нейрона $j\; \{\backslash \; displaystyle\; j\}$,

$\partial \; E\; (oj)\; \partial \; oj\; =\; \partial \; E\; (netu,\; net\; v,\dots ,\; netw)\; \partial \; oj\; \{\backslash \; displaystyle\; \{\; \backslash \; frac\; \{\backslash \; partial\; E\; (o\_\; \{j\})\}\; \{\backslash \; частичный\; o\_\; \{j\}\}\}\; =\; \{\backslash \; frac\; \{\backslash \; partial\; E\; (\backslash \; mathrm\; \{net\}\; \_\; \{u\},\; \{\backslash \; text\; \{net\}\}\; \_\; \{\; v\},\; \backslash \; dots,\; \backslash \; mathrm\; \{net\}\; \_\; \{w\})\}\; \{\backslash \; partial\; o\_\; \{j\}\}\}\}$

и взяв полную производную по $oj\; \{\backslash \; displaystyle\; o\_\; \{\; j\}\}$, рекурсивный образуется выражение для производной:

$\partial \; E\; \partial \; oj\; =\; \sum \; \ell \; \in \; L\; (\partial \; E\; \partial \; net\; \ell \; \partial \; net\; \ell \; \partial \; oj)\; =\; \sum \; \in \; L\; (\partial \; E\; \partial \; o\; \ell \; \partial \; o\; \ell \; \partial \; net\; \ell \; \partial \; net\; \ell \; \partial \; oj)\; знак\; равно\; \sum \; \ell \; \in \; L\; (\partial \; E\; \partial \; о\; \ell \; \partial \; o\; \ell \; \partial \; net\; \ell \; wj\; \ell )\; \{\backslash \; displaystyle\; \{\backslash \; frac\; \{\backslash \; partial\; E\}\; \{\backslash \; partial\; o\_\; \{j\; \}\}\}\; =\; \backslash \; sum\; \_\; \{\backslash \; ell\; \backslash \; in\; L\}\; \backslash \; left\; (\{\backslash \; frac\; \{\backslash \; partial\; E\}\; \{\backslash \; partial\; \{\backslash \; text\; \{net\}\}\; \_\; \{\backslash \; ell\}\}\}\; \{\backslash \; frac\; \{\backslash \; partial\; \{\backslash \; текст\; \{net\}\}\; \_\; \{\backslash \; ell\}\}\; \{\backslash \; partial\; o\_\; \{j\}\}\}\; \backslash \; right)\; =\; \backslash \; sum\; \_\; \{\backslash \; ell\; \backslash \; in\; L\}\; \backslash \; le\; ft\; (\{\backslash \; frac\; \{\backslash \; partial\; E\}\; \{\backslash \; partial\; o\; \_\; \{\backslash \; ell\}\}\}\; \{\backslash \; frac\; \{\backslash \; partial\; o\; \_\; \{\backslash \; ell\}\}\; \{\backslash \; partial\; \{\backslash \; text\; \{net\}\}\; \_\; \{\backslash \; ell\}\}\; \}\; \{\backslash \; frac\; \{\backslash \; partial\; \{\backslash \; text\; \{net\}\}\; \_\; \{\backslash \; ell\}\}\; \{\backslash \; partial\; o\_\; \{j\}\}\}\; \backslash \; right)\; =\; \backslash \; sum\; \_\; \{\backslash \; ell\; \backslash \; in\; L\}\; \backslash \; left\; (\{\backslash \; frac\; \{\; \backslash \; partial\; E\}\; \{\backslash \; partial\; o\; \_\; \{\backslash \; ell\}\}\}\; \{\backslash \; frac\; \{\backslash \; partial\; o\; \_\; \{\backslash \; ell\}\}\; \{\backslash \; partial\; \{\backslash \; text\; \{net\}\}\; \_\; \{\backslash \; ell\}\}\}\; w\_\; \{j\; \backslash \; ell\; \}\; \backslash \; right)\}$

(Ур. 5)

Следовательно, производная по $oj\; \{\backslash \; displaystyle\; o\_\; \{j\}\}$может быть вычислена, если все производные по выходам $o\; \ell \; \{\backslash \; displaystyle\; o\; \_\; \{\backslash \; ell\}\; \}$следующего слоя - те, что ближе к выходному нейрону - известны. [Обратите внимание: если какой-либо из нейронов в наборе $L\; \{\backslash \; displaystyle\; L\}$не был подключен к нейрону $j\; \{\backslash \; displaystyle\; j\}$, они были бы независимыми из $wij\; \{\backslash \; displaystyle\; w\_\; \{ij\}\}$и соответствующая частная производная при суммировании обращается в нуль до 0.]

Подстановка Ур. 2, Ур. 3 уравнение 4 и уравнение. 5 в Ур. 1 получаем:

$\partial \; E\; \partial \; wij\; =\; \partial \; E\; \partial \; oj\; \partial \; oj\; \partial \; net\; j\; \partial \; net\; j\; \partial \; wij\; =\; \partial \; E\; \partial \; oj\; \partial \; oj\; \partial \; net\; joi\; \{\backslash \; displaystyle\; \{\backslash \; frac\; \{\backslash \; частичный\; E\}\; \{\backslash \; partial\; w\_\; \{ij\}\}\}\; =\; \{\backslash \; frac\; \{\backslash \; partial\; E\}\; \{\backslash \; partial\; o\_\; \{j\}\}\}\; \{\backslash \; frac\; \{\backslash \; partial\; o\_\; \{j\}\}\; \{\backslash \; partial\; \{\backslash \; text\; \{net\}\}\; \_\; \{j\}\}\}\; \{\backslash \; frac\; \{\backslash \; partial\; \{\backslash \; text\; \{net\}\}\; \_\; \{j\}\}\; \{\backslash \; partial\; w\_\; \{ij\}\}\}\; =\; \{\backslash \; frac\; \{\backslash \; partial\; E\}\; \{\backslash \; partial\; o\_\; \{j\}\}\; \}\; \{\backslash \; frac\; \{\backslash \; partial\; o\_\; \{j\}\}\; \{\backslash \; partial\; \{\backslash \; text\; \{net\}\}\; \_\; \{j\}\}\}\; o\_\; \{i\}\}$

$\partial \; E\; \partial \; wij\; =\; oi\; \delta \; j\; \{\backslash \; displaystyle\; \{\backslash \; frac\; \{\backslash \; partial\; E\}\; \{\backslash \; partial\; w\_\; \{ij\}\}\}\; =\; o\_\; \{i\}\; \backslash \; delta\; \_\; \{j\}\}$

с

$\delta \; j\; =\; \partial \; E\; \partial \; oj\; \partial \; oj\; \partial \; net\; j\; =\; \{\partial \; L\; (\; oj,\; t)\; \partial \; ojd\; \phi \; (net\; j)\; d\; net\; j,\; if\; j\; -\; выходной\; нейрон,\; (\sum \; \ell \; \in \; L\; wj\; \ell \; \delta \; \ell )\; d\; \phi \; (net\; j)\; d\; net\; j,\; if\; j\; -\; внутренний\; нейрон.\; \{\backslash \; displaystyle\; \backslash \; delta\; \_\; \{j\}\; =\; \{\backslash \; frac\; \{\backslash \; partial\; E\}\; \{\backslash \; partial\; o\_\; \{j\}\}\}\; \{\backslash \; frac\; \{\backslash \; partial\; o\_\; \{j\}\}\; \{\backslash \; partial\; \{\backslash \; text\; \{net\}\}\; \_\; \{\; j\}\}\}\; =\; \{\backslash \; begin\; \{cases\}\; \{\backslash \; frac\; \{\backslash \; partial\; L\; (o\_\; \{j\},\; t)\}\; \{\backslash \; partial\; o\_\; \{j\}\}\}\; \{\backslash \; frac\; \{d\; \backslash \; varphi\; (\{\backslash \; text\; \{net\}\; \}\; \_\; \{j\})\}\; \{d\; \{\backslash \; text\; \{net\}\}\; \_\; \{j\}\}\}\; \{\backslash \; text\; \{if\}\}\; j\; \{\backslash \; text\; \{-\; выходной\; нейрон,\}\}\; \backslash \backslash \; (\backslash \; sum\; \_\; \{\backslash \; ell\; \backslash \; in\; L\}\; w\_\; \{j\; \backslash \; ell\}\; \backslash \; delta\; \_\; \{\backslash \; ell\})\; \{\backslash \; frac\; \{d\; \backslash \; varphi\; (\{\backslash \; text\; \{net\}\}\; \_\; \{j\})\}\; \{d\; \{\backslash \; text\; \{net\}\}\; \_\; \{\; j\}\}\}\; \{\backslash \; text\; \{if\}\}\; j\; \{\backslash \; text\; \{-\; это\; внутренний\; нейрон.\}\}\; \backslash \; end\; \{ases\}\}\}$

если $\phi \; \{\backslash \; displaystyle\; \backslash \; varphi\}$- это логистическая функция, а ошибка - это квадратная ошибка:

$\delta \; j\; =\; \partial \; E\; \partial \; oj\; \partial \; oj\; \partial \; net\; j\; =\; \{(oj\; -\; tj)\; oj\; (1\; -\; oj),\; if\; j\; -\; нейрон,\; (\sum \; \ell \; \in \; L\; wj\; \ell \; \delta \; \ell )\; oj\; (1\; -\; oj),\; если\; j\; -\; внутренний\; нейрон.\; \{\backslash \; displaystyle\; \backslash \; delta\; \_\; \{j\}\; =\; \{\backslash \; frac\; \{\backslash \; partial\; E\}\; \{\backslash \; partial\; o\_\; \{j\}\}\}\; \{\backslash \; frac\; \{\backslash \; partial\; o\_\; \{j\}\}\; \{\backslash \; partial\; \{\backslash \; text\; \{net\}\}\; \_\; \{\; j\}\}\}\; =\; \{\backslash \; begin\; \{cases\}\; (o\_\; \{j\}\; -t\_\; \{j\})\; o\_\; \{j\}\; (1-o\_\; \{j\})\; \{\backslash \; text\; \{if\}\}\; j\; \{\backslash \; text\; \{-\; вывод\; нейрон,\}\}\; \backslash \backslash \; (\backslash \; sum\; \_\; \{\backslash \; ell\; \backslash \; in\; L\}\; w\_\; \{j\; \backslash \; ell\}\; \backslash \; delta\; \_\; \{\backslash \; ell\})\; o\_\; \{j\}\; (1-o\_\; \{j\})\; \{\backslash \; text\; \{if\}\}\; j\; \{\backslash \; text\; \{-\; внутренний\; нейрон.\}\}\; \backslash \; end\; \{cases\}\}$

Чтобы обновить вес $wij\; \{\backslash \; displaystyle\; w\_\; \{ij\}\}$с помощью градиентного спуска, один необходимо выбрать скорость обучения, $\eta >0\; \{\backslash \; displaystyle\; \backslash \; eta>0\}$. Изменение веса отражать влияние на $E\; \{\backslash \; displaystyle\; E\}$увеличение или уменьшение в $wij\; \{\backslash \; displaystyle\; w\_\; \{ij\}\}$. Если $\partial \; E\; \partial \; wij>0\; \{\backslash \; displaystyle\; \{\backslash \; frac\; \{\backslash \; partial\; E\}\; \{\backslash \; partial\; w\_\; \{ij\}\}\}>0\}$, увеличение $wij\; \{\backslash \; displaystyle\; w\_\; \{ij\}\}$увеличивает $E\; \{\backslash \; displaystyle\; E\}$; и наоборот, если , увеличение $wij\; \{\backslash \; displaystyle\; w\_\; \{ij\}\}$уменьшает $E\; \{\backslash \; displaystyle\; E\}$. Новый $\Delta \; wij\; \{\backslash \; displaystyle\; \backslash \; Delta\; w\_\; \{ij\}\}$добавляется к старому весу и произведению скорости обучения и градиента, умноженному на $-\; 1\; \{\backslash \; displaystyle\; -1\}$гарантирует, что $wij\; \{\backslash \; displaystyle\; w\_\; \{ij\}\}$изменяется так, что всегда уменьшается $E\; \{\backslash \; displaystyle\; E\}$. Другими словами, в уравнении непосредственно ниже $-\; \eta \; \partial \; E\; \partial \; wij\; \{\backslash \; displaystyle\; -\; \backslash \; eta\; \{\backslash \; frac\; \{\backslash \; partial\; E\}\; \{\backslash \; partial\; w\_\; \{ij\}\}\}\}$всегда изменяет $wij\; \{\backslash \; displaystyle\; w\_\; \{ij\}\}$таким образом, что $E\; \{\backslash \; displaystyle\; E\}$уменьшается:

$\Delta \; wij\; =\; -\; \eta \; \partial \; E\; \partial \; wij\; =\; -\; \eta \; oi\; \delta \; J\; \{\backslash \; Displaystyle\; \backslash \; Delta\; w\_\; \{ij\}\; =\; -\; \backslash \; eta\; \{\backslash \; frac\; \{\backslash \; partial\; E\}\; \{\backslash \; partial\; w\_\; \{ij\}\}\}\; =\; -\; \backslash \; eta\; o\_\; \{i\}\; \backslash \; delta\; \_\; \{j\}\}$

Функция потерь - это функция, которая отображает значения одной или нескольких переменных на действительное число, интуитивно представляя некоторую «стоимость», связанную с этими значениями. Для обратного распространения функция потерь вычисляет разницу между выходными данными сети и ожидаемыми выходными данными после того, как обучающий пример распространился по сети.

Допущения

Математическое выражение функции потерь должно удовлетворять двум условиям, чтобы его можно было использовать при обратном распространении. Во-первых, его можно записать как среднее $E\; =\; 1\; n\; \sum \; x\; E\; x\; \{\backslash \; textstyle\; E\; =\; \{\backslash \; frac\; \{1\}\; \{n\}\}\; \backslash \; sum\; \_\; \{x\}\; E\_\; \{x\}\}$над функциями ошибок $E\; x\; \{\backslash \; textstyle\; E\_\; \{x\}\}$, для $n\; \{\backslash \; textstyle\; n\}$отдельных примеров обучения, $х\; \{\backslash \; textstyle\; x\}$. Причина этого предположения заключается в том, что алгоритм обратного распространения ошибки вычисляет градиент функции ошибок для одного обучающего примера, который необходимо обобщить на общую функцию ошибок. Второе предположение состоит в том, что его можно записать как функцию выходных данных нейронной сети.

Пример функции потерь

Пусть $y,\; y\; \prime \; \{\backslash \; displaystyle\; y,\; y\; \text{'}\}$будут векторами в $R\; n\; \{\backslash \; displaystyle\; \backslash \; mathbb\; \{R\}\; ^\; \{n\}\}$.

Выберите функцию ошибки $E\; (y,\; y\; \prime )\; \{\backslash \; displaystyle\; E\; (y,\; y\; \text{'})\}$, измеряющую разницу между двумя выходными данными. Стандартный выбор - квадрат евклидова расстояния между векторами $y\; \{\backslash \; displaystyle\; y\}$и $y\; \prime \; \{\backslash \; displaystyle\; y\; \text{'}\}$:

$E\; (Y,\; Y\; \text{'})\; =\; 1\; 2\; \Vert \; Y\; -\; Y\text{'}\; \Vert \; 2\; \{\backslash \; Displaystyle\; E\; (y,\; y\; \text{'})\; =\; \{\backslash \; tfrac\; \{1\}\; \{2\}\}\; \backslash \; lVert\; y-y\text{'}\; \backslash \; rVert\; ^\; \{2\}\}$Функция ошибок для $n\; \{\backslash \; textstyle\; n\}$обучающих примеров может быть записана как среднее значение потерь для отдельных примеров: $E\; =\; 1\; 2\; n\; \sum \; x\; \Vert \; (y\; (Икс)\; -\; Y\; \prime \; (x))\; \Vert \; 2\; \{\backslash \; Displaystyle\; E\; =\; \{\backslash \; frac\; \{1\}\; \{2n\}\}\; \backslash \; sum\; \_\; \{x\}\; \backslash \; lVert\; (y\; (x)\; -y\; \text{'}(x))\; \backslash \; rVert\; ^\; \{2\}\}$ Градиентный спуск может найти локальный минимум вместо глобального минимума.

• Градиентный спуск с обратным распространением не гарантирует нахождение глобального минимума функции ошибок, но только местный минимум; Кроме того, у него есть проблемы с переходом плато в ландшафте функции ошибок. Эта проблема, вызванная невыпуклостью функций ошибок в нейронных сетях, долгое время считалась серьезным недостатком, но Янн ЛеКун и др. утверждают, что во многих практических задачах это не так.
• Обучение с обратным распространением не требует нормализации входных векторов; однако нормализация может улучшить производительность.
• Обратное распространение требует, чтобы производные функции активации были известны во время проектирования сети.

Был объявлен термин обратное распространение и его общее использование в нейронных сетях в Rumelhart, Hinton Williams (1986a), затем развита и популяризирована в Rumelhart, Hinton Williams (1986b), но метод был повторно открыт независимо много раз, и многие предшественники датировали его к 1960-м годам.

Основы непрерывного обратного распространения ошибки были получены в контексте теории управления Генри Дж. Келли в 1960 году и Артуром Э. Брайсона в 1961 г. Они использовали принципы динамического программирования. В 1962 году Стюарт Дрейфус опубликовал более простой вывод, основанный только на правиле цепочки. Брайсон и Хо описали его как многоступенчатый метод оптимизации динамической системы в 1969 году. Обратное распространение ошибок было получено исследователями в начале 60-х годов и реализовано для работы на компьютере еще в 1970 году Сеппо Линнаинмаа. Пол Вербос был первым в США. предположить, что его можно использовать для нейронных сетей, после его глубокого анализа в своей диссертации 1974 года. Хотя это и не применяется к нейронным сетям, в 1970 году Линнаинмаа опубликовал общий метод автоматического дифференцирования (AD). Хотя это вызывает споры, некоторые ученые, что на самом деле это первый шаг к разработке алгоритма обратного распространения. В 1973 году Дрейфус адаптирует параметры контроллеров пропорционально градиентам ошибок. В 1974 году Вербос показал возможность применения этого принципа к искусственным нейронным сетям, а в 1982 году он применил AD-метод Линнаинмаа к нелинейным функциям.

Позже метод Вербоса был переоткрыт и описан в 1985 году Паркером, в 1986 году - Рамельхарт, Хинтон и Уильямс. Ром Элхарт, Хинтон и Уильямс экспериментально показали, что метод может генерировать полезные внутренние представления данных в скрытых слоях нейронных сетей. Янн ЛеКун, изобретатель сверточной нейронной сети, современную форму обратной связи. алгоритм обученияронных сетей в своей докторской диссертации в 1987 году. В 1993 году Эрик Ван выиграл международный по распознаванию образов с помощью обратного распространения. дешевые, мощные вычислительные системы на базе GPU. Это особенно заметно в исследованиях распознавания речи, машинного зрения, обработки естественного языка и изучение языковых структур, которые они использовались для объяснения множества явлений, связанных с изучением первого и второго языков.).

Обратное распространение ошибок было предложено для объяснения компонентов человеческого мозга ERP, таких как N400 и P600.

• Искусственная нейронная сеть
• Биологическая нейронная сеть
• Катастрофические помехи
• Ансамблевое обучение
• AdaBoost
• Переобучение
• Нейронное обратное распространение
• Обратное распространение во времени

• Гудфеллоу, Ян ; Бенхио, Йошуа ; Курвиль, Аарон (2016). «6.5 Обратное распространение и другие алгоритмы дифференцирования». Глубокое обучение. MIT Press. С. 200–220. ISBN 9780262035613. CS1 maint: ref = harv (ссылка )
• Nielsen, Майкл А. (2015). «Как Алгоритм обратного распространения работает». Нейронные сети и глубокое обучение. Determination Press.
• Маккаффри, Джеймс (октябрь 2012 г.). «Обратное распространение нейронных сетей для программистов». MSDN Magazine.
• Рохас, Рауль (1996). «Алгоритм обратного распространения ошибки» (PDF). Нейронные сети: систематическое введение. Берлин: Springer. ISBN 3-540-60505-3.

• Учебник по нейронной сети обратного распространения в Викиверсии
• Бернацкий, Мариуш; Влодарчик, Пшемыслав (2004). «Принципы многослойного обучения нейронной сети, использующая обратное распространение».
• Карпати, Андрей (2016). «Лекция 4: Обратное распространение, нейронные сети 1». CS231n. Стэнфордский университет - через YouTube.
• «Что действительно ли обратное распространение происходит?». 3Blu e1Кори чневый. 3 ноября 2017 г. - через YouTube.