Пакетная нормализация

Пакетная нормализация (также известная как пакетная нормализация ) - это метод, использование для создания искусственные нейронные сети быстрее и стабильнее за счет настройки входного слоя повторного центрирования и повторного масштабирования. Он был предложен Сергеем Иоффе и Кристианом Сегеди в 2015 году.

Хотя эффект пакетной нормализации очевиден, причины его остаются предметом обсуждения. Считается, что это может смягчить проблему внутреннего ковариатного сдвига, когда инициализация параметров и изменений в распределении входов каждого уровня на скорость обучения сети. Увеличивает производительность, недавно некоторые утверждают, что улучшила производительность. Однако при инициализации пакетной процедуры по вызову серьезный взрыв градиента в глубоких сетях, который смягчается только пропуском соединений в остаточных сетях. Другие утверждают, что пакетная нормализация обеспечивает разделение длины и направления и тем самым ускоряет нейронные сети.

После пакетной нормы были введены многие другие методы внутриуровневой нормализации, такие как нормализация экземпляра, нормализация слоя, нормализация группы.

• 1 Мотивация: явление внутреннего ковариантного сдвига
• 2 Процедуры
  • 2.1 Пакетное нормализующее преобразование
  • 2.2 Обратное распространение
  • 2.3 Вывод с использованием пакетно-нормализованных сетей
• 3 Понимание пакетной нормализации
  • 3.1 Пакетная стабилизация и внутренний ковариальный сдвиг
    • 3.1.1 Добавление ковариантного сдвига к слоям пакетной стабилизации
    • 3.1.2 Измерение внутреннего ковариального сдвига со слоями пакетной нормализации и без них
  • 3.2 Сглаженность оптимизационного процесса
  • 3.3 Контролирующая грубость оптимизационного ландшафта при инициализации
    • 3.4 Разделение длины и направления
      • 3.4.1 Линейная сходимость задачи наименьшихратов с пакетной нормализацией
      • 3.4.2 Линейная сходимость задачи обучающего полупространства с пакетной Нормализация
      • конвергенция нейронных сетей с пакетной нормализацией
  • 4 ссылки
  Мотивация: явление внутреннего ковариатного сдвига

  Каждый уровень нейронной сети имеет входы с корр. соответствующее распределение, которое происходит в процессе обучения, влияет на случайность в инициализации и случайность во входных данных. Влияние этих ресурсов на распределение входных данных во внутренние слои во время обучения описывается как внутренний ковариативный сдвиг . Хотя четкое определение, похоже, отсутствует, наблюдается наблюдаемый в экспериментах, - это изменение средних значений и дисперсии входных данных во внутренних слоях во время обучения.

  Первоначально предложена пакетная нормализация для уменьшения внутреннего ковариантного сдвига. На этапе обучения сетей, когда параметры разных слоев изменяются, изменяется и формируется текущий слой данных для текущего уровня, так что текущий слой должен постоянно подстраиваться под новые распределения. Эта проблема особенно серьезна для глубоких сетей, потому что небольшие изменения в более мелких скрытых слоях будут усиливаться по мере их распространения в сети, что приводит к значительному сдвигу в более глубоких скрытых слоях. Предложите метод пакетной стабилизации, чтобы уменьшить эти удобные сдвиги, чтобы ускорить обучение и создать более надежные модели.

  Считается, что помимо уменьшения внутреннего ковариатного сдвига, пакетная нормализация привносит много других преимуществ. С помощью этой дополнительной операции может использоваться более скорость обучения без исчезновения или увеличения градиентов. Кроме того, пакетная нормализация, по-видимому, имеет регуляризирующий эффект, так что сеть улучшает свои общие свойства, таким образом, нет необходимости использовать dropout для уменьшения переобучения. Также было замечено, что с пакетной нормой сеть становится более устойчивой к схемам инициализации и скорости обучения.

  Процедуры

  Пакетное нормализующее преобразование

  В нейронной сети пакетная нормализация достигается с помощью шага нормализации, который фиксирует средние и дисперсии входных данных каждого уровня. В идеале нормализация должна проводиться по всему обучающему набору, но для использования этого шага совместно с методами стохастической оптимизации непрактично использовать глобальную информацию. Таким образом, нормализация ограничивается каждой мини-серией в процессе обучения.

  Используйте B для обозначения минипакета размером всего обучающего набора. Таким образом, эмпирическое среднее и дисперсия B можно обозначить как

  $\mu \; B\; =\; 1\; м\; \sum \; i\; =\; 1\; mxi\; \{\backslash \; displaystyle\; \backslash \; mu\; \_\; \{B\}\; =\; \{\backslash \; frac\; \{\; 1\}\; \{m\}\}\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{m\}\; x\_\; \{i\}\}$и $\sigma \; B\; 2\; =\; 1\; m\; \sum \; i\; =\; 1\; m\; (xi\; -\; \mu \; B)\; 2\; \{\backslash \; displaystyle\; \backslash \; sigma\; \_\; \{B\}\; ^\; \{2\}\; =\; \{\backslash \; frac\; \{1\}\; \{m\}\}\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{m\}\; (x\_\; \{i\}\; -\; \backslash \; mu\; \_\; \{B\})\; ^\; \{2\}\}$.

  Для уровня сети с d-мерным входом $x\; =\; (x\; (1),...,\; x\; (d))\; \{\backslash \; displaystyle\; x\; =\; (x\; ^\; \{(1)\},...,\; x\; ^\; \{(d)\})\}$, каждое измерение его входных данных нормализуется (т.е. повторно центрируется и масштабируется) отдельно,

  $x\; ^\; я\; (К)\; знак\; равно\; Икс\; (К)\; -\; \mu \; В\; (К)\; \sigma \; В\; (К)\; 2\; +\; ϵ\; \{\backslash \; Displaystyle\; \{\backslash \; Hat\; \{x\}\}\; \_\; \{я\}\; ^\; \{(к)\}\; =\; \{\backslash \; гидроразрыва\; \{x\_\; \{i\}\; ^\; \{(\; k)\}\; -\; \backslash \; mu\; \_\; \{B\}\; ^\; \{(k)\}\}\; \{\backslash \; sqrt\; \{\backslash \; sigma\; \_\; \{B\}\; ^\; \{(k)\; ^\; \{2\}\}\; +\; \backslash \; epsilon\}\}\}\}$, где $k\; \in \; [1,\; d]\; \{\backslash \; displaystyle\; k\; \backslash \; in\; [1,\; d]\}$и $i\; \in \; [1,\; m]\; \{\backslash \; displaystyle\; я\; \backslash \; in\; [1,\; m]\}$; $\mu \; B\; (k)\; \{\backslash \; displaystyle\; \backslash \; mu\; \_\; \{B\}\; ^\; \{(k)\}\}$и $\sigma \; B\; (k)\; 2\; \{\backslash \; displaystyle\; \backslash \; sigma\; \_\; \{B\}\; ^\; \{(k)\; ^\; \{2\}\}\}$- это среднее значение а и дисперсия соответственно.

  $ϵ\; \{\backslash \; displaystyle\; \backslash \; epsilon\}$добавляется в знаменатель для числовой стабильности и произвольно малой константой. Полученная нормализованная активация $x\; ^\; (k)\; \{\backslash \; displaystyle\; \{\backslash \; hat\; \{x\}\}\; ^\; \{(k)\}\}$имеет нулевое среднее значение и единичную дисперсию, если $ϵ\; \{\backslash \; displaystyle\; \backslash \; epsilon\}$не учитывается. Чтобы восстановить репрезентативную мощность сети, затем следует этап преобразования:

  $yi\; (k)\; =\; \gamma \; (k)\; x\; ^\; i\; (k)\; +\; \beta \; (k)\; \{\backslash \; displaystyle\; y\_\; \{i\}\; ^\; \{(k)\}\; =\; \backslash \; gamma\; ^\; \{(k)\}\; \{\backslash \; hat\; \{x\}\}\; \_\; \{i\}\; ^\; \{(k)\}\; +\; \backslash \; beta\; ^\; \{(k)\}\}$,

  где параметры $\gamma \; (k)\; \{\backslash \; displaystyle\; \backslash \; gamma\; ^\; \{(k)\}\}$и $\beta \; (k)\; \{\backslash \; displaystyle\; \backslash \; beta\; ^\; \{(k)\}\}$имеют изучаются при оптимизации.

  Формально операция, реализующая пакетную нормализацию, представляет собой преобразование $BN\; \gamma \; (k),\; \beta \; (k):\; x\; 1...\; m\; (k)\; \to \; y\; 1...\; m\; (k)\; \{\; \backslash \; Displaystyle\; BN\; \_\; \{\backslash \; gamma\; ^\; \{(k)\},\; \backslash \; beta\; ^\; \{(k)\}\}:\; x\_\; \{1...\; m\}\; ^\; \{(k)\}\; \backslash \; rightarrow\; y\_\; \{1...\; m\}\; ^\; \{\; (k)\}\}$вызывает преобразование пакетной нормализации. Результат преобразования BN $y\; (k)\; =\; BN\; \gamma \; (k),\; \beta \; (k)\; (x\; (k))\; \{\backslash \; displaystyle\; y\; ^\; \{(k)\}\; =\; BN\; \_\; \{\backslash \; gamma\; ^\; \{(k)\},\; \backslash \; beta\; ^\; \{(k)\}\}\; (x\; ^\; \{(k)\})\}$затем передается на другие сетевые уровни, тогда как нормализованный вывод $x\; ^\; i\; (k)\; \{\backslash \; displaystyle\; \{\backslash \; hat\; \{x\}\}\; \_\; \{i\}\; ^\; \{(k)\}\}$остается внутренним по отношению к текущему слою.

  Обратное распространение

  Описанное преобразование BN дифференцируемой операцией, и градиент потерь l по отношению к различным параметрам может быть вычислен непосредственно с помощью правила цепочки.

  В частности, $\partial \; l\; \partial \; yi\; (k)\; \{\backslash \; displaystyle\; \{\backslash \; frac\; \{\backslash \; partial\; l\}\; \{\backslash \; partial\; y\_\; \{i\}\; ^\; \{(k)\}\}\}\}$зависит от выбора функции активации, а градиент по отношению к другим параметрам может быть выражен как функция от $\partial \; l\; \partial \; yi\; (k)\; \{\backslash \; displaystyle\; \{\backslash \; гидроразрыва\; \{\backslash \; partial\; l\}\; \{\backslash \; partial\; y\_\; \{i\}\; ^\; \{(k)\}\}\}\}$:

  $\partial \; l\; \partial \; x\; ^\; i\; (k)\; =\; \partial \; l\; \partial \; yi\; (k)\; \gamma \; (k)\; \{\backslash \; displaystyle\; \{\backslash \; frac\; \{\backslash \; partial\; l)\; \}\; \{\backslash \; partial\; \{\backslash \; hat\; \{x\}\}\; \_\; \{i\}\; ^\; \{(k)\}\}\}\; =\; \{\backslash \; frac\; \{\backslash \; partial\; l\}\; \{\backslash \; partial\; y\_\; \{i\}\; ^\; \{(k)\}\}\}\; \backslash \; gamma\; ^\; \{(к)\}\}$,

  $\partial \; l\; \partial \; \gamma \; (k)\; =\; \sum \; я\; =\; 1\; м\; \partial \; l\; \partial \; yi\; (k)\; x\; ^\; i\; (k)\; \{\backslash \; displaystyle\; \{\backslash \; frac\; \{\backslash \; partial\; l\}\; \{\backslash \; partial\; \backslash \; гамма\; ^\; \{(k)\}\}\}\; =\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{m\}\; \{\backslash \; frac\; \{\backslash \; partial\; l\}\; \{\backslash \; partial\; y\_\; \{i\}\; ^\; \{(k)\}\}\}\; \{\backslash \; hat\; \{x\; \}\}\; \_\; \{i\}\; ^\; \{(k)\}\}$, $\partial \; l\; \partial \; \beta \; (к)\; знак\; равно\; \sum \; я\; знак\; равно\; 1\; м\; \partial \; l\; \partial \; yi\; (k)\; \{\backslash \; displaystyle\; \{\backslash \; frac\; \{\backslash \; номинал\; tial\; l\}\; \{\backslash \; partial\; \backslash \; beta\; ^\; \{(k)\}\}\}\; =\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{m\}\; \{\backslash \; frac\; \{\backslash \; partial\; l\}\; \{\backslash \; partial\; y\_\; \{i\}\; ^\; \{(k)\}\}\}\}$,. $\partial \; l\; \partial \; \sigma \; B\; (k)\; 2\; =\; \sum \; i\; =\; 1\; m\; \partial \; l\; \partial \; Yi\; (к)\; (xi\; (k)\; -\; \mu \; B\; (k))\; (-\; \gamma \; (k)\; 2\; (\sigma \; B\; (к)\; 2\; +\; ϵ)\; -\; 3/2)\; \{\backslash \; displaystyle\; \{\backslash \; frac\; \{\backslash \; partial\; l\; \}\; \{\backslash \; partial\; \backslash \; sigma\; \_\; \{B\}\; ^\; \{(k)\; ^\; \{2\}\}\}\}\; =\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{m\}\; \{\backslash \; frac\; \{\backslash \; partial\; l\}\; \{\backslash \; partial\; y\_\; \{i\}\; ^\; \{(k)\}\}\}\; (x\_\; \{i\}\; ^\; \{(k)\}\; -\; \backslash \; mu\; \_\; \{B\}\; ^\; \{(k)\})\; \backslash \; left\; (-\; \{\backslash \; frac\; \{\backslash \; gamma\; ^\; \{(k)\}\})\; \{2\}\}\; (\backslash \; sigma\; \_\; \{B\}\; ^\; \{(k)\; ^\; \{2\}\}\; +\; \backslash \; epsilon)\; ^\; \{-\; 3/2\}\; \backslash \; right)\}$, $\partial \; l\; \partial \; \mu \; B\; (k)\; =\; \sum \; i\; =\; 1\; m\; \partial \; l\; \partial \; yi\; (k)\; -\; \gamma \; \sigma \; B\; (k)\; 2\; +\; ϵ\; +\; \partial \; l\; \partial \; \sigma \; B\; (k)\; 2\; 1\; ì\; я\; знак\; равно\; 1\; м\; (-\; 2)\; \cdot \; (xi\; (k)\; -\; \mu \; В\; (к))\; \{\backslash \; Displaystyle\; \{\backslash \; frac\; \{\backslash \; partial\; l\}\; \{\backslash \; partial\; \backslash \; mu\; \_\; \{B\}\; ^\; \{(k)\}\}\}\; =\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{m\}\; \{\backslash \; frac\; \{\; \backslash \; partial\; l\}\; \{\backslash \; partial\; y\_\; \{i\}\; ^\; \{(k)\}\}\}\; \{\backslash \; frac\; \{-\; \backslash \; gamma\}\; \{\backslash \; sqrt\; \{\backslash \; sigma\; \_\; \{B\}\; ^\; \{(k)\; ^\; \{2\}\}\; +\; \backslash \; epsilon\; \}\}\}\; +\; \{\backslash \; frac\; \{\backslash \; partial\; l\}\; \{\backslash \; partial\; \backslash \; sigma\; \_\; \{B\}\; ^\; \{(k)\; ^\; \{2\}\}\}\}\; \{\backslash \; frac\; \{1\; \}\; \{m\}\}\; \backslash \; sum\; \_\; \{i\; =\; 1\}\; ^\; \{m\}\; (-\; 2)\; \backslash \; cdot\; (x\_\; \{i\}\; ^\; \{(k)\}\; -\; \backslash \; mu\; \_\; \{B\}\; ^\; \{(k)\})\}$,

  и $\partial \; l\; \partial \; xi\; (k)\; =\; \partial \; l\; \partial \; x\; ^\; i\; (k)\; 1\; \sigma \; B\; (k)\; 2\; +\; ϵ\; +\; \partial \; l\; \partial \; \sigma \; B\; (k)\; 2\; 2\; (xi\; (k)\; -\; \mu \; В\; (к))\; м\; +\; \partial \; l\; \partial \; \mu \; В\; (к)\; 1\; м\; \{\backslash \; Displaystyle\; \{\backslash \; frac\; \{\backslash \; partial\; l\}\; \{\backslash \; partial\; x\_\; \{i\}\; ^\; \{(k)\}\}\}\; =\; \{\backslash \; frac\; \{\backslash \; partial\; l\}\; \{\backslash \; partial\; \{\backslash \; hat\; \{x\}\}\; \_\; \{i\}\; ^\; \{(k)\}\}\}\; \{\backslash \; frac\; \{1\}\; \{\backslash \; sqrt\; \{\backslash \; sigma\; \_\; \{B\}\; ^\; \{(k)\; ^\; \{2\}\}\; +\; \backslash \; epsilon\}\}\}\; +\; \{\backslash \; frac\; \{\backslash \; partial\; l\}\; \{\backslash \; partial\; \backslash \; sigma\; \_\; \{B\}\; ^\; \{(k)\; ^\; \{2\}\}\}\}\; \{\backslash \; frac\; \{2\; (x\_\; \{i\}\; ^\; \{(k)\}\; -\; \backslash \; mu\; \_\; \{B\}\; ^\; \{(k)\})\}\; \{m\}\}\; +\; \{\backslash \; frac\; \{\backslash \; partial\; l\}\; \{\backslash \; partial\; \backslash \; mu\; \_\; \{B\}\; ^\; \{(k)\}\}\}\; \{\backslash \; frac\; \{1\}\; \{m\}\}\}$.

  Логический вывод с пакетно-нормализованными сетями

  На этапе обучения шагов нормализации использования от мини-пакетов для эффективного и надежного обучения. Однако на этапе вывода этой зависимости больше не используется. Вместо этого этапа измерения на этом этапе вычисляются выходные данные из входных данных детерминированным образом. Среднее значение генеральной совокупности $E\; [x\; (k)]\; \{\backslash \; displaystyle\; E\; [x\; ^\; \{(k)\}]\}$и дисперсия $Var\; \; [x\; (k)]\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{Var\}\; [x\; ^\; \{(k)\}]\}$, вычисляются как:

  $E\; [x\; (k)]\; =\; EB\; [\mu \; B\; (k)]\; \{\backslash \; displaystyle\; E\; [x\; ^\; \{(k)\}]\; =\; E\_\; \{B\}\; [\backslash \; mu\; \_\; \{B\}\; ^\; \{(k)\}]\}$и $Var\; \; [x\; (k)]\; =\; мм\; -\; 1\; EB\; [\sigma \; B\; (k)\; 2]\; \{\backslash \; displaystyle\; \backslash \; operatorname\; \{Var\}\; [x\; ^\; \{(k)\}]\; =\; \{\backslash \; frac\; \{m\}\; \{m-1\}\}\; E\_\; \{B\}\; [\backslash \; sigma\; \_\; \{B\}\; ^\; \{(k)\; ^\; \{2\}\}]\}$.

  Таким образом, статистика является полным представлением мини-партий.

  Таким образом, преобразование BN на этапе вывода становится

  $y\; (k)\; =\; BN\; \gamma \; (k),\; \beta \; (k)\; inf\; (x\; (k))\; =\; \gamma \; (k)\; Var\; \; [x\; (\; к)]\; +\; ϵ\; Икс\; (К)\; +\; (\beta \; (К)\; -\; \gamma \; (К)\; Е\; [Икс\; (К)]\; Вар\; \; [Икс\; (К)]\; +\; ϵ)\; \{\backslash \; Displaystyle\; у\; ^\; \{(к)\}\; =\; BN\_\; \{\backslash \; gamma\; ^\; \{(k)\},\; \backslash \; beta\; ^\; \{(k)\}\}\; ^\; \{\backslash \; text\; \{inf\}\}\; (x\; ^\; \{(k)\})\; =\; \{\backslash \; frac\; \{\backslash \; gamma\; ^\; \{(k)\}\}\; \{\backslash \; sqrt\; \{\backslash \; operatorname\; \{Var\}\; [x\; ^\; \{(k)\}]\; +\; \backslash \; epsilon\}\}\}\; x\; ^\; \{(k)\}\; +\; \{\backslash \; Bigg\; (\}\; \backslash \; beta\; ^\; \{(k)\}\; -\; \{\backslash \; frac\; \{\; \backslash \; gamma\; ^\; \{(k)\}\; E\; [x\; ^\; \{(k)\}]\}\; \{\backslash \; sqrt\; \{\backslash \; operatorname\; \{Var\}\; [x\; ^\; \{(k)\}]\; +\; \backslash \; epsilon\}\}\}\; \{\backslash \; Bigg)\}\}$,

  где $y\; (k)\; \{\backslash \; displaystyle\; y\; ^\; \{(k)\}\}$передается будущим слоям вместо $x\; (k)\; \{\backslash \; displaystyle\; x\; ^\; \{(k)\}\}$. В этом преобразовании параметры фиксированы, процедура пакетной стабилизации по существу применяет активацию линейное преобразование.

  Общие сведения о пакетной нормализации

  Хотя пакетная информация стала популярным методом из-за своих сильных сторон, рабочий механизм метода еще недостаточно понят. Ученые показывают, что внутренний ковариативный показатель не уменьшается при распространенном мнении, несмотря на распространенное мнение. Некоторые ученые приписывают хорошие показатели расчетных функций, в то время как другие предполагают, что разделение направления длины и длины являются причиной его эффективности.

  Пакетная нормализация и внутренний ковариальный сдвиг

  Корреляция между пакетной стабилизацией и внутренним ковариальным сдвигом широко распространен, но не подтвержден экспериментальными результатами. Ученые недавно с помощью экспериментов показали, что предполагаемая связь не точна. Скорее, повышенная точность слоя пакетной стабилизации, по-видимому, не зависит от внутреннего ковариатного сдвига.

  Добавление ковариантного сдвига к слоям пакетной нормализации

  Чтобы понять, есть ли какая-либо корреляция между уменьшением ковариатного сдвига и улучшением производительности, проводится эксперимент для выясненияи. В частности, обучаются и сравниваются три модели: стандартная сеть VGG без пакетной стабилизации, сеть VGG со слоями пакетной нормализации и сеть VGG со слоями пакетной нормализации и случайным шумом. В третьей модели шум имеет ненулевое среднее значение и неединичную дисперсию и создается случайным образом для каждого слоя. Затем он добавлен после нормализации среды, чтобы добиться намеренно ковариативный сдвиг в активацию.

  С этими тремя моделями два наблюдения. Во-первых, третья, зашумленная модель имеет менее стабильные распределения всех уровней по сравнению с другими моделями из-за дополнительного слоя шума. Несмотря на шум, точность обучения второй модели схожа и выше, чем у первой модели. Хотя внутренние ковариатные сдвиги больше на всех уровнях, модель с пакетной нормализацией по-прежнему работает лучше, чем стандартная модель VGG. Таким образом, можно сделать вывод, что внутренний ковариационный сдвиг не может быть фактором, влияющим на производительность пакетной нормализации.

  Измерение внутреннего ковариационного сдвига с использованием пакетной стабилизации и без них

  Так как урегулирование внутреннего ковариационного сдвига уменьшает внутренний ковариационный сдвиг, проведенный эксперимент, чтобы количественно измерить, насколько большим ковариативный сдвиг. Во-первых, необходимо математически определить понятие внутреннего ковариатного сдвига. В частности, для количественной оценки корректировки, параметры слоя вносят в ответ на обновления в предыдущих слоях, измеряется корреляция между градиентами потерь до и после обновления всех предыдущих слоев, как градиенты фиксируют сдвиги от первого порядка обучения. метод.

  Корреляция между градиентами вычисляется для четырех моделей: стандартные сети VGG, сети VGG со слоями пакетной нормализации, 25-слойной глубокой линейной сетью (DLN), обученной полным пакетным градиентным спуском, и DLN-сетью со слоями пакетной нормализации. Интересно, что показано, что стандартные модели VGG и DLN имеют более высокий уровень корреляции градиентов по с их аналогами, что указывает на то, что дополнительные уровни пакетной нормализации не уменьшают внутренний ковариационный сдвиг.

  Гладкость оптимизационного ландшафта

  Некоторые ученые предложили и доказали, что пакетная нормализация может внести большую липшицевость в потери и градиент во время обучения. Эти эффекты можно наблюдать, сравнивая сети VGG, обученные с помощью пакетной стабилизации и без нее, а также согласуется с другими сетями такими как линейные глубокие сети. В частности, наблюдается, что потери меняются меньше, а градиенты имеют меньшие величины и более липшицевы. Более того, пакетные нормализованные модели сравниваются с моделями с помощью различных методов нормализации. В частности, эти методы нормализации работают, сначала фиксируя момент активации первого порядка, а затем нормализуя его на среднее значение нормы $l\; p\; \{\backslash \; displaystyle\; l\_\; \{p\}\}$. Таким образом, эти методы имеют больший сдвиг распределения, но более плавный ландшафт. Эти модели дают такую ​​же производительность, что и нормализованные модели. Таким образом, эта двусторонняя связь может указывать на то, что гладкость оптимизационного ландшафта может быть фактором, способствующим превосходной производительности пакетной нормализации.

  Помимо экспериментального анализа этой корреляции, также предлагается теоретический анализ для проверки, что пакетная калибровка может привести к более плавному ландшафту. Рассмотрим две идентичные сети, одна из которых приводит к увеличению количества пакетов, а другая - нет, сравнивается поведение этих двух сетей. Обозначим функции потерь как $L\; \{\backslash \; displaystyle\; L\}$и $L\; ^\; \{\backslash \; displaystyle\; \{\backslash \; hat\; \{L\}\}\}$соответственно. Пусть входом в обе сети будет $x\; \{\backslash \; displaystyle\; x\}$, а на выходе - $y\; \{\backslash \; displaystyle\; y\}$, для которого $y\; =\; W\; x\; \{\backslash \; displaystyle\; y\; =\; Wx\}$, где $W\; \{\backslash \; displaystyle\; W\}$- вес слоя. Для второй сети $y\; \{\backslash \; displaystyle\; y\}$также проходит через уровень пакетной нормализации. Обозначьте нормализованную активацию как $y\; ^\; \{\backslash \; displaystyle\; \{\backslash \; hat\; \{y\}\}\}$, что имеет нулевое среднее значение и единичную дисперсию. Пусть преобразованная активация будет $z\; =\; \gamma \; y\; ^\; +\; \beta \; \{\backslash \; displaystyle\; z\; =\; \backslash \; gamma\; \{\backslash \; hat\; \{y\}\}\; +\; \backslash \; beta\}$, и предположим, что $\gamma \; \{\backslash \; displaystyle\; \backslash \; гамма\}$и $\beta \; \{\backslash \; displaystyle\; \backslash \; beta\}$- константы. Наконец, обозначим стандартное отклонение для мини-партии $yj\; ^\; \in \; R\; m\; \{\backslash \; displaystyle\; \{\backslash \; hat\; \{y\_\; \{j\}\}\}\; \backslash \; in\; \backslash \; mathbb\; \{R\}\; ^\; \{m\}\}$как $\sigma \; j\; \{\backslash \; displaystyle\; \backslash \; sigma\; \_\; \{j\}\}$.

  Во-первых, можно показать, что величина градиента пакетной нормализованной сети, $|\; |\; ▽\; y\; i\; L\; ^\; |\; |\; \{\backslash \; displaystyle\; ||\; \backslash \; triangledown\; \_\; \{y\_\; \{i\}\}\; \{\backslash \; hat\; \{L\}\}\; ||\}$ограничен, причем граница выражена как

  $|\; |\; ▽\; y\; i\; L\; ^\; |\; |\; 2\; \le \; \gamma \; 2\; \sigma \; J\; 2\; (|\; |\; ▽\; yi\; L\; |\; |\; 2\; -\; 1\; м\; ⟨1,\; ▽\; yi\; L⟩\; 2\; -\; 1\; м\; ⟨▽\; yi\; L,\; y\; ^\; j⟩\; 2)\; \{\backslash \; displaystyle\; ||\; \backslash \; triangledown\; \_\; \{y\_\; \{i\}\}\; \{\backslash \; hat\; \{L\}\}\; ||\; ^\; \{2\}\; \backslash \; leq\; \{\backslash \; frac\; \{\backslash \; gamma\; ^\; \{2\}\}\; \{\backslash \; sigma\; \_\; \{j\}\; ^\; \{2\}\}\}\; \{\backslash \; Bigg\; (\}\; |\; |\; \backslash \; triangledown\; \_\; \{y\_\; \{i\}\}\; L\; ||\; ^\; \{2\}\; -\; \{\backslash \; frac\; \{1\}\; \{m\}\}\; \backslash \; langle\; 1,\; \backslash \; triangledown\; \_\; \{y\_\; \{i\}\}\; L\; \backslash \; rangle\; ^\; \{2\}\; -\; \{\backslash \; frac\; \{1\}\; \{m\}\}\; \backslash \; langle\; \backslash \; triangledown\; \_\; \{y\_\; \{i\}\}\; L,\; \{\backslash \; hat\; \{y\}\}\; \_\; \{j\}\; \backslash \; rangle\; ^\; \{2\}\; \{\backslash \; bigg)\}\}$.

  Временная величина градиента представляет липшицевость потерь, это соотношение указывает, что пакетная нормализованная сеть может сравнительно достичь большей липцевости. Обратите внимание, что граница становится более жесткой, когда градиент $▽\; yi\; L\; ^\; \{\backslash \; displaystyle\; \backslash \; triangledown\; \_\; \{y\_\; \{i\}\}\; \{\backslash \; hat\; \{L\}\}\}$коррелирует с активацией $yi\; ^\; \{\backslash \; displaystyle\; \{\backslash \; hat\; \{y\_\; \{i\}\}\}\}$, что является обычным явлением. Масштабирование $\gamma \; 2\; \sigma \; j\; 2\; \{\backslash \; displaystyle\; \{\backslash \; frac\; \{\backslash \; gamma\; ^\; \{2\}\}\; \{\backslash \; sigma\; \_\; \{j\}\; ^\; \{2\}\}\}\}$также имеет значение, поскольку разброс часто бывает большим.

  Во-вторых, квадратичная форма гессиана потерь относительно активации в направлении градиента может быть ограничена как

  $(▽\; yj\; L\; ^)\; T\; \partial \; L\; ^\; \partial \; yj\; \partial \; yj\; (▽\; yj\; L\; ^)\; \le \; \gamma \; 2\; \sigma \; 2\; (\partial \; L\; ^\; \partial \; yj)\; T\; (\partial \; L\; \partial \; yj\; \partial \; yj)\; (\partial \; L\; ^\; \partial \; yj)\; -\; \gamma \; m\; \sigma \; 2\; ⟨▽\; yj\; L,\; yj\; ^⟩\; |\; |\; \partial \; L\; ^\; \partial \; y\; j\; |\; |\; 2\; \{\backslash \; displaystyle\; (\backslash \; triangledown\; \_\; \{y\_\; \{j\}\}\; \{\backslash \; hat\; \{L\}\})\; ^\; \{T\}\; \{\backslash \; frac\; \{\backslash \; partial\; \{\backslash \; hat\; \{L\}\}\}\; \{\backslash \; partial\; y\_\; \{j\}\; \backslash \; partial\; y\_\; \{j\}\}\}\; (\backslash \; triangledown\; \_\; \{y\_\; \{j\}\}\; \{\backslash \; hat\; \{L\}\})\; \backslash \; leq\; \{\backslash \; frac\; \{\backslash \; gamma\; ^\; \{2\}\}\; \{\backslash \; sigma\; ^\; \{2\}\}\}\; \{\backslash \; bigg\; (\}\; \{\backslash \; frac\; \{\backslash \; partial\; \{\backslash \; hat\; \{L\}\}\}\; \{\backslash \; partial\; y\_\; \{j\}\}\}\; \{\backslash \; bigg)\}\; ^\; \{T\}\; \{\backslash \; bigg\; (\}\; \{\backslash \; frac\; \{\backslash \; partial\; L\}\; \{\backslash \; partial\; y\_\; \{\; j\}\; \backslash \; partial\; y\_\; \{j\}\}\}\; \{\backslash \; bigg)\}\; \{\backslash \; bigg\; (\}\; \{\backslash \; frac\; \{\backslash \; partial\; \{\backslash \; hat\; \{L\}\}\}\; \{\backslash \; partial\; y\_\; \{j\}\}\}\; \{\backslash \; bigg)\}\; -\; \{\; \backslash \; frac\; \{\backslash \; gamma\}\; \{m\; \backslash \; sigma\; ^\; \{2\}\}\}\; \backslash \; langle\; \backslash \; triangledown\; \_\; \{y\_\; \{j\}\}\; L,\; \{\backslash \; hat\; \{y\_\; \{j\}\}\}\; \backslash \; rangle\; \{\backslash \; bigg\; |\}\; \{\backslash \; bigg\; |\; \}\; \{\backslash \; frac\; \{\backslash \; partial\; \{\backslash \; hat\; \{L\}\}\}\; \{\backslash \; partial\; y\_\; \{j\}\}\}\; \{\backslash \; bigg\; |\}\; \{\backslash \; bigg\; |\}\; ^\; \{2\}\}$.

  Масштабирование $\gamma \; 2\; \sigma \; j\; 2\; \{\backslash \; displaystyle\; \{\backslash \; frac\; \{\backslash \; gamma\; ^\; \{2\}\}\; \{\backslash \; sigma\; \_\; \{j\}\; ^\; \{2\}\}\}\}$указывает, что гессиан потери устойчив к дисперсии мини-партии, тогда как второй член в правой части предполагает, что он становится более гладким, когда гессиан и внутреннее произведение неотрицательны. Если потеря локально выпуклая, то гессиан будет положительно полуопределенным, а внутреннее произведение положительно, если $gj\; ^\; \{\backslash \; displaystyle\; \{\backslash \; hat\; \{g\_\; \{j\; \}\}\}\}$находится в направлении минимума потерь. Таким образом, из этого неравенства можно сделать вывод, что градиент обычно становится более предсказуемым с помощью слоя пакетной нормализации.

  Затем следует перевести границы, связанные с потерями по отношению к нормализованной активации, в границу потерь по весам сети:

  $gj\; ^\; \le \; \gamma \; 2\; \sigma \; j\; 2\; (gj\; 2\; -\; м\; \mu \; gj\; 2\; -\; \lambda \; 2\; ⟨▽\; yj\; L,\; y\; ^\; j⟩\; 2)\; \{\backslash \; displaystyle\; \{\backslash \; hat\; \{g\_\; \{j\}\}\}\; \backslash \; leq\; \{\backslash \; frac\; \{\backslash \; gamma\; ^\; \{2\}\}\; \{\backslash \; sigma\; \_\; \{\; j\}\; ^\; \{2\}\}\}\; (g\_\; \{j\}\; ^\; \{2\}\; -m\; \backslash \; mu\; \_\; \{g\_\; \{j\}\}\; ^\; \{2\}\; -\; \backslash \; lambda\; ^\; \{2\}\; \backslash \; langle\; \backslash \; triangledown\; \_\; \{y\_\; \{j\}\}\; L,\; \{\backslash \; hat\; \{y\}\}\; \_\; \{j\}\; \backslash \; rangle\; ^\; \{2\})\}$, где $gj\; =\; max\; |\; |\; X\; |\; |\; \le \; \lambda \; |\; |\; ▽\; W\; L\; |\; |\; 2\; \{\backslash \; displaystyle\; g\_\; \{j\}\; =\; max\_\; \{||\; X\; ||\; \backslash \; leq\; \backslash \; lambda\}\; ||\; \backslash \; triangledown\; \_\; \{W\}\; L\; ||\; ^\; \{2\}\}$и $g\; ^\; j\; =\; макс\; |\; |\; X\; |\; |\; \le \; \lambda \; |\; |\; ▽\; W\; L\; ^\; |\; |\; 2\; \{\backslash \; displaystyle\; \{\backslash \; hat\; \{g\}\}\; \_\; \{j\}\; =\; max\_\; \{||\; X\; ||\; \backslash \; leq\; \backslash \; lambda\}\; ||\; \backslash \; triangledown\; \_\; \{W\}\; \{\backslash \; hat\; \{L\}\}\; ||\; ^\; \{2\}\}$.

  В дополнение к более плавному ландшафту дополнительно показано, что пакетная нормализация может привести к лучшей инициализации при следующем неравенстве:

  $|\; |\; W\; 0\; -\; W\; ^\; \ast \; |\; |\; 2\; \le \; |\; |\; W\; 0\; -\; W\; \ast \; |\; |\; 2\; -\; 1\; |\; |\; W\; \ast \; |\; |\; 2\; (|\; |\; W\; \ast \; |\; |\; 2\; -\; ⟨W\; \ast ,\; W\; 0⟩)\; 2\; \{\backslash \; displaystyle\; ||\; W\_\; \{0\}\; -\; \{\backslash \; hat\; \{W\}\}\; ^\; \{*\}\; ||\; ^\; \{2\}\; \backslash \; leq\; ||\; W\_\; \{0\}\; -W\; ^\; \{*\}\; ||\; ^\; \{2\}\; -\; \{\backslash \; frac\; \{1\}\; \{||\; W\; ^\; \{*\}\; ||\; ^\; \{2\}\}\}\; (||\; W\; ^\; \{*\}\; ||\; ^\; \{2\}\; -\; \backslash \; langle\; W\; ^\; \{*\},\; W\_\; \{0\}\; \backslash \; rangle)\; ^\; \{2\}\}$, где $W\; \ast \; \{\backslash \; displaystyle\; W\; ^\; \{*\}\}$и $W\; ^\; \ast \; \{\backslash \; displaystyle\; \{\backslash \; hat\; \{W\}\}\; ^\; \{*\}\}$- локальные оптимальные веса для двух сетей соответственно.

  Некоторые ученые утверждают, что приведенный выше анализ не может полностью охватить производительность пакетной нормализации, потому что доказательство касается только самого большого собственного значения или, что эквивалентно, одного направления ландшафта во всех точках. Предполагается, что для проведения окончательного анализа необходимо принять во внимание полный собственный спектр.

  Контринтуитивная грубость оптимизационного ландшафта при инициализации

  Даже несмотря на то, что батчнорм был первоначально введен для смягчения последствий проблемы исчезновения градиента или взрыва, глубокая сеть батчнорма фактически страдает от взрыва градиента во время инициализации, независимо от того, что она использует для нелинейности. Таким образом, оптимизация для случайно инициализированной глубокой сети батчнорма очень далека от гладкости. Точнее, если сеть имеет слои $L\; \{\backslash \; displaystyle\; L\}$, тогда градиент весов первого слоя имеет норму $>c\; \lambda \; L\; \{\backslash \; displaystyle>c\; \backslash \; lambda\; ^\; \{\; L\}\}$для некоторых $\lambda >1,\; c>0\; \{\backslash \; displaystyle\; \backslash \; lambda>1,\; c>0\}$в зависимости только от нелинейности. Для любой фиксированной нелинейности $\lambda \; \{\backslash \; displaystyle\; \backslash \; lambda\}$уменьшается по мере увеличения размера пакета. Например, для ReLU $\lambda \; \{\backslash \; displaystyle\; \backslash \; lambda\}$уменьшается до $\pi \; /\; (\pi \; -\; 1)\; \approx \; 1,467\; \{\backslash \; displaystyle\; \backslash \; pi\; /\; (\backslash \; pi\; -1)\; \backslash \; приблизительно\; 1.467\}$, поскольку размер пакета стремится к бесконечности. Фактически, это означает, что глубокие батчервячные сети необучаемы. Это облегчается только пропуском соединений в стиле остаточных сетей.

  Этот взрыв градиента на поверхности противоречит свойству гладкости, описанному в предыдущем разделе, но на самом деле они согласованы. В предыдущем разделе изучается эффект вставки одного батчнорма в сеть, в то время как градиентный взрыв зависит от наложения батчнорма, типичного для современных глубоких нейронных сетей.

  Разделение длины-направления

  Утверждается, что успех пакетной нормализации может быть, по крайней мере, частично связан с эффектом разъединения в направлении длины, который обеспечивает этот метод.

  Интерпретируя процедуру пакетной нормализации как повторную параметризацию весового пространства, можно показать, что длина и направление весов разделены после процедуры, и, таким образом, их можно обучать отдельно. Для конкретного модуля нейронной сети с входом $x\; \{\backslash \; displaystyle\; x\}$и вектором весов $w\; \{\backslash \; displaystyle\; w\}$обозначьте его выход как $f\; (вес)\; знак\; равно\; E\; x\; [\varphi \; (x\; T\; w)]\; \{\backslash \; displaystyle\; f\; (w)\; =\; E\_\; \{x\}\; [\backslash \; phi\; (x\; ^\; \{T\}\; w)]\}$, где $\varphi \; \{\backslash \; displaystyle\; \backslash \; phi\}$- функция активации и обозначает $S\; =\; E\; [xx\; T]\; \{\backslash \; displaystyle\; S\; =\; E\; [xx\; ^\; \{T\}]\}$. Предположим, что $E\; [x]\; =\; 0\; \{\backslash \; displaystyle\; E\; [x]\; =\; 0\}$, и что спектр матрицы $S\; \{\backslash \; displaystyle\; S\}$ограничен как , , так что $S\; \{\backslash \; displaystyle\; S\}$является симметричным положительно определенным. Таким образом, добавление пакетной нормализации к этому модулю приводит к

  $f\; BN\; (w,\; \gamma ,\; \beta )\; =\; E\; x\; [\varphi \; (BN\; (x\; T\; w))]\; =\; E\; x\; [\varphi \; (\gamma \; (x\; T\; w\; -\; E\; x\; [\; Икс\; T\; вес]\; varx\; [x\; T\; w]\; 1/2)\; +\; \beta )]\; \{\backslash \; displaystyle\; f\_\; \{BN\}\; (w,\; \backslash \; gamma,\; \backslash \; beta)\; =\; E\_\; \{x\}\; [\backslash \; phi\; (BN\; (x\; ^\; \{T\}\; w))]\; =\; E\_\; \{x\}\; \{\backslash \; bigg\; [\}\; \backslash \; phi\; \{\backslash \; bigg\; (\}\; \backslash \; gamma\; (\{\backslash \; frac\; \{x\; ^\; \{T\}\; w-E\_\; \{x\}\; [x\; ^\; \{T\}\; w]\}\; \{var\_\; \{x\}\; [x\; ^\; \{T\}\; w]\; ^\; \{1/2\}\}\})\; +\; \backslash \; beta\; \{\backslash \; bigg)\}\; \{\backslash \; bigg]\}\}$, по определению.

  Термин дисперсии можно упростить так, чтобы $varx\; [x\; T\; w]\; =\; w\; TS\; w\; \{\backslash \; displaystyle\; var\_\; \{x\}\; [x\; ^\; \{T\}\; w]\; =\; w\; ^\; \{T\}\; Sw\}$. Предположим, что $x\; \{\backslash \; displaystyle\; x\}$имеет нулевое среднее и $\beta \; \{\backslash \; displaystyle\; \backslash \; beta\}$может быть опущено, тогда следует, что

  $f\; BN\; (вес,\; \gamma )\; знак\; равно\; Е\; Икс\; [\varphi \; (\gamma \; Икс\; T\; вес\; (вес\; TS\; ш)\; 1/2)]\; \{\backslash \; Displaystyle\; F\_\; \{BN\}\; (ш,\; \backslash \; гамма)\; =\; E\_\; \{x\}\; \{\backslash \; bigg\; [\}\; \backslash \; phi\; \{\backslash \; bigg\; (\}\; \backslash \; gamma\; \{\backslash \; frac\; \{x\; ^\; \{T\}\; w\}\; \{(w\; ^\; \{T\}\; Sw)\; ^\; \{1/2\}\}\}\; \{\backslash \; bigg)\}\; \{\backslash \; bigg]\}\}$, где $(w\; TS\; w)\; 1\; 2\; \{\backslash \; displaystyle\; (w\; ^\; \{T\}\; Sw)\; ^\; \{\backslash \; frac\; \{1\}\; \{2\}\}\}$- индуцированная норма $S\; \{\backslash \; displaystyle\; S\}$, $|\; |\; w\; |\; |\; s\; \{\backslash \; displaystyle\; ||\; w\; ||\; \_\; \{s\}\}$.

  Следовательно, можно сделать вывод, что $f\; BN\; (w,\; \gamma )\; =\; E\; x\; [\varphi \; (x\; T\; w\; ~)]\; \{\backslash \; displaystyle\; f\_\; \{BN\}\; (w,\; \backslash \; gamma)\; =\; E\_\; \{x\}\; [\backslash \; phi\; (x\; ^\; \{T\}\; \{\backslash \; tilde\; \{w\}\})]\}$, где $w\; ~\; =\; \gamma \; w\; |\; |\; w\; |\; |\; s\; \{\backslash \; displaystyle\; \{\backslash \; tilde\; \{w\}\}\; =\; \backslash \; gamma\; \{\backslash \; frac\; \{w\}\; \{||\; w\; ||\; \_\; \{s\}\}\}\}$и $\gamma \; \{\backslash \; displaystyle\; \backslash \; gamma\; \}$и $w\; \{\backslash \; displaystyle\; w\}$учитывают его длину и направление отдельно. Это свойство затем можно было бы использовать для доказательства более быстрой сходимости проблем с пакетной нормализацией.

  Линейная сходимость задачи наименьших квадратов с пакетной нормализацией

  С помощью интерпретации повторной параметризации затем можно было бы доказать, что применение пакетной нормализации к обычной задаче наименьших квадратов обеспечивает линейную скорость сходимости в градиенте спуск, который быстрее, чем обычный градиентный спуск, только с сублинейной сходимостью.

  Обозначим цель минимизации обычной задачи наименьших квадратов как

  $minw\; ~\; \in \; R\; df\; OLS\; (w\; ~)\; =\; minw\; ~\; \in \; R\; d\; (E\; x,\; y\; [(y\; -\; x\; T\; w\; ~)\; 2])\; =\; minw\; ~\; \in \; R\; d\; (2\; u\; T\; w\; ~\; +\; w\; ~\; TS\; w\; ~)\; \{\backslash \; displaystyle\; min\; \_\; \{\{\backslash \; tilde\; \{w\}\}\; \backslash \; in\; R\; ^\; \{d\}\}\; f\_\; \{OLS\}\; (\{\backslash \; tilde\; \{w\}\})\; =\; min\; \_\; \{\{\backslash \; tilde\; \{w\}\}\; \backslash \; in\; R\; ^\; \{d\}\}\; (E\_\; \{x,\; y\}\; [(yx\; ^\; \{T\}\; \{\backslash \; tilde\; \{w\}\})\; ^\; \{2\}])\; =\; min\; \_\; \{\{\backslash \; tilde\; \{w\}\}\; \backslash \; in\; R\; ^\; \{d\}\}\; (2u\; ^\; \{T\}\; \{\backslash \; tilde\; \{w\}\}\; +\; \{\backslash \; tilde\; \{w\}\}\; ^\; \{T\}\; S\; \{\backslash \; tilde\; \{w\; \}\})\}$, где $u\; =\; E\; [-\; yx]\; \{\backslash \; displaystyle\; u\; =\; E\; [-yx]\}$.

  Поскольку $w\; ~\; =\; \gamma \; w\; |\; |\; w\; |\; |\; s\; \{\backslash \; displaystyle\; \{\backslash \; tilde\; \{w\}\}\; =\; \backslash \; gamma\; \{\backslash \; frac\; \{w\}\; \{||\; w\; ||\; \_\; \{s\}\}\}\}$, таким образом, цель становится

  $minw\; \in \; R\; d\; \setminus \; \{0\},\; \gamma \; \in \; R\; f\; OLS\; (w,\; \gamma )\; =\; minw\; \in \; R\; d\; \setminus \; \{0\},\; \gamma \; \in \; R\; (2\; \gamma \; u\; T\; w\; |\; |\; w\; |\; |\; S\; +\; \gamma \; 2)\; \{\backslash \; displaystyle\; min\_\; \{\; w\; \backslash \; in\; R\; ^\; \{d\}\; \backslash \; backslash\; \backslash \; \{0\; \backslash \},\; \backslash \; gamma\; \backslash \; in\; R\}\; f\_\; \{OLS\}\; (w,\; \backslash \; gamma)\; =\; min\_\; \{w\; \backslash \; in\; R\; ^\; \{d\}\; \backslash \; backslash\; \backslash \; \{0\; \backslash \},\; \backslash \; gamma\; \backslash \; in\; R\}\; \{\backslash \; bigg\; (\}\; 2\; \backslash \; gamma\; \{\backslash \; frac\; \{u\; ^\; \{T\}\; w\}\; \{||\; w\; ||\; \_\; \{S\}\; +\; \backslash \; gamma\; ^\; \{2\}\}\}\; \{\backslash \; bigg)\}\; \}$, где 0 исключен, чтобы избежать 0 в знаменателе.

  Поскольку цель является выпуклой по отношению к $\gamma \; \{\backslash \; displaystyle\; \backslash \; gamma\}$, ее оптимальное значение можно вычислить, установив частную производную цели против $\gamma .\; \{\backslash \; displaystyle\; \backslash \; gamma\}$до 0. Цель может быть дополнительно упрощена до

  $minw\; \in \; R\; d\; \setminus \; \{0\}\; \rho \; (w)\; =\; minw\; \in \; R\; d\; \setminus \; \{0\}\; (-\; w\; T\; uu\; T\; ww\; TS\; w)\; \{\backslash \; displaystyle\; min\_\; \{w\; \backslash \; in\; R\; ^\; \{d\}\; \backslash \; backslash\; \backslash \; \{0\; \backslash \}\}\; \backslash \; rho\; (w)\; =\; min\_\; \{w\; \backslash \; in\; R\; ^\; \{d\}\; \backslash \; backslash\; \backslash \; \{0\; \backslash \; \}\}\; \{\backslash \; bigg\; (\}\; -\; \{\backslash \; frac\; \{w\; ^\; \{T\}\; uu\; ^\; \{T\}\; w\}\; \{w\; ^\; \{T\}\; Sw\}\}\; \{\backslash \; bigg)\}\}$.

  Обратите внимание, что эта цель является формой обобщенный фактор Рэлея

  $\rho \; ~\; (w)\; =\; w\; TB\; ww\; TA\; w\; \{\backslash \; displaystyle\; \{\backslash \; tilde\; \{\backslash \; rho\}\}\; (w)\; =\; \{\backslash \; frac\; \{w\; ^\; \{T\}\; Bw\}\; \{w\; ^\; \{T\}\; Aw\}\}\}$, где $B\; \in \; R\; d\; \times \; d\; \{\backslash \; displaystyle\; B\; \backslash \; in\; R\; ^\; \{d\; \backslash \; times\; d\}\}$- симметричная матрица, а $A\; \in \; R\; d\; \times \; d\; \{\backslash \; displaystyle\; A\; \backslash \; in\; R\; ^\; \{d\; \backslash \; times\; d\}\}$- симметричная положительно определенная матрица.

  Доказано, что скорость сходимости градиентного спуска обобщенного коэффициента Рэлея равна

  $\lambda \; 1\; -\; \rho \; (wt\; +\; 1)\; \rho \; (wt\; +\; 1\; -\; \lambda \; 2)\; \le \; (\; 1\; -\; \lambda \; 1\; -\; \lambda \; 2\; \lambda \; 1\; -\; \lambda \; мин)\; 2\; T\; \lambda \; 1\; -\; \rho \; (вес)\; \rho \; (вес)\; -\; \lambda \; 2\; \{\backslash \; displaystyle\; \{\backslash \; frac\; \{\backslash \; lambda\; \_\; \{1\}\; -\; \backslash \; rho\; (w\_\; \{t\; +\; 1\})\}\; \{\backslash \; rho\; (w\_\; \{t\; +\; 1\}\; -\; \backslash \; lambda\; \_\; \{2\})\}\}\; \backslash \; leq\; \{\backslash \; bigg\; (\}\; 1\; -\; \{\backslash \; frac\; \{\backslash \; lambda\; \_\; \{1\}\; -\; \backslash \; lambda\; \_\; \{2\}\; \}\; \{\backslash \; lambda\; \_\; \{1\}\; -\; \backslash \; lambda\; \_\; \{min\}\}\}\; \{\backslash \; bigg)\}\; ^\; \{2t\}\; \{\backslash \; frac\; \{\backslash \; lambda\; \_\; \{1\}\; -\; \backslash \; rho\; (w\_\; \{t\})\}\; \{\backslash \; rho\; (\; w\_\; \{t\})\; -\; \backslash \; lambda\; \_\; \{2\}\}\}\}$, где $\lambda \; 1\; \{\backslash \; displaystyle\; \backslash \; lambda\; \_\; \{1\}\}$- наибольшее значение собственное значение из $B\; \{\backslash \; displaystyle\; B\}$, $\lambda \; 2\; \{\backslash \; displaystyle\; \backslash \; lambda\; \_\; \{2\}\}$- второе по величине собственное значение $B\; \{\backslash \; displaystyle\; B\}$, а $\lambda \; min\; \{\backslash \; displaystyle\; \backslash \; lambda\; \_\; \{min\}\}$- наименьшее собственное значение $B\; \{\backslash \; displaystyle\; B\}$.

  В нашем случае $B\; =\; uu\; T\; \{\backslash \; displaystyle\; B\; =\; uu\; ^\; \{T\}\}$- матрица первого ранга, и результат сходимости можно соответственно упростить. В частности, рассмотрим шаги градиентного спуска в форме $wt\; +\; 1\; =\; wt\; -\; \eta \; t\; ▽\; \rho \; (wt)\; \{\backslash \; displaystyle\; w\_\; \{t\; +\; 1\}\; =\; w\_\; \{t\}\; -\; \backslash \; eta\; \_\; \{t\}\; \backslash \; triangledown\; \backslash \; rho\; (w\_\; \{t\})\}$с размером шага $\eta \; t\; =\; wt\; TS\; wt\; 2\; L\; |\; \rho \; (вес\; т)\; |\; \{\backslash \; displaystyle\; \backslash \; eta\; \_\; \{t\}\; =\; \{\backslash \; frac\; \{w\_\; \{t\}\; ^\; \{T\}\; Sw\_\; \{t\}\}\; \{2L\; |\; \backslash \; rho\; (w\_\; \{t\})\; |\}\}\}$, и начиная с $\rho \; (w\; 0)\; \ne \; 0\; \{\backslash \; displaystyle\; \backslash \; rho\; (w\_\; \{0\})\; \backslash \; neq\; 0\}$, затем

  $\rho \; (wt)\; -\; \rho \; (w\; \ast )\; \le \; (\; 1\; -\; \mu \; L)\; 2\; T\; (\rho \; (вес\; 0)\; -\; \rho \; (w\; \ast ))\; \{\backslash \; displaystyle\; \backslash \; rho\; (w\_\; \{t\})\; -\; \backslash \; rho\; (w\; ^\; \{*\})\; \backslash \; leq\; \{\backslash \; bigg\; (\}\; 1-\; \{\backslash \; frac\; \{\backslash \; mu\}\; \{L\}\}\; \{\backslash \; bigg)\}\; ^\; \{2t\}\; (\backslash \; rho\; (w\_\; \{0\})\; -\; \backslash \; rho\; (w\; ^\; \{*\}))\}$.

  Линейная сходимость обучающего полупространства Проблема с пакетной нормализацией

  Проблема обучения полупространств относится к обучению персептрона, который является простейшей формой нейронной сети. Задача оптимизации в этом случае:

  $minw\; ~\; \in \; R\; df\; LH\; (w\; ~)\; =\; E\; y,\; x\; [\varphi \; (z\; T\; w\; ~)]\; \{\backslash \; displaystyle\; min\; \_\; \{\{\backslash \; tilde\; \{w\}\}\; \backslash \; in\; R\; ^\; \{d\}\}\; f\_\; \{LH\}\; (\{\backslash \; tilde\; \{w\}\})\; =\; E\_\; \{y,\; x\}\; [\backslash \; phi\; (z\; ^\; \{T\}\; \{\backslash \; tilde\; \{w\}\})]\}$, где $z\; =\; -\; yx\; \{\backslash \; displaystyle\; z\; =\; -yx\}$и $\varphi \; \{\backslash \; displaystyle\; \backslash \; phi\}$- произвольная функция потерь.

  Suppose that $\varphi \; \{\backslash displaystyle\; \backslash phi\; \}$is infinitely differentiable and has a bounded derivative. Assume that the objective function $f\; L\; H\; \{\backslash displaystyle\; f\_\{LH\}\}$is $\zeta \; \{\backslash displaystyle\; \backslash zeta\; \}$-smooth, and that a solution $\alpha \; \ast \; =\; a\; r\; g\; m\; i\; n\; \alpha \; |\; |\; ▽\; f\; (\; \alpha \; w)\; |\; |\; 2\; \{\backslash displaystyle\; \backslash alpha\; ^\{*\}=argmin\_\{\backslash alpha\; \}||\backslash triangledown\; f(\backslash alpha\; w)||^\{2\}\}$exists and is bounded such that . Also assume $z\; \{\backslash displaystyle\; z\}$is a multivariate normal random variable. With the Gaussian assumption, it can be shown that all critical points lie on the same line, for any choice of loss function $\varphi \; \{\backslash displaystyle\; \backslash phi\; \}$. Specifically, the gradient of $f\; L\; H\; \{\backslash displaystyle\; f\_\{LH\}\}$could be represented as

  $▽\; w\; ~\; f\; L\; H\; (\; w\; ~)\; =\; c\; 1\; (\; w\; ~)\; u\; +\; c\; 2\; (\; w\; ~)\; S\; w\; ~\; \{\backslash displaystyle\; \backslash triangledown\; \_\{\backslash tilde\; \{w\}\}f\_\{LH\}(\{\backslash tilde\; \{w\}\})=c\_\{1\}(\{\backslash tilde\; \{w\}\})u+c\_\{2\}(\{\backslash tilde\; \{w\}\})S\{\backslash tilde\; \{w\}\}\}$, where $c\; 1\; (\; w\; ~)\; =\; E\; z\; [\; \varphi \; (\; 1)\; (\; z\; T\; w\; ~)\; ]\; -\; E\; z\; [\; \varphi \; (\; 2)\; (\; z\; T\; w\; ~)\; ]\; (\; u\; T\; w\; ~)\; \{\backslash displaystyle\; c\_\{1\}(\{\backslash tilde\; \{w\}\})=E\_\{z\}[\backslash phi\; ^\{(1)\}(z^\{T\}\{\backslash tilde\; \{w\}\})]-E\_\{z\}[\backslash phi\; ^\{(2)\}(z^\{T\}\{\backslash tilde\; \{w\}\})](u^\{T\}\{\backslash tilde\; \{w\}\})\}$, $c\; 2\; (\; w\; ~)\; =\; E\; z\; [\; \varphi \; (\; 2)\; (\; z\; T\; w\; ~)\; ]\; \{\backslash displaystyle\; c\_\{2\}(\{\backslash tilde\; \{w\}\})=E\_\{z\}[\backslash phi\; ^\{(2)\}(z^\{T\}\{\backslash tilde\; \{w\}\})]\}$, and $\varphi \; (\; i)\; \{\backslash displaystyle\; \backslash phi\; ^\{(i)\}\}$is the $i\; \{\backslash displaystyle\; i\}$-th derivative of $\varphi \; \{\backslash displaystyle\; \backslash phi\; \}$.

  By setting the gradient to 0, it thus follows that the bounded critical points $w\; ~\; \ast \; \{\backslash displaystyle\; \{\backslash tilde\; \{w\}\}\_\{*\}\}$can be expressed as $w\; ~\; \ast \; =\; g\; \ast \; S\; -\; 1\; u\; \{\backslash displaystyle\; \{\backslash tilde\; \{w\; \}\}\_\{*\}=g\_\{*\}S^\{-1\}u\}$, where $g\; \ast \; \{\backslash displaystyle\; g\_\{*\}\}$depends on $w\; ~\; \ast \; \{\backslash displaystyle\; \{\backslash tilde\; \{w\}\}\_\{*\}\}$and $\varphi \; \{\backslash displaystyle\; \backslash phi\; \}$. Combining this global property with length-direction decoupling, it could thus be proved that this optimization problem converges linearly.

  First, a variation of gradient descent with batch normalization, Gradient Descent in Normalized Paramterization (GDNP), is designed for the objective function $m\; i\; n\; w\; \in \; R\; d\; \setminus \; \{\; 0\; \},\; \gamma \; \in \; R\; f\; L\; H\; (\; w,\; \gamma )\; \{\backslash displaystyle\; min\_\{w\backslash in\; R^\{d\}\backslash backslash\; \backslash \{0\backslash \},\backslash gamma\; \backslash in\; R\}f\_\{LH\}(w,\backslash gamma)\}$, such that the direction and length of the weights are updated separately. Denote the stopping criterion of GDNP as

  $h\; (\; w\; t,\; \gamma \; t)\; =\; E\; z\; [\; \varphi \; \prime \; (\; z\; T\; w\; ~\; t)\; ]\; (\; u\; T\; w\; t)\; -\; E\; z\; [\; \varphi \; ″\; (\; z\; T\; w\; ~\; t)\; ]\; (\; u\; T\; w\; t)\; 2\; \{\backslash displaystyle\; h(w\_\{t\},\backslash gamma\; \_\{t\})=E\_\{z\}[\backslash phi\; \text{'}(z^\{T\}\{\backslash tilde\; \{w\}\}\_\{t\})](u^\{T\}w\_\{t\})-E\_\{z\}[\backslash phi\; \text{'}\text{'}(z^\{T\}\{\backslash tilde\; \{w\}\}\_\{t\})](u^\{T\}w\_\{t\})^\{2\}\}$.

  Let the step size be

  $s\; t\; =\; s\; (\; w\; t,\; \gamma \; t)\; =\; -\; |\; |\; w\; t\; |\; |\; S\; 3\; L\; g\; t\; h\; (\; w\; t,\; \gamma \; t)\; \{\backslash displaystyle\; s\_\{t\}=s(\; w\_\; \{t\},\; \backslash \; gamma\; \_\; \{t\})\; =\; -\; \{\backslash \; frac\; \{||\; w\_\; \{t\}\; ||\; \_\; \{S\}\; ^\; \{3\}\}\; \{Lg\_\; \{t\}\; h\; (w\_\; \{t\},\; \backslash \; gamma\; \_\; \{t\})\}\}\}$.

  Для каждого шага, если $h\; (wt,\; \gamma \; t)\; \ne \; 0\; \{\backslash \; displaystyle\; h\; (w\_\; \{t\},\; \backslash \; gamma\; \_\; \{t\})\; \backslash \; neq\; 0\}$, затем обновите направление как

  $wt\; +\; 1\; =\; wt\; -\; st\; ▽\; wf\; (wt,\; \gamma \; t)\; \{\backslash \; displaystyle\; w\_\; \{t\; +\; 1\}\; =\; w\_\; \{t\}\; -s\_\; \{t\}\; \backslash \; triangledown\; \_\; \{w\}\; f\; (w\_\; \{t\},\; \backslash \; gamma\; \_\; \{t\})\}$.

  Затем обновите длину в соответствии с

  $\gamma \; t\; =\; B\; isection\; (T\; s,\; f,\; wt)\; \{\backslash \; displaystyle\; \backslash \; gamma\; \_\; \{\; t\}\; =\; Bisection\; (T\_\; \{s\},\; f,\; w\_\; \{t\})\}$, где $B\; isection\; ()\; \{\backslash \; displaystyle\; Bisection\; ()\}$- классический алгоритм деления пополам, а $T\; s\; \{\backslash \; displaystyle\; T\_\; \{s\}\}$- общее количество итераций, выполненных на этапе деления пополам.

  Обозначьте общее количество итераций как $T\; d\; \{\backslash \; displaystyle\; T\_\; \{d\}\}$, тогда окончательный результат GDNP будет

  $w\; ~\; T\; d\; =\; \gamma \; T\; dw\; T\; d\; |\; |\; w\; T\; d\; |\; |\; S\; \{\backslash \; Displaystyle\; \{\backslash \; тильда\; \{w\}\}\; \_\; \{T\_\; \{d\}\}\; =\; \backslash \; gamma\; \_\; \{T\_\; \{d\}\}\; \{\backslash \; frac\; \{w\_\; \{T\_\; \{d\}\}\}\; \{||\; w\_\; \{T\_\; \{d\}\}\; ||\; \_\; \{S\}\}\}\}$.

  Таким образом, алгоритм GDNP немного изменяет этап пакетной нормализации для упрощения математического анализа.

  Можно показать, что в GDNP частная производная $f\; LH\; \{\backslash \; displaystyle\; f\_\; \{LH\}\}$по компоненту длины сходится к нулю с линейной скоростью, например что

  $(\partial \; \gamma \; е\; LH\; (вес,\; при\; (T\; s))\; 2\; \le \; 2\; -\; T\; s\; \zeta \; |\; bt\; (0)\; -\; при\; (0)\; |\; \mu \; 2\; \{\backslash \; displaystyle\; (\backslash \; partial\; \_\; \{\backslash \; gamma\}\; f\_\; \{LH\}\; (w\_\; \{t\},\; a\_\; \{t\}\; ^\; \{(T\_\; \{s\})\})\; ^\; \{2\}\; \backslash \; leq\; \{\backslash \; frac\; \{2\; ^\; \{-\; T\_\; \{s\}\}\; \backslash \; zeta\; |\; b\_\; \{t\}\; ^\; \{(0)\}\; -\; a\_\; \{t\}\; ^\; \{(0)\}\; |\}\; \{\backslash \; mu\; ^\; \{2\}\}\}\}$, где $at\; (0)\; \{\backslash \; displaystyle\; a\_\; \{t\}\; ^\; \{(0)\}\}$и $bt\; 0\; \{\backslash \; displaystyle\; b\_\; \{t\}\; ^\; \{0\}\}$- две начальные точки алгоритма деления пополам слева и справа, соответственно.

  Кроме того, для каждой итерации уровня градиента $f\; LH\; \{\backslash \; displaystyle\; f\_\; \{LH\}\}$относительно $w\; \{\backslash \; displaystyle\; w\}$сходится линейно, так что

  $|\; |\; wt\; |\; |\; S\; 2\; |\; |\; ▽\; f\; LH\; (wt,\; gt)\; |\; |\; S\; -\; 1\; 2\; \le \; (1\; -\; \mu \; L)\; 2\; t\; \Phi \; 2\; \gamma \; t\; 2\; (\rho \; (w\; 0)\; -\; \rho \; \ast )\; \{\backslash \; displaystyle\; ||\; w\_\; \{t\}\; ||\; \_\; \{S\}\; ^\; \{2\}\; ||\; \backslash \; треугольник\; вниз\; f\_\; \{LH\}\; (w\_\; \{t\},\; g\_\; \{t\})\; ||\; \_\; \{S\; ^\; \{\; -\; 1\}\}\; ^\; \{2\}\; \backslash \; leq\; \{\backslash \; bigg\; (\}\; 1\; -\; \{\backslash \; frac\; \{\backslash \; mu\}\; \{L\}\}\; \{\backslash \; bigg)\}\; ^\; \{2t\}\; \backslash \; Phi\; ^\; \{2\}\; \backslash \; gamma\; \_\; \{t\}\; ^\; \{2\}\; (\backslash \; rho\; (w\_\; \{\; 0\})\; -\; \backslash \; rho\; ^\; \{*\})\}$.

  Объединение этих двух неравенства, таким образом, может получена граница градиента относительно $w\; ~\; T\; d\; \{\backslash \; displaystyle\; \{\backslash \; tilde\; \{w\}\}\; \_\; \{T\_\; \{\; d\}\}\}$:

  $|\; |\; ▽\; w\; ~\; f\; (w\; ~\; T\; d)\; |\; |\; 2\; \le \; (1\; -\; \mu \; L)\; 2\; T\; d\; \Phi \; 2\; (\rho \; (w\; 0)\; -\; \rho \; \ast )\; +\; 2\; -\; T\; s\; \zeta \; |\; b\; t\; (0)\; -\; a\; t\; (0)\; |\; \mu \; 2\; \{\backslash \; displaystyle\; ||\; \backslash \; triangledown\; \_\; \{\backslash \; tilde\; \{w\}\}\; f\; (\{\backslash \; tilde\; \{w\}\}\; \_\; \{T\_\; \{d\}\})\; ||\; ^\; \{2\}\; \backslash \; leq\; \{\backslash \; bigg\; (\}\; 1-\; \{\backslash \; frac\; \{\backslash \; mu\}\; \{L\}\}\; \{\backslash \; bigg)\}\; ^\; \{2T\_\; \{d\}\}\; \backslash \; Phi\; ^\; \{2\}\; (\backslash \; rho\; (w\_\; \{0\})\; -\; \backslash \; rho\; ^\; \{*\})\; +\; \{\backslash \; frac\; \{2\; ^\; \{-\; T\_\; \{s\}\}\; \backslash \; zeta\; |\; b\_\; \{t\}\; ^\; \{(0)\}\; -\; a\_\; \{t\}\; ^\; \{(0)\}\; |\}\; \{\backslash \; mu\; ^\; \{2\}\}\}\}$, что гарантирует линейную сходимость алгоритма.

  Хотя доказано, что предположение о гауссовском вводе, в экспериментах также показано, что GDNP может ускорить оптимизацию без ограничения.

  Линейная конвергенция нейронных сетей с пакетной нормализацией

  Рассмотрим многослойный персептрон (MLP) с одним скрытым слоем и $m\; \{\backslash \; displaystyle\; m\}$скрытые блоки с отображением из входа $x\; \in \; R\; d\; \{\backslash \; displaystyle\; x\; \backslash \; in\; R\; ^\; \{d\}\}$в скалярный вывод, описанный как

  $F\; x\; (W\; ~,\; \Theta )\; Знак\; равно\; \sum \; я\; знак\; равно\; 1\; м\; \theta \; я\; \varphi \; (Икс\; T\; вес\; ~\; (я))\; \{\backslash \; Displaystyle\; F\_\; \{x\}\; (\{\backslash \; тильда\; \{W\}\},\; \backslash \; Theta)\; =\; \backslash \; сумма\; \_\; \{я\; =\; 1\}\; ^\; \{м\; \}\; \backslash \; theta\; \_\; \{i\}\; \backslash \; phi\; (x\; ^\; \{T\}\; \{\backslash \; tilde\; \{w\}\}\; ^\; \{(i)\})\}$, где $w\; ~\; (i)\; \{\backslash \; displaystyle\; \{\; \backslash \; tilde\; \{w\}\}\; ^\; \{(i)\}\}$и $\theta \; i\; \{\backslash \; displaystyle\; \backslash \; theta\; \_\; \{i\}\}$- вес входа и выхода единицы $i\; \{\backslash \; displaystyle\; i\}$соответственно, и $\varphi \; \{\backslash \; displaystyle\; \backslash \; phi\}$- функция активации и обязательством, что это tanh-функция.

  , тогда вес входа и выхода могут быть оптимизированы с помощью

  $min\; W\; ~,\; \Theta \; (f\; NN\; (W\; ~,\; \Theta )\; =\; E\; y,\; x\; [l\; (-\; y\; F\; x\; (W\; ~,\; \Theta ))])\; \{\backslash \; displaystyle\; min\; \_\; \{\{\backslash \; тильда\; \{W\}\},\; \backslash \; Theta\}\; (f\_\; \{NN\}\; (\{\backslash \; til\; de\; \{W\}\},\; \backslash \; Theta)\; =\; E\_\; \{y,\; x\}\; [l\; (-yF\_\; \{x\}\; (\{\backslash \; tilde\; \{W\}\}),\; \backslash \; Theta))])\}$, где $l\; \{\backslash \; displaystyle\; l\}$- функция потерь, $W\; ~\; =\; \{w\; ~\; (1),...\; вес\; ~\; (м)\}\; \{\backslash \; Displaystyle\; \{\backslash \; тильда\; \{W\}\}\; =\; \backslash \; \{\{\backslash \; тильда\; \{w\}\}\; ^\; \{(1)\},...,\; \{\backslash \; тильда\; \{ш\}\}\; ^\; \{(м)\}\; \backslash \}\}$и $\Theta \; =\; \{\theta \; (1),...,\; \theta \; (m)\}\; \{\backslash \; displaystyle\; \backslash \; Theta\; =\; \backslash \; \{\backslash \; theta\; ^\; \{(1)\},...,\; \backslash \; theta\; ^\; \{(m)\}\; \backslash \}\}$.

  Считайте фиксированным $\Theta \; \{\backslash \; displaystyle\; \backslash \; Theta\}$и оптимизируя только $W\; ~\; \{\backslash \; displaystyle\; \{\backslash \; tilde\; \{W\}\}\}$, можно показать, что критические точки $f\; NN\; (W\; ~)\; \{\backslash \; displaystyle\; f\_\; \{NN\}\; (\{\backslash \; tilde\; \{W\}\})\}$определенного скрытого объекта $i\; \{\backslash \; displaystyle\; i\}$, $w\; ^\; (i)\; \{\backslash \; displaystyle\; \{\backslash \; hat\; \{\; w\}\}\; ^\; \{(i)\}\}$, все выравниваются по одной линии в зависимости от входящей информации в скрытый слой, так что

  $w\; ^\; (i)\; =\; c\; ^\; (я)\; S\; -\; 1\; u\; \{\backslash \; displaystyle\; \{\backslash \; hat\; \{w\}\}\; ^\; \{(i)\}\; =\; \{\backslash \; hat\; \{c\}\}\; ^\; \{(i)\}\; S\; ^\; \{-\; 1\}\; u\}$, где $c\; ^\; (i)\; \in \; R\; \{\backslash \; displaystyle\; \{\backslash \; hat\; \{c\}\}\; ^\; \{(i)\}\; \backslash \; in\; R\}$- скаляр, $i\; =\; 1,...,\; m\; \{\backslash \; displaystyle\; i\; =\; 1,...,\; m\}$.

  Этот результат можно проверить, установив градиент $f\; NN\; \{\backslash \; displaystyle\; f\_\; \{NN\}\}$равным нулю и решение уравнений системы.

  Примените алгоритм GDNP к этой задаче оптимизации, поочередно оптимизируя различные скрытые блоки. В частности, для каждого скрытого блока запустите GDNP, чтобы найти оптимальные $W\; \{\backslash \; displaystyle\; W\}$и $\gamma \; \{\backslash \; displaystyle\; \backslash \; gamma\}$. При таком же выборе критерия остановки и размера шага следует, что

  $|\; |\; ▽\; w\; ~\; (i)\; f\; (w\; ~\; t\; (i))\; |\; |\; S\; -\; 1\; 2\; \le \; (1\; -\; \mu \; L)\; 2\; t\; C\; (\rho \; (w\; 0)\; -\; \rho \; \ast )\; +\; 2\; -\; T\; s\; (i)\; \zeta \; |\; b\; t\; (0)\; -\; a\; t\; (0)\; |\; \mu \; 2\; \{\backslash \; displaystyle\; ||\; \backslash \; triangledown\; \_\; \{\{\backslash \; tilde\; \{w\}\}\; ^\; \{(i)\}\}\; f\; (\{\backslash \; tilde\; \{w\}\}\; \_\; \{t\}\; ^\; \{(i)\})\; ||\; \_\; \{S\; ^\; \{-\; 1\}\}\; ^\; \{2\}\; \backslash \; leq\; \{\backslash \; bigg\; (\}\; 1\; -\; \{\backslash \; frac\; \{\backslash \; mu\}\; \{L\}\}\; \{\backslash \; bigg)\}\; ^\; \{2t\}\; C\; (\backslash \; rho\; (w\_\; \{0\; \})\; -\; \backslash \; rho\; ^\; \{*\})\; +\; \{\backslash \; frac\; \{2\; ^\; \{-\; T\_\; \{s\}\; ^\; \{(i)\}\}\; \backslash \; zeta\; |\; b\_\; \{t\}\; ^\; \{(0)\}\; -\; a\_\; \{t\}\; ^\; \{(0)\}\; |\}\; \{\backslash \; mu\; ^\; \{2\}\}\}\}$.

  Временные параметры каждой скрытой единицы сходятся линейно, вся задача оптимизации имеет линейную скорость сходимости.

  Список литературы
  • Иоффе Сергей; Сегеди, Кристиан (2015). «Пакетная нормализация: ускорение глубокого обучения сети за счет уменьшения внутреннего ковариатного сдвига», ICML'15: Материалы 32-й конференции по международной конференции по машинному обучению - Том 37, июль 2015 г. Страницы 448–456