Дифференцируемый нейронный компьютер

Архитектура искусственной нейронной сети Дифференцируемый нейронный компьютер, обученный хранить и вспоминать плотные двоичные числа. Показано выполнение эталонного задания во время обучения. Вверху слева: вход (красный) и цель (синий) в виде 5-битных слов и 1-битного сигнала прерывания. Вверху справа: результат модели.

В искусственном интеллекте, дифференцируемый нейронный компьютер (DNC ) - это нейронная сеть с расширенной памятью архитектура (MANN), которая обычно (не по определению) повторяется в своей реализации. Модель была опубликована в 2016 году Алексом Грейвсом и др. из DeepMind.

• 1 Приложения
• 2 Архитектура
  • 2.1 Традиционный DNC
  • 2.2 Расширения
• 3 Ссылки
• 4 Внешние ссылки

DNC косвенно черпает вдохновение в архитектуре фон-Неймана, что делает его более эффективным, чем обычные архитектуры в задачах, которые в основном являются алгоритмическими, которые невозможно изучить, найдя границу принятия решения.

До сих пор DNC было продемонстрировано, что он справляется только с относительно простыми задачами, которые можно решить с помощью обычного программирования. Но DNC не нужно программировать для каждой задачи, их можно обучить. Эта концентрация внимания позволяет пользователю последовательно загружать сложные структуры данных, такие как графики, и вызывать их для дальнейшего использования. Кроме того, они могут изучить аспекты символического мышления и применить его к рабочей памяти. Исследователи, опубликовавшие этот метод, видят обещание, что DNC можно обучить для выполнения сложных, структурированных задач и работы с приложениями с большими данными, которые требуют каких-то рассуждений, таких как создание видео-комментариев или семантический анализ текста.

DNC может быть обученным ориентироваться в системах скоростного транспорта и применять эту сеть к другой системе. Нейронной сети без памяти, как правило, придется изучать каждую транзитную систему с нуля. В задачах обхода графа и обработки последовательностей с контролируемым обучением DNC работали лучше, чем альтернативы, такие как долговременная краткосрочная память или нейронная машина Тьюринга. Используя подход обучения с подкреплением к задаче головоломки с блоками, вдохновленный SHRDLU, DNC прошел обучение по учебной программе и научился составлять план. Он работал лучше, чем традиционная рекуррентная нейронная сеть.

Схема системы DNC

Сети DNC были представлены как расширение нейронной машины Тьюринга (NTM) с добавлением механизмов внимания к памяти, которые контролируют, где хранится память, и временного внимания, которое записывает порядок событий. Эта структура позволяет DNC быть более надежным и абстрактным, чем NTM, и при этом выполнять задачи, которые имеют более долгосрочные зависимости, чем некоторые предшественники, такие как Long Short Term Memory (LSTM ). Память, которая представляет собой просто матрицу, может быть распределена динамически и доступна неограниченное время. DNC является дифференцируемым сквозным (дифференцируемым каждый подкомпонент модели, следовательно, и вся модель). Это позволяет их эффективно оптимизировать с помощью градиентного спуска.

Модель DNC похожа на архитектуру фон Неймана, а из-за возможности изменения размера памяти она полная по Тьюрингу.

Традиционный DNC

DNC, как было изначально опубликовано

Независимые переменные
$xt\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{x\}\; \_\; \{t\}\}$	Входной вектор
$zt\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{z\}\; \_\; \{t\}\}$	Целевой вектор
Контроллер
$\chi \; t\; =\; [xt;\; r\; t\; -\; 1\; 1;\; \cdots ;\; rt\; -\; 1\; R]\; \{\backslash \; displaystyle\; \{\backslash \; boldsymbol\; \{\backslash \; chi\}\}\; \_\; \{t\}\; =\; [\backslash \; mathbf\; \{x\}\; \_\; \{t\};\; \backslash \; mathbf\; \{r\}\; \_\; \{t-1\}\; ^\; \{1\};\; \backslash \; cdots\; ;\; \backslash \; mathbf\; \{r\}\; \_\; \{t-1\}\; ^\; \{R\}]\}$	Входная матрица контроллера
Глубокая (многоуровневая) LSTM	$\forall \; 0\; \le \; l\; \le \; L\; \{\backslash \; displaystyle\; \backslash \; forall\; \backslash ;\; 0\; \backslash \; leq\; l\; \backslash \; leq\; L\}$
$itl\; =\; \sigma \; (W\; il\; [\chi \; t;\; ht\; -\; 1\; l;\; htl\; -\; 1]\; +\; bil)\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{i\}\; \_\; \{t\}\; ^\; \{l\}\; =\; \backslash \; sigma\; (W\_\; \{i\}\; ^\; \{l\}\; [\{\backslash \; boldsymbol\; \{\backslash \; chi\}\}\; \_\; \{t\};\; \backslash \; mathbf\; \{h\}\; \_\; \{t-1\}\; ^\; \{l\};\; \backslash \; mathbf\; \{h\}\; \_\; \{t\}\; ^\; \{\; l-1\}]\; +\; \backslash \; mathbf\; \{b\}\; \_\; \{i\}\; ^\; \{l\})\}$	Вектор входных вентилей
$otl\; =\; \sigma \; (W\; ol\; [\chi \; t;\; ht\; -\; 1\; l;\; htl\; -\; 1]\; +\; bol)\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{o\}\; \_\; \{t\}\; ^\; \{l\}\; =\; \backslash \; sigma\; (W\_\; \{o\}\; ^\; \{l\}\; [\{\backslash \; boldsymbol\; \{\backslash \; chi\}\}\; \_\; \{t\};\; \backslash \; mathbf\; \{h\}\; \_\; \{t-1\}\; ^\; \{l\};\; \backslash \; mathbf\; \{h\}\; \_\; \{t\}\; ^\; \{l-1\}]\; +\; \backslash \; mathbf\; \{b\}\; \_\; \{o\}\; ^\; \{l\})\}$	Выходной вентильный вектор
$ftl\; знак\; равно\; \sigma \; (W\; fl\; [\chi \; t;\; ht\; -\; 1\; l;\; HTL\; -\; 1]\; +\; bfl)\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{f\}\; \_\; \{t\}\; ^\; \{l\}\; =\; \backslash \; sigma\; (W\_\; \{f\}\; ^\; \{l\; \}\; [\{\backslash \; boldsymbol\; \{\backslash \; chi\}\}\; \_\; \{t\};\; \backslash \; mathbf\; \{h\}\; \_\; \{t-1\}\; ^\; \{l\};\; \backslash \; mathbf\; \{h\}\; \_\; \{t\}\; ^\; \{l-1\}]\; +\; \backslash \; mathbf\; \{b\}\; \_\; \{f\}\; ^\; \{l\})\}$	Забыть вектор гейта
$stl\; =\; ftlst\; -\; 1\; l\; +\; itl\; tanh\; \; (W\; s\; l\; [\chi \; t;\; ч\; т\; -\; 1\; л;\; htl\; -\; 1]\; +\; bsl)\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{s\}\; \_\; \{t\}\; ^\; \{l\}\; =\; \backslash \; mathbf\; \{f\}\; \_\; \{t\}\; ^\; \{l\}\; \backslash \; mathbf\; \{s\}\; \_\; \{t-1\}\; ^\; \{\; l\}\; +\; \backslash \; mathbf\; \{i\}\; \_\; \{t\}\; ^\; \{l\}\; \backslash \; tanh\; (W\_\; \{s\}\; ^\; \{l\}\; [\{\backslash \; boldsymbol\; \{\backslash \; chi\}\}\; \_\; \{t\};\; \backslash \; mathbf\; \{h\}\; \_\; \{t-\; 1\}\; ^\; \{l\};\; \backslash \; mathbf\; \{h\}\; \_\; \{t\}\; ^\; \{l-1\}]\; +\; \backslash \; mathbf\; \{b\}\; \_\; \{s\}\; ^\; \{l\})\}$	Вектор состояния ворот,. $s\; 0\; =\; 0\; \{\backslash \; displaystyle\; s\_\; \{0\}\; =\; 0\}$
$htl\; =\; otl\; tanh\; \; (stl)\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{h\}\; \_\; \{t\}\; ^\; \{l\}\; =\; \backslash \; mathbf\; \{o\}\; \_\; \{t\}\; ^\; \{l\}\; \backslash \; tanh\; (\backslash \; mathbf\; \{s\}\; \_\; \{t\}\; ^\; \{l\})\}$	Вектор скрытых ворот,. $h\; 0\; =\; 0;\; час\; T\; 0\; знак\; равно\; 0\; \forall \; T\; \{\backslash \; displaystyle\; h\_\; \{0\}\; =\; 0;\; h\_\; \{t\}\; ^\; \{0\}\; =\; 0\; \backslash ;\; \backslash \; forall\; \backslash ;\; t\}$
$y\; t\; =\; W\; y\; [час\; t\; 1;\; \cdots ;\; h\; t\; L]\; +\; W\; r\; [r\; t\; 1;\; \cdots ;\; rt\; R]\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{y\}\; \_\; \{t\}\; =\; W\_\; \{y\}\; [\backslash \; mathbf\; \{h\}\; \_\; \{t\}\; ^\; \{1\};\; \backslash \; cdots;\; \backslash \; mathbf\; \{h\}\; \_\; \{t\}\; ^\; \{L\; \}]\; +\; W\_\; \{r\}\; [\backslash \; mathbf\; \{r\}\; \_\; \{t\}\; ^\; \{1\};\; \backslash \; cdots;\; \backslash \; mathbf\; \{r\}\; \_\; \{t\}\; ^\; \{R\}]\}$	Вектор вывода DNC
Читать Записать головки
$\xi \; t\; =\; W\; \xi \; [ht\; 1;\; \cdots ;\; ht\; L]\; \{\backslash \; displaystyle\; \backslash \; xi\; \_\; \{t\}\; =\; W\; \_\; \{\backslash \; xi\}\; [h\_\; \{t\}\; ^\; \{1\};\; \backslash \; cdots;\; h\_\; \{t\}\; ^\; \{L\}]\}$	Параметры интерфейса
$=\; [ктр,\; 1;\; \cdots ;\; к\; т\; р,\; R;\; \beta \; ^\; t\; r,\; 1;\; \cdots ;\; \beta \; ^\; t\; r,\; R;\; к\; т\; ш;\; \beta \; t\; w\; ^;\; e\; ^\; t;\; v\; t;\; f\; t\; 1\; ^;\; \cdots ;\; f\; t\; R\; ^;\; г\; ^\; т\; а;\; г\; ^\; т\; ш;\; \pi \; ^\; t\; 1;\; \cdots ;\; \pi \; ^\; T\; R]\; \{\backslash \; displaystyle\; =\; [\backslash \; mathbf\; \{k\}\; \_\; \{t\}\; ^\; \{r,\; 1\};\; \backslash \; cdots;\; \backslash \; mathbf\; \{k\}\; \_\; \{t\}\; ^\; \{r,\; R\};\; \{\backslash \; hat\; \{\backslash \; бета\}\}\; \_\; \{т\}\; ^\; \{г,\; 1\};\; \backslash \; cdots;\; \{\backslash \; шляпа\; \{\backslash \; бета\}\}\; \_\; \{т\}\; ^\; \{г,\; R\};\; \backslash \; mathbf\; \{k\}\; \_\; \{т\}\; ^\; \{ш\};\; \{\backslash \; hat\; \{\backslash \; beta\; \_\; \{t\}\; ^\; \{w\}\}\};\; \backslash \; mathbf\; \{\backslash \; hat\; \{e\}\}\; \_\; \{t\};\; \backslash \; mathbf\; \{v\}\; \_\; \{t\};\; \{\backslash \; hat\; \{f\_\; \{t\}\; ^\; \{1\}\}\};\; \backslash \; cdots;\; \{\backslash \; hat\; \{f\_\; \{t\}\; ^\; \{R\}\}\};\; \{\backslash \; hat\; \{g\}\}\; \_\; \{t\}\; ^\; \{a\};\; \{\backslash \; hat\; \{g\}\}\; \_\; \{t\; \}\; ^\; \{w\};\; \{\backslash \; hat\; \{\backslash \; boldsymbol\; \{\backslash \; pi\}\}\}\; \_\; \{t\}\; ^\; \{1\};\; \backslash \; cdots;\; \{\backslash \; hat\; \{\backslash \; boldsymbol\; \{\backslash \; pi\}\}\}\; \_\; \{t\}\; ^\; \{R\}\; ]\}$
Считывание головок	$\forall \; 1\; \le \; я\; \le \; R\; \{\backslash \; displaystyle\; \backslash \; forall\; \backslash ;\; 1\; \backslash \; leq\; i\; \backslash \; leq\; R\}$
$ktr,\; i\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{k\}\; \_\; \{t\}\; ^\; \{r,\; i\}\}$	Чтение ключей
$\beta \; tr,\; i\; =\; oneplus\; (\beta \; ^\; tr,\; i)\; \{\backslash \; displaystyle\; \backslash \; beta\; \_\; \{t\}\; ^\; \{r,\; i\}\; =\; \{\backslash \; text\; \{oneplus\}\}\; (\{\backslash \; hat\; \{\backslash \; beta\}\}\; \_\; \{t\}\; ^\; \{r,\; i\})\}$	Прочитать силу
$fti\; =\; \sigma \; (f\; ^\; ti)\; \{\backslash \; displaystyle\; f\_\; \{t\}\; ^\; \{i\}\; =\; \backslash \; sigma\; (\{\backslash \; hat\; \{f\}\}\; \_\; \{t\}\; ^\; \{i\})\}$	Свободные ворота
$\pi \; ti\; =\; softmax\; (\pi \; ^\; ti)\; \{\backslash \; displaystyle\; \{\backslash \; boldsymbol\; \{\backslash \; pi\}\}\; \_\; \{t\; \}\; ^\; \{i\}\; =\; \{\backslash \; text\; \{softmax\}\}\; (\{\backslash \; hat\; \{\backslash \; boldsymbol\; \{\backslash \; pi\}\}\}\; \_\; \{t\}\; ^\; \{i\})\}$	Режимы чтения,. $\pi \; ti\; \in \; р\; 3\; \{\backslash \; displaystyle\; \{\backslash \; boldsymbol\; \{\backslash \; pi\}\}\; \_\; \{t\}\; ^\; \{i\}\; \backslash \; in\; \backslash \; mathbb\; \{R\}\; ^\; \{3\}\}$
Записать голову
$ktw\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{k\}\; \_\; \{t\}\; ^\; \{w\}\}$	Записать ключ
$\beta \; tw\; =\; \beta \; ^\; tw\; \{\backslash \; displaystyle\; \backslash \; beta\; \_\; \{t\}\; ^\; \{w\}\; =\; \{\backslash \; hat\; \{\backslash \; beta\}\}\; \_\; \{t\}\; ^\; \{w\}\}$	Сила записи
$et\; =\; \sigma \; (e\; ^\; t)\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{e\}\; \_\; \{t\}\; =\; \backslash \; sigma\; (\backslash \; mathbf\; \{\backslash \; hat\; \{e\}\}\; \_\; \{t\})\}$	Удалить вектор
$vt\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{v\}\; \_\; \{t\}\}$	Записать вектор
$gta\; =\; \sigma \; (g\; ^\; ta)\; \{\backslash \; displaystyle\; g\_\; \{t\}\; ^\; \{a\}\; =\; \backslash \; sigma\; (\{\backslash \; hat\; \{g\}\}\; \_\; \{t\}\; ^\; \{a\})\}$	Шлюз распределения
$gtw\; =\; \sigma \; (g\; ^\; tw)\; \{\backslash \; displaystyle\; g\_\; \{t\}\; ^\; \{w\}\; =\; \backslash \; sigma\; (\{\backslash \; hat\; \{g\}\}\; \_\; \{t\}\; ^\; \{w\})\}$	Шлюз записи
Память
$M\; T\; знак\; равно\; M\; T\; -\; 1\; \circ \; (E\; -\; wtwet\; ⊺)\; +\; wtwvt\; ⊺\; \{\backslash \; displaystyle\; M\_\; \{t\}\; =\; M\_\; \{t-1\}\; \backslash \; circ\; (E-\; \backslash \; mathbf\; \{w\}\; \_\; \{t\}\; ^\; \{w\; \}\; \backslash \; mathbf\; \{e\}\; \_\; \{t\}\; ^\; \{\backslash \; intercal\})\; +\; \backslash \; mathbf\; \{w\}\; \_\; \{t\}\; ^\; \{w\}\; \backslash \; mathbf\; \{v\}\; \_\; \{t\}\; ^\; \{\backslash \; intercal\}\}$	Матрица памяти,. Матрица единиц $E\; \in \; RN\; \times \; W\; \{\backslash \; displaystyle\; E\; \backslash \; in\; \backslash \; mathbb\; \{R\}\; ^\; \{N\; \backslash \; times\; W\}\}$
$ut\; =\; (ut\; -\; 1\; +\; wt\; -\; 1\; w\; -\; ut\; -\; 1\; \circ \; вес\; -\; 1\; вес)\; \circ \; \psi \; T\; \{\backslash \; Displaystyle\; \backslash \; mathbf\; \{u\}\; \_\; \{t\}\; =\; (\backslash \; mathbf\; \{u\}\; \_\; \{t-1\}\; +\; \backslash \; mathbf\; \{w\}\; \_\; \{t-1\}\; ^\; \{\; w\}\; -\; \backslash \; mathbf\; \{\; u\}\; \_\; \{t-1\}\; \backslash \; circ\; \backslash \; mathbf\; \{w\}\; \_\; \{t-1\}\; ^\; \{w\})\; \backslash \; circ\; \{\backslash \; boldsymbol\; \{\backslash \; psi\}\}\; \_\; \{t\}\}$	Вектор использования
$pt\; Знак\; равно\; (1\; -\; \sum \; iwtw\; [я])\; pt\; -\; 1\; +\; wtw\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{p\}\; \_\; \{t\}\; =\; \backslash \; left\; (1-\; \backslash \; sum\; \_\; \{i\}\; \backslash \; mathbf\; \{w\}\; \_\; \{t\}\; ^\; \{\; w\}\; [i]\; \backslash \; right)\; \backslash \; mathbf\; \{p\}\; \_\; \{t-1\}\; +\; \backslash \; mathbf\; \{w\}\; \_\; \{t\}\; ^\; \{w\}\}$	Взвешивание приоритета,. $p\; 0\; =\; 0\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{p\}\; \_\; \{0\}\; =\; \backslash \; mathbf\; \{0\}\}$
$L\; t\; =\; (1\; -\; I)\; [(1\; -\; wtw\; [i]\; -\; wtj)\; L\; t\; -\; 1\; [i,\; j]\; +\; wtw\; [я]\; pt\; -\; 1\; j]\; \{\backslash \; displaystyle\; L\_\; \{t\}\; =\; (\backslash \; mathbf\; \{1\}\; -\; \backslash \; mathbf\; \{I\})\; \backslash \; left\; [(1-\; \backslash \; mathbf\; \{w\}\; \_\; \{t\}\; ^\; \{w\}\; [i]\; -\; \backslash \; mathbf\; \{w\}\; \_\; \{t\}\; ^\; \{j\})\; L\_\; \{t-1\}\; [i,\; j]\; +\; \backslash \; mathbf\; \{w\}\; \_\; \{t\}\; ^\; \{w\}\; [i]\; \backslash \; mathbf\; \{p\; \}\; \_\; \{t-1\}\; ^\; \{j\}\; \backslash \; right]\}$	Матрица временных связей,. $L\; 0\; =\; 0\; \{\backslash \; displaystyle\; L\_\; \{0\}\; =\; \backslash \; mathbf\; \{0\}\}$
$wtw\; =\; gtw\; [gtaat\; +\; (1\; -\; gta)\; ctw]\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{w\}\; \_\; \{t\}\; ^\; \{w\}\; =\; g\_\; \{t\}\; ^\; \{w\}\; [g\_\; \{t\}\; ^\; \{a\}\; \backslash \; mathbf\; \{a\; \}\; \_\; \{t\}\; +\; (1-g\_\; \{t\}\; ^\; \{a\})\; \backslash \; mathbf\; \{c\}\; \_\; \{t\}\; ^\; \{w\}]\}$	Записать взвешивание
$wtr,\; i\; =\; \pi \; ti\; [1]\; bti\; +\; \pi \; ti\; [2]\; ctr,\; я\; +\; \pi \; ti\; [3]\; fti\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{w\}\; \_\; \{t\}\; ^\; \{r,\; i\}\; =\; \{\backslash \; bold\; символ\; \{\backslash \; pi\}\}\; \_\; \{t\}\; ^\; \{i\}\; [1]\; \backslash \; mathbf\; \{b\}\; \_\; \{t\}\; ^\; \{i\}\; +\; \{\backslash \; boldsymbol\; \{\backslash \; pi\}\}\; \_\; \{t\}\; ^\; \{i\}\; [2]\; c\_\; \{t\}\; ^\; \{r,\; i\}\; +\; \{\backslash \; boldsymbol\; \{\backslash \; pi\}\}\; \_\; \{t\}\; ^\; \{i\}\; [3]\; f\_\; \{t\}\; ^\; \{i\}\}$	Считывание взвешивания
$rti\; =\; M\; t\; ⊺\; wtr,\; я\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{r\}\; \_\; \{t\}\; ^\; \{i\}\; =\; M\_\; \{t\}\; ^\; \{\backslash \; intercal\}\; \backslash \; mathbf\; \{w\}\; \_\; \{t\}\; ^\; \{r,\; i\}\}$	Считать векторы
$C\; (M,\; k,\; \beta )\; [i]\; =\; exp\; \; \{D\; (k,\; M\; [i,\; \cdot ])\; \beta \}\; \sum \; j\; exp\; \; \{D\; (k,\; M\; [j,\; \cdot ])\; \beta \; \}\; \{\backslash \; displaystyle\; \{\backslash \; mathcal\; \{C\}\}\; (M,\; \backslash \; mathbf\; \{k\},\; \backslash \; beta)\; [i]\; =\; \{\backslash \; frac\; \{\backslash \; exp\; \backslash \; \{\{\backslash \; mathcal\; \{D\}\}\; (\backslash \; mathbf\; \{k\},\; M\; [i,\; \backslash \; cdot])\; \backslash \; beta\; \backslash \}\}\; \{\backslash \; sum\; \_\; \{j\}\; \backslash \; exp\; \backslash \; \{\{\backslash \; mathcal\; \{D\}\}\; (\backslash \; mathbf\; \{k\},\; M\; [j,\; \backslash \; cdot])\; \backslash \; beta\; \backslash \}\}\; \}\}$	Адресация на основе содержимого,. ключ поиска $k\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{k\}\}$, сила ключа $\beta \; \{\backslash \; displaystyle\; \backslash \; beta\}$
$\varphi \; t\; \{\backslash \; displaystyle\; \backslash \; phi\; \_\; \{t\}\}$	Индексы $ut\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{u\}\; \_\; \{t\}\}$,., отсортированные в порядке возрастания использования
$в\; [\varphi \; t\; [j]]\; =\; (1\; -\; ут\; [\varphi \; t\; [j]])\; \prod \; я\; знак\; равно\; 1\; j\; -\; 1\; ут\; [\varphi \; t\; [я]]\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{a\}\; \_\; \{t\}\; [\backslash \; phi\; \_\; \{t\; \}\; [j]]\; =\; (1-\; \backslash \; mathbf\; \{u\}\; \_\; \{t\}\; [\backslash \; phi\; \_\; \{t\}\; [j]])\; \backslash \; pr\; od\; \_\; \{i\; =\; 1\}\; ^\; \{j-1\}\; \backslash \; mathbf\; \{u\}\; \_\; \{t\}\; [\backslash \; phi\; \_\; \{t\}\; [i]]\}$	Распределение веса
$ctw\; =\; C\; (M\; t\; -\; 1,\; ktw,\; \beta \; tw)\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{c\}\; \_\; \{t\}\; ^\; \{w\}\; =\; \{\backslash \; mathcal\; \{C\}\}\; (M\_\; \{t-1\},\; \backslash \; mathbf\; \{k\}\; \_\; \{t\}\; ^\; \{w\; \},\; \backslash \; beta\; \_\; \{t\}\; ^\; \{w\})\}$	Запись веса содержимого
$ctr,\; i\; =\; C\; (M\; t\; -\; 1,\; ktr,\; i,\; \beta \; tr,\; i)\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{c\; \}\; \_\; \{t\}\; ^\; \{r,\; i\}\; =\; \{\backslash \; mathcal\; \{C\}\}\; (M\_\; \{t-1\},\; \backslash \; mathbf\; \{k\}\; \_\; \{t\}\; ^\; \{r,\; i\},\; \backslash \; beta\; \_\; \{t\}\; ^\; \{r,\; i\})\}$	Прочитать взвешивание содержимого
$fti\; =\; L\; twt\; -\; 1\; r,\; i\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{f\}\; \_\; \{t\}\; ^\; \{i\}\; =\; L\_\; \{t\}\; \backslash \; mathbf\; \{w\; \}\; \_\; \{t-1\}\; ^\; \{r,\; i\}\}$	Прямое взвешивание
$bti\; =\; L\; t\; ⊺\; wt\; -\; 1\; r,\; i\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{b\}\; \_\; \{t\}\; ^\; \{i\}\; =\; L\_\; \{t\}\; ^\; \{\backslash \; intercal\}\; \backslash \; mathbf\; \{w\}\; \_\; \{t-1\}\; ^\; \{r,\; i\}\}$	Обратное взвешивание
$\psi \; t\; =\; \prod \; i\; =\; 1\; R\; (1\; -\; ftiwt\; -\; 1\; r,\; я)\; \{\backslash \; displaystyle\; \{\backslash \; boldsymbol\; \{\backslash \; psi\}\}\; \_\; \{t\}\; =\; \backslash \; prod\; \_\; \{i\; =\; 1\}\; ^\; \{R\}\; \backslash \; left\; (\backslash \; mathbf\; \{1\}\; -f\_\; \{t\}\; ^\; \{i\}\; \backslash \; mathbf\; \{w\}\; \_\; \{t-1\}\; ^\; \{r,\; i\}\; \backslash \; right)\}$	Вектор сохранения памяти
Определения
$W,\; b\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{W\},\; \backslash \; mathbf\; \{b\}\}$	Матрица весов, вектор смещения
$0,\; 1,\; I\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{0\},\; \backslash \; mathbf\; \{1\},\; \backslash \; mathbf\; \{I\}\}$	Матрица нулей, матрица единиц, единичная матрица
$\circ \; \{\backslash \; displaystyle\; \backslash \; circ\}$	Элементное умножение
$D\; (U,\; v)\; знак\; равно\; U\; \cdot \; v\; \Vert \; U\; \Vert \; \Vert \; v\; \Vert \; \{\backslash \; displaystyle\; \{\backslash \; mathcal\; \{D\}\}\; (\backslash \; mathbf\; \{u\},\; \backslash \; mathbf\; \{v\})\; =\; \{\backslash \; frac\; \{\backslash \; mathbf\; \{u\}\; \backslash \; cdot\; \backslash \; mathbf\; \{v\}\}\; \{\backslash \; |\; \backslash \; mathbf\; \{u\}\; \backslash \; |\; \backslash \; |\; \backslash \; mathbf\; \{v\}\; \backslash \; |\}\}\}$	Косинусное сходство
$\sigma \; (x)\; =\; 1\; /\; (1\; +\; e\; -\; x)\; \{\backslash \; displaystyle\; \backslash \; sigma\; (x)\; =\; 1\; /\; (1\; +\; e\; ^\; \{-\; x\})\}$	сигмовидная функция
$oneplus\; (x)\; =\; 1\; +\; log\; \; (1\; +\; ex)\; \{\backslash \; displaystyle\; \{\backslash \; текст\; \{oneplus\}\}\; (x)\; =\; 1\; +\; \backslash \; log\; (1\; +\; e\; ^\; \{x\})\}$	Функция Oneplus
$softmax\; (x)\; j\; =\; exj\; \sum \; k\; =\; 1\; K\; exk\; \{\backslash \; displaystyle\; \{\backslash \; text\; \{softmax\}\}\; (\backslash \; mathbf\; \{x\})\; \_\; \{j\}\; =\; \{\backslash \; frac\; \{e\; ^\; \{x\_\; \{j\}\}\}\; \{\backslash \; sum\; \_\; \{k\; =\; 1\}\; ^\; \{K\}\; e\; ^\; \{x\_\; \{k\}\}\; \}\}\}$для j = 1,…, K.	Функция Softmax

Расширения

Усовершенствования включают адресацию разреженной памяти, которая уменьшает временную и пространственную сложность в тысячи раз. Это может быть достигнуто с помощью алгоритма приблизительного ближайшего соседа, такого как хеширование с учетом местоположения, или случайного дерева kd, например Fast Library for Approximate Neighbours from UBC. Добавление времени адаптивных вычислений (ACT) отделяет время вычислений от времени данных, которое использует тот факт, что длина проблемы и сложность проблемы не всегда одинаковы. Обучение с использованием синтетических градиентов работает значительно лучше, чем Обратное распространение во времени (BPTT). Устойчивость может быть улучшена с помощью нормализации слоев и обхода исключения в качестве регуляризации.

• Побитовое руководство по уравнениям, управляющим дифференцируемыми нейронными компьютерами
• Дифференцируемая нейронная сеть DeepMind глубоко мыслит