Редкая распределенная память

редактировать

Разреженная распределенная память (SDM ) - математическая модель человека с Верон термин памятью введен Пентти Канерва в 1988 году, когда он работал в Исследовательском центре Эймса НАСА. Это обобщенная оперативная память (RAM) для длинных (например, 1000 бит) двоичных слов. Эти слова как место адресами, так и данные для памяти. Посредством передачи данных через протоколы передачи данных, передаваемого через протокол передачи данных, передаваемых через протокол передачи данных, передается информация, передаваемая через протокол передачи данных. между адресами памяти ).

SDM реализует преобразование из логического пространства в физическом формате с использованием распределенного представления и хранения данных, аналогично адресно кодирование процессов в. Значение, соответствующее логический адрес хранится во многих физическихах. Ячейка памяти не адресуется напрямую. Если входные данные (логические адреса) частично повреждены, мы все равно можем получить правильные выходные данные.

Теория памяти является математически полной и подтвержденной компьютерным моделированием.. Она возникла из наблюдения, что расстояния между точками много мерного пространства напоминают близость связи между концептами в задней памяти. Теория также практична в том смысле, что память на ее основе может быть реализована с помощью обычных элементов RAM-память.

Содержание

1 Определение
- 1.1 Двоичное пространство N
- 1.2 Как нейронное пространство
  - 1.2.1 Модель нейрона
  - 1.2.2 Нейрон как адрес-декодер
- 1.3 Место в памяти
  - 1.3.1 Шаблон адреса
  - 1.3.2 Шаблон данных
  - 1.3.3 Запись
  - 1.3.4 Чтение
  - 1.3.5 Цепочки указателей
- 1.4 Критическое расстояние
2 Вероятностная интерпретация
3 Биологическая достоверность
4 Квантово-механическая интерпретация
5 Приложения
- 5.1. Поиск наилучшего соответствия
- 5.2 Распознавание речи
- 5.3 "Осознание забывания"
- 5.4 Генетическая разреженная распределенная память
- 5.5 Статистическое прогнозирование
- 5.6 Общий искусственный интеллект
- 5.7 Обучение с подкреплением
- 5.8 Индексирование объекты в области компьютерного зрения
6 Расширения
7 Связанные патенты
8 Реализация
9 Связанные модели
10 Ссылки

Определение

Человеческая память имеет тенденцию накапливаться памятка ries на основе сходства между ними (хотя они могут не быть связаны), например, «пожарные машины красные, а яблоки красные». Разреженная распределенная память - это математическое представление памяти человека, использующее многомерное пространство, чтобы помочь смоделировать большие объемы памяти, имитирующие память нейронной сети. Важным свойством таких пространств большой размерности является то, что случайно выбранные деревья находятся относительно далеко друг от друга, что означает, что они не коррелированы. СДМ можно рассматривать как рассмотрения хеширования с учетом местоположения.

. Основная идея SDM заключается в отображении огромной двоичной памяти на меньший набор физических местоположений, так называемых жестких местоположений. Как правило, эти жесткие места должны быть равномерно распределены в виртуальном пространстве. Каждая система данных распределенным набором жестких местоположений и извлекается путем усреднения этих местоположений. Следовательно, отзыв может быть не идеальным, точность зависит от насыщенности памяти.

Предложение Канервы основано на четырех основных идеях:

1. Логическое пространство ${0, 1} n {\ displaystyle \ {0,1 \} ^ {n}}$ ${\ displaystyle \ {0,1 \} ^ {n}}$ или $2 n {\ displaystyle 2 ^ {n}}$ $2^{n}$ точек в $10 0 < n < 10 5 {\displaystyle 10^{0}$ ${\ displaystyle 10 ^ {0} <n <10 ^ {5}}$ измерениях, проявляет свойства, аналогичные интуитивным представлениям людей о взаимосвязях между концепциями. Это означает, что имеет смысл хранить данные в виде точек упомянутого пространства, где каждый элемент памяти хранится как n-битный вектор.
2. Нейроны с n входами Программисты как декодеры оперативной памяти
3. Принцип объединения: данные, хранящиеся в памяти, 1-е место, посвященное той же памяти. Расстояние между двумя точками - это мера сходства между двумя элементами памяти. Чем ближе точки, тем более похожи хранимые типы.
4. Время можно контролировать в зависимости от места хранения данных, если данные организованы как следовать событий

Двоичное пространство N

SDM работает с n-мерными векторами с двоичными компонентами. В зависимости от контекста образования называются точками, образцами, адресами, словами, элементами памяти, данными или событиями. Этот раздел в основном посвящен свойствам окружающей среды N = ${0, 1} n {\ displaystyle \ {0,1 \} ^ {n}}$ $\ {0,1 \} ^ {n}$ . Пусть n будет измерений пространства. Тогда количество точек или обнаруженных элементов памяти будет $2 n {\ displaystyle 2 ^ {n}}$ $2^{n}$ . Мы обозначим это число как N и будем использовать N и $2 n {\ displaystyle 2 ^ {n}}$ $2^{n}$ , чтобы обозначать также само пространство.

Понятия, относящиеся к пространству N: ${0, 1} n {\ displaystyle \ {0,1 \} ^ {n}}$ $\ {0,1 \} ^ {n}$

Начало координат, 0: точка со всеми координатами 0 называется началом координат, 0 = 000... 00.
Дополнение, x: Дополнением или противоположностью точки x является набором единиц, в котором x нули, и наоборот.
Норма, | x |: Норма точки x - это количество в ее двоичном представлении.
Разница, x - y: разность двух точек x и y - это набор из n, в котором есть единицы, где x и y различаются, и нули в другом месте. Это побитовое 'исключающее или ': x - y = x ⊕ y. Разница коммутирует: x - y = y - x.
Расстояние, d (x, y) Расстояние между двумя точками x и y - это количество измерений, в которых x и y различаются. Оно называется расстоянием Хэмминга (его квадратный корень - евклидово расстояние ) и выражается в битах. Расстояние - это норма разницы: d (x, y) = | х - у |
Промежуток, x: y: z: Точка y между точками x и z тогда и только тогда, когда расстояние от x до z сумма - расстояний от x до y и от y до z; то есть x: y: z ⇔ d (x, z) = d (x, y) + d (y, z). Легко видеть, что каждый бит промежуточной точки является копией соответствующей бита конечной точки.
Ортогональность, x ⊥ y: точка x ортогональна точка y, либо они перпендикулярны или безразличны, тогда и только тогда, когда расстояние между ними составляет половину числа измерений: x ⊥ y ⇔ d (x, y) = n / 2. Расстояние n / 2 называется расстоянием безразличия пространства N. Если x ортогонален y, он также ортогонален своему дополнению 'y (x находится на полпути между y и' y).
Круг, O (r, x) Круг с радиусом r и центром x - это набор точек, которые не больше r битов от x: O (r, x) = {y | d (x, y) ≤ r}.

Свойства пространства N: ${0, 1} n {\ displaystyle \ {0,1 \} ^ {n}}$ $\ {0,1 \} ^ {n}$

Пространство N может быть представлено вершинами единичного куба в n-мерном евклидовом пространство. Вершины лежат на поверхности n-мерной сферы с (евклидово-метрическим) радиусом $n / 2 {\ displaystyle {\ sqrt {n}} / 2}$ ${\ displaystyle {\ sqrt {n}} / 2}$ . Это приводит к аналогии со сферой . Мы будем называть пространство сферическим, если

1. любая точка x имеет уникальную противоположность 'x,
2. все пространство между любой точкой x и противоположной находится точкой x, и
3. все точки «равны» (это означает, что для двух точек x и y существует расстояние, сохраняющее автоморфизм пространства, которое отображает x в y, так что из любого из своего пространства точек «смотрит» на То же самое).

Поверхность сферы (в евклидовом трехмерном пространстве) явно сферическая. Согласно определению, N также является сферическим, поскольку y ⊕ x ⊕ (…) - автоморфизм, переводящий x в y. N является сферическим, полезно думать о нем как о поверхности сферы с окружностью 2н. Все точки N равным образом квалифицируются как точки происхождения, а точки и ее дополнение подобны двум полюсам на расстоянии друг от друга, а все пространство между ними. Точки, находящиеся на полпути между полюсами и перпендикулярные им, подобны экватору.

Распределение пространства N

Количество точек, которые составляют ровно d битов, образующих произвольную точку x (из 0), - это количество способов выбрать d координат из общего количества n, и поэтому точки биномиальным коэффициентом : $(nd) = n! d! (п - г)! {\ displaystyle {\ binom {n} {d}} = {\ frac {n!} {d! (nd)!}}}$ ${\ displaystyle {\ binom {n} {d}} = {\ frac {n!} {D! (nd)!}}}$

Таким образом, распределение является биномиальным распределением с помощью n и p, где р = 1/2. Среднее значение биномиального распределения равно n / 2, а дисперсия равно n / 4. Эту функцию распределения обозначим N (d). нормальное распределение F со средним n / 2 и стандартным отклонением $n / 2 {\ displaystyle {\ sqrt {n}} / 2}$ ${\ displaystyle {\ sqrt {n}} / 2}$ равно хорошее приближение к нему: N (d) = Pr {d (x, y) ≤ d} ≅ F {(d - n / 2) / $n / 4 {\ displaystyle {\ sqrt {n / 4}}}$ ${\ displaystyle {\ sqrt {n / 4}}}$ }

Тенденция к ортогональности

Выдающимся своим N является то, что большая его часть находится примерно на среднем (безразличном) расстоянии n / 2 от точки (и ее дополнения). Другими словами, большая часть пространства почти ортогональна любая заданная точка, и чем больше n, тем сильнее этот эффект.

Как нейронная сеть

SDM может рассматриваться либо как адресуемое по расширению классической памяти оперативной памяти (RAM), либо как специальный тип трех слоев нейронная сеть прямого прямого доступа. Основные изменения SDM в ОЗУ:

SDM вычисляет расстояния Хэмминга между ссылочным адресом и каждым адресом местоположения. Для каждого расстояния, которое меньше или равно заданному радиусу, выбирается соответствующее местоположение.
Память счетчиками (где n - количество ячеек, а m - длина входных данных) вместо однобитовых элементов памяти.
Запись в память вместо перезаписи выглядит следующим образом:
- если i-бит входных данных равен 1, соответствующие счетчики (счетчики в выбранных ячейках (строк) и в i-мцах столбцов) увеличиваются,
- если i-битных данных равен 0, соответствующие счетчики уменьшаются.
Чтение (или вызов) из памяти аналогично:
- Содержимое выбранных ячеек суммируется по столбцам.
- Каждая сумма имеет пороговое значение. Если сумма больше или равна пороговому значению, соответствующий выходной бит устанавливается в 1, в противном случае он сбрасывается. Обратите внимание, что пороги могут быть нулевыми, если обучающие входные близки к ортогональным.

Модель нейрона

Идеализированное описание нейрона выглядит следующим образом: нейрон имеет ячейку тело с двумя видами ветвей: дендритами и аксоном. Он принимает входные сигналы от других нейронов через дендриты, интегрирует (суммирует) их и генерирует собственный (электрический) выходной сигнал, который отправляет внешний нейронам через аксон. Точки электрического контакта между нейронами называются синапсами.

. Когда нейрон генерирует сигнал, он запускается, и после срабатывания он должен восстановиться, чем он снова сработает. Относительная синапса для возбуждения нейрона называется синаптическим весом (или входным коэффициентом). Есть два вида синапсов: возбуждающий, который запускает нейрон, и тормозной, который препятствует возбуждению. Нейрон является либо возбуждающим, либо тормозящим механизмом в зависимости от типа синапсов, создаваемых его аксоном.

Нейрон срабатывает, когда сумма входных сигналов большого размера порог. Чем выше порог, тем важнее то, что возбуждающие синапсы имеют входной сигнал, а тормозные - нет. Срабатывает ли восстановленный нейрон на самом деле, зависит от того, получил ли он достаточный возбуждающий сигнал (сверх порогового значения) и не слишком ли большой тормозной сигнал в течение определенного периода времени.

Формальная модель нейрона делает дополнительные упрощающие предположения. Нейрон с n входом моделируется линейной пороговой функцией $F: {0, 1} n ->{0, 1} {\ displaystyle F: \ {0,1 \} ^ {n} ->\ {0,1 \ }}$ $F:\{0,1\}^{n}->\ {0,1 \}$ следующим образом:

Для $i = 0,..., n - 1 {\ displaystyle i = 0,..., n-1}$ ${\ displaystyle i = 0,..., n-1}$ где n - количество входов, пусть $F t {\ displaystyle F_ {t}}$ $F_t$ будет выходом в момент времени t: $F t ∈ {0, 1} {\ displaystyle F_ {t} \ in \ {0,1 \}}$ ${\ displaystyle F_ {t} \ in \ {0, 1 \}}$ , и пусть $xi, t {\ displaystyle x_ {i, t}}$ ${\ displaystyle x_ {i, t}}$ быть i-м входом в момент времени t: $xi, t ∈ {0, 1} {\ displaystyle x_ {i, t} \ in \ {0,1 \}}$ ${\ displaystyle x_ {i, t} \ in \ {0,1 \}}$ . Пусть $wi {\ displaystyle w_ {i}}$ $w_ {i}$ - вес i-го входа, а $c {\ displaystyle c}$ $c$ - пороговое значение.

Взвешенная сумма входных данных во время t определяется как $S t = ∑ i = 0 n - 1 wixi, t {\ displaystyle S_ {t} = \ sum _ {i = 0} ^ {n -1} w_ {i} x_ {i, t}}$ ${\ displaystyle S_ {t} = \ sum _ {i = 0} ^ {n-1} w_ {i} x_ {я, t} }$

Выход нейрона в момент времени t определяется как логическая функция : $F t = {1, если S t>= c, 0 в противном случае. {\ displaystyle \ mathbf {F} _ {t} = {\ begin {cases} 1 {\ text {if}} S_ {t}>= c, \\ 0 {\ text {else}}. \ end {case}}}$ $\mathbf {F} _{t}={\begin{cases}1{\text{if }}S_{t}>= c, \\ 0 {\ text {else}}. \ End {ases}}$ >

Где F t = 1 означает, что нейрон срабатывает в момент времени t и F t = 0, что нет, т.е. для того, чтобы нейрон сработал, взвешенная сумма должна достигнуть или превысить порог. Возбуждающие входы увеличивают сумму, а тормозящие входы уменьшают ее.

Нейрон как адрес -декодер

Ключевой тезис. коэффициенты и пороговые значения. 359>

Этот механизм дополняет регулируемые синапсы или регулируемые веса в нейронной сети (перцептрон обучен ение конвергенции), поскольку этот фиксированный механизм будет постоянной системой отсчета, позволяющий выбирать синапсы в котором хранится информация и откуда она извлекается при заданном наборе обстоятельств. Более того, кодировка данного обстоятельства послужит адресом.

Адрес нейрона с входными коэффициентами w, где $w 0,.. w n 1 {\ displaystyle w_ {0},.., w_ {n_ {1}}}$ ${\ displaystyle w_ {0},.., w_ {n_ {1}}}$ определяется как n-битовый шаблон ввода, который максимизирует взвешенную сумму. Максимум возникает, когда тормозные входы равны нулю, возбуждающие входы - единицы. I-й бит адреса:

$ai = {1, если wi>0, 0, если wi < 0. {\displaystyle \mathbf {a} _{i}={\begin{cases}1{\text{if }}w_{i}>0, \\ 0 {\ text {if}} w_ {i} <0.\end{cases}}}$ $\mathbf {a} _{i}={\begin{cases}1{\text{if }}w_{i}>0, \\ 0 {\ text {if}} w_ {i} <0.\end{cases}}$ (при условии, что веса не нулю)

Максимальная взвешенная сумма $S (w) {\ displaystyle S (w)}$ $S (w)$ - это сумма всех положительных коэффициентов: $S (w) = ∑ wi>0 wi {\ displaystyle S (w) = \ sum _ {w_ {i}>0} w_ {i}}$ $S(w)=\sum _{w_{i}>0} w_ {i}$

И минимальная взвешенная сумма $s (w) {\ displaystyle s (w)}$ ${\ displaystyle s ( w)}$ будет соответствовать точке напротив адреса нейрона a`: $s (w) = ∑ wi < 0 w i {\displaystyle s(w)=\sum _{w_{i}<0}w_{i}}$ ${\ displaystyle s (w) = \ sum _ {w_ {i} <0} w_ {i} }$

Когда порог c находится в диапазоне $s (w) < c < S ( w) {\displaystyle s(w)$ ${\ displaystyle s (w) <c <S (ш)}$ , выход нейрона равенство 0 для одних адресов (входных шаблонов) и 1. Если порог выше S, на выходе всегда 0, если ниже s, на выходе всегда 1. Таким образом, при правильном выборе порога нейрон реагирует только на один адрес. S (максимум взвешенной суммы) нейрон реагирует только на свой собственный адрес и действует как адресный обычная обычная оперативная память.

Расположение памяти

разработан SDM, чтобы справиться с шаблонами адресов, охватывающими огромное адресное пространство (порядок $2 1000 {\ displaystyle 2 ^ {1000}}$ $2 ^ {{1000}}$ ). SDM предполагает, что шаблоны, описывающие интересующие физические ситуации, редко разбросаны по входному пространству. Невозможно зарезервировать отдельное физическое местоположение, соответствующее каждому возможному входу; СДМ реализует только ограниченное количество физических или жестких мест. Физическое местоположение называется ячейкой памяти (или жесткой).

Новое жесткое местоположение с двумя элементами:

фиксированным жестким адресом, который является N-битным адресом ячейки
часть содержимого шириной M битов, которая может накапливать несколько M-битных комбинаций данных, записанных в местоположение. Часть содержимого не зафиксирована; оно модифицируется шаблонами данных, записанными в память.

В SDM может быть сохранено в памяти, записав его в свободную ячейку памяти и в то же время это используемое декодером адреса. Нейрон как в декодере адреса будет искать местоположение на основе сходства местоположения с поисковой меткой. В отличие от обычных машин Тьюринга SDM использует преимущества параллельных вычислений с помощью адресных декодеров. Простой доступ к памяти как вычисление, объем которого увеличивается с размером памяти.

Шаблон адреса

N-битовый вектор, используемый для записи и чтения из памяти. Шаблон адреса - это закодированное описание состояния окружающей среды. (например, N = 256.)

Шаблон данных

M-битовый вектор, являющийся объектом операций записи и чтения. Как и шаблон адреса, это закодированное описание состояния окружающей среды. (например, M = 256.)

Запись

Запись - это операция сохранения шаблона данных в памяти с использованием определенного шаблона адреса. Во время записи ввод в память состоит из шаблона адреса и шаблона данных. Шаблон адреса используется для выбора ячеек жесткой памяти, чьи жесткие адреса находятся в пределах определенного расстояния отсечки от шаблона адреса. Шаблон данных сохраняется в каждом из выбранных мест.

Чтение

Чтение - это операция получения шаблона данных из памяти с использованием определенного шаблона адреса. Во время чтения шаблон адреса используется для выбора определенного количества ячеек жесткой памяти (как и во время записи). Содержимое выбранных ячеек побитовое суммирование и пороговое значение для получения M-битового шаблона данных. Это служит результатом чтения из памяти.

Цепочки указателей

Все элементы связаны в один список (или массив) указателей на ячейки памяти и хранятся в ОЗУ. Каждый адрес в массиве указывает на отдельную строку в памяти. Затем эта строка возвращается, если она похожа на другие строки. Нейроны используются в качестве декодеров и кодеров адресов, подобно тому, как нейроны работают в мозгу, и возвращают элементы из массива, которые совпадают или похожи.

Критическое расстояние

Модель памяти Канервы имеет концепцию критической точки: до этой точки можно легко извлечь ранее сохраненный элемент; но за пределами этой точки невозможно получить предмет. Канерва методично рассчитала эту точку для определенного набора (фиксированных) параметров. Соответствующее критическое расстояние разреженной распределенной памяти можно приблизительно оценить, минимизируя следующее уравнение с ограничением $d ∈ N {\ displaystyle d \ in N}$ ${\ displaystyle d \ in N}$ и $d ⩽ n {\ displaystyle d \ leqslant n}$ ${\ displaystyle d \ leqslant n}$ . Доказательство можно найти в,

$f ~ (d) = {1 2 ⋅ [1 - N (z < w ⋅ s h a r e d ( d) θ) + N ( z < − w ⋅ s h a r e d ( d) θ) ] − d n } 2 {\displaystyle {\tilde {f}}(d)=\left\{{\frac {1}{2}}\cdot \left[1-N\left(z<{\frac {w\cdot shared(d)}{\sqrt {\theta }}}\right)+N\left(z<{\frac {-w\cdot shared(d)}{\sqrt {\theta }}}\right)\right]-{\frac {d}{n}}\right\}^{2}}$ ${\ displaystyle {\ tilde {f}} (d) = \ left \ {{\ frac {1} {2}} \ cdot \ left [1-N \ left (z <{\ frac {w \ cdot shared (d)} {\ sqrt {\ theta}}} \ right) + N \ left (z <{\ frac {-w \ cdot shared (d)} {\ sqrt {\ theta}} } \ right) \ right] - {\ frac {d} {n}} \ right \} ^ {2}}$

Где:

$d {\ displaystyle d}$ $d$ : расстояние к цели;
$h {\ displaystyle h}$ $час$ : количество жестких мест, активированных во время операций чтения и записи (это значение зависит от значений радиуса доступа);
$s {\ displaystyle s}$ $s$ : общее количество хранимых битовых строк в памяти;
$H {\ displaystyle H}$ $H$ : количество жестких мест в памяти;
$w { \ displaystyle w}$ $вес$ : количествораз, когда целевая строка битов записывалась в память;
$θ {\ displaystyle \ theta}$ $\ theta$ : общее количество случайных строк битов во всех $h {\ displaystyle h}$ $час$ жестких местоположений, активированных операциями чтения;
$shared (d) {\ displaystyle shared (d)}$ ${\ displaystyle shared (d)}$ : среднее количество общих жестких местоположений, активируемых двумя цепочками битов $d {\ displaystyle d}$ $d$ на расстоянии друг от друга. Некоторые значения для 1000-мерного SDM можно найти в книге Канервы, Tab le 7.1, стр. 63, или уравнения для расчета для любого SDM в Приложении B, стр. 125 из той же книги.

Вероятностная интерпретация

Система ассоциативной памяти, использующая разреженные, распределенные представления, может быть переинтерпретирована как выборка важности, Монте-Карло метод аппроксимации байесовского вывода. SDM можно рассматривать как приближение Монте-Карло к многомерному интегралу условной вероятности. SDM будет генерировать приемлемые отклики от обучающего набора, когда это приближение является допустимым, когда обучающий набор содержит достаточно данных для обеспечения хороших оценок лежащих в основе совместных вероятностей и имеется достаточно выборок Монте-Карло для получения точной интеграла.

Биологическая достоверность

Редкое кодирование может быть общей стратегией нейронных систем для увеличения емкости памяти. Чтобы адаптироваться к окружающей среде, животные должны узнать, какие стимулы связаны с вознаграждением или стимулированием, и отличить эти стимулы от других, но не относящихся к делу. Такая задача требует специфической реализации стимула ассоциативной памяти, в которой только несколько нейронов из популяции реагируют на любой заданный стимул, и каждый нейрон реагирует только на несколько стимулов из всех стимулов..

Теоретическая работа Канервы по SDM предполагает, что разреженное кодирование увеличения ассоциативной памяти за уменьшение сопоставления между представлениями. Экспериментально разреженное представление сенсорной информации наблюдается во многих системах, включая зрение, слух, осязание и обоняние. Однако, несмотря на использование доказательств широко распространенного разреженного кодирования и теоретических аргументов в пользу важности, до недавнего времени не хватало демонстрации.

Некоторый прогресс был достигнут в 2014 году лабораторией Геро Мизенбёка в Оксфордском университете в анализе дрозофил обонятельной системы. У дрозофилы, кодирование редкого запаха Кеньона грибовидного тела, как полагают, создается большое количество точно адресованных мест для хранения специфических для запахов воспоминаний. Lin et al. что разреженность контролируется цепью отрицательной обратной связи между клетками Kenyon и ГАМКергическим передним парным латеральным нейроном (APL). Систематическая активация и блокада каждой ветви этой цепи обратной связи показывают, что клетки Kenyon активируют APL, а APL ингибирует клетки Kenyon. Нарушение петли обратной связи между клетками Кеньона и APL снижает разреженность запаховых клеток Кеньона, увеличивает корреляцию между запахами и не дает мухам отличаться похожие, несходные запахи. Эти результаты предполагают, что ингибирование обратного подавления активности клеток Кеньона для поддержания разреженного, декоррованного кодирования запаха и, следовательно, специфического запаха воспоминаний. Публикация в 2017 г. в Наука показала, что обонятельная схема мух реализует улучшенную версию двоичного хеширования, чувствительного к локальности, с помощью редких случайных проекций.

Квантово-механическая интерпретация

Квантовая суперпозиция утверждает, что любая физическая система одновременно существует во всех своих исполнителей >, количество которых экспоненциально зависит от количества составляющих объектов системы. Сила присутствия каждого возможного состояния в суперпозиции - то есть вероятность, с помощью которой оно будет наблюдаться при измерении - его потенциалом амплитуда вероятности. Предположение, что эти коэффициенты должны быть представлены физически отдельно друг от друга, т. Е. Локалистически, почти универсально в литературе по квантовой теории / квантовым вычислениям. В качестве альтернативы, как недавно использованный Джерард Ринкус из Университета Брандейса, эти коэффициенты представлены с использованием разреженных распределенных представлений (SDR), встроенных в дизайн SDM Канервы, в каждом коэффициенте представлен небольшой подмножеством общей совокупности репрезентативных единиц и подмножества могут перекрываться.

В частности, если мы рассмотрим модель SDR, в которой представлена общая совокупность из Q кластеров, каждый из которых представлен набором из Q единиц, по одному на кластер. Затем мы можем рассмотреть конкретное мировое состояние X, представление коэффициентов которого, R (X), чтобы получить максимальную вероятность, а вероятности всех состояний Y соответствуют размеру пересечения R (Y) и R ( ИКС). Таким образом, R (X) одновременно служит и представлением конкретного состояния X, и распределением вероятностей по всем состояниям. Когда активен любой данный код, например, R (A), все другие коды, хранящиеся в модели, также физически активны пропорционально их пересечению с R (A). Таким образом, SDR обеспечивает классические возможности квантовой суперпозиции, в которой амплитуды вероятностей прямо и неявно представлены размерами пересечений множеств. Если существуют алгоритмы для хранения (изучения) новых представлений и нахождения наиболее подходящего представленного представления (вероятностный вывод ), остается постоянным при сохранении дополнительных представлений, это будет соответствовать критерию квантовые вычисления. (См. Также Квантовое познание и Квантовая ассоциативная память )

Приложения

В приложениях слова представлены собой образцы признаков. Некоторые особенности производятся сенсорной системой, другой управляют двигательной системой. текущий шаблон (например, 1000 битов), который представляет собой текущее содержимое фокуса системы. Датчики подаются в фокус, двигатели приводятся в действие из фокуса, доступ к памяти осуществляется через

То, что происходит в мире - «субъективный Таким образом, память учится предсказывать то, что вот-вот произойдет, если обратиться к шаблону, подобному тому, который встречался в прошлом.

приложения включают vision - обнаружение и и. дентификация объектов в сценарии и прогнозирование сцен - робототехника, обнаружение и проверка сигналов, а также адаптивное обучение и управление. Теоретически работа памяти может помочь нам понять память и обучение у людей и животных.

Поиск наилучшего соответствия

SDM может быть применен к проблеме поиска наилучшего совпадения с тестовым словом в наборе данных сохраненных слов. или, другими словами, проблема Поиск ближайшего соседа.

Рассмотрим память с N ячейками, где $N = 2 n {\ displaystyle N = 2 ^ {n}}$ ${\ displaystyle N = 2 ^ {n}}$ . Пусть местоположение имеет емкость для одного n-битного слова (например, N = 2 100-битных слов), и пусть декодирование адреса выполняется N нейронами декодера адреса. Установите порог каждого нейрона x равным его максимальной взвешенной сумме $| х | {\ displaystyle | x |}$ $| х |$ и используйте общий параметр d для настройки всех пороговых значений при доступе к памяти. Тогда эффективный порог нейрона x будет $x - | d | {\ displaystyle x- | d |}$ ${\ displayst yle x- | d |}$ , что означает, что местоположение x доступен каждый раз, когда адрес x находится в пределах d бит адреса, представленного в памяти (т. е. адреса, существующего в адресном регистре). С $d = 0 {\ displaystyle d = 0}$ $d = 0$ у нас есть обычная оперативная память. Далее предположим, что каждое местоположение имеет специальный бит положения местоположения, к которому можно получить доступ так же, как и к обычным битам местоположения. Запись слова в устанавливает этот бит положения местоположения. Предположим, что можно прочитать только занятую позицию.

Чтобы сохранить данные в памяти, начните с установки $d = n {\ displaystyle d = n}$ ${\ displaystyle d = n}$ и выполните команду для сброса бита загрузки местоположения. Эта единственная операция помечает всю память как незанятую независимо от значений адресного регистратора. Затем установите $d = 0 {\ displaystyle d = 0}$ $d = 0$ и запишите каждое слово y набора данных с самим y в качестве адреса. Обратите внимание, что каждая операция записи влияет только на одно местоположение: местоположение y. Таким образом, время заполненияо количеству слов в на данных.

Поиск наилучшего соответствия для теста z включает в себя размещение z в адресном регистре и поиск наименьшего расстояния d, для которого существует занятое место. Мы можем начать поиск, установив $d = 0 {\ displaystyle d = 0}$ $d = 0$ и последовательно увеличивая d, пока не будет найдено занятое место. Этот метод дает среднее время поиска, которое имеет пропорционально количеству бит адреса или немного меньше, чем $n / 2 {\ displaystyle n / 2}$ $п / 2$ , потому что ближайшее занятое местоположение может находиться чуть ниже $n / 2 {\ displaystyle n / 2}$ $п / 2$ биты от z (с двоичным поиском на d это будет O (log (n)).

Для 100-битных Используется 2 модуля, есть одно место набора данных, нам понадобится одно место (и один адресный декодер) для слова набора.

Распознавание речи

SDM может использовать расшифровку речи с обучением, состоящее из "слушания" большого корпуса разговорной речи языка. Две трудные проблемы с естественной речью: как определить границы слов и как приспособиться к различным говорящим. Во-первых, он хранит последовательность шаблонов в виде цепочек указателей. При обучении - при прослушивании речи - он будет строить вероятностную устойчивость с наибольшей вероятностью ветвления на границах слов. При расшифровке речи эти точки ветвления раскрываются и тенденцию разбивать поток на сегменты, соответствующие словам. Во-вторых, чувствительность памяти к подобию - это ее механизм приспособления к разным говорящим - и к вариациям голоса одного и того же говорящего.

«Осознание забывания»

Функции затухания

Функция экспоненциального затухания

Отрицательно-переведенная сигмовидная функция

В Университете Мемфиса Ума Рамамурти, Сидни К. Д'Мелло и Стэн Франклин создали модифицированную версию системы разреженной распределенной памяти, которая представляет «реализацию забывания». Он использует уравнение затухания, чтобы лучше показать помехи в данных. Система с разреженной распределенной памятью распределяет каждый шаблон примерно по одной сотой мест, поэтому интерференция может иметь пагубные результаты.

Представлены два возможных примера распада из этой модифицированной разреженной распределенной памяти

Экспоненциальный распад механизм: $f (x) = 1 + e - ax {\ displaystyle \! f (x) = 1 + e ^ {- ax}}$ ${\ displaystyle \! F (x) = 1 + e ^ {- ax}}$

Механизм распада сигмовидной кишки с отрицательным сдвигом: $f (x) = 1 - [1 1 + e - a (x - c)] {\ displaystyle f (x) = 1 - [{\ frac {1} {1 + e ^ {- a (xc)}}}]}$ ${\ displaystyle f (x) = 1 - [{\ frac {1} {1 + e ^ {- a (xc)}}}]}$

В функции экспоненциального затухания она приближается к нулю быстрее, чем больше x, и a - константа (обычно между 3-9), а c - счетчик. Для инвертированной - транслированной сигмоидной функции затухание аналогично экспоненциальной функции затухания, когда a больше 4.

Когда график приближается к 0, он представляет как память забывается с помощью механизмов распада.

Генетическая разреженная распределенная память

Ашраф Анвар, Стэн Франклин и Дипанкар Дасгупта из Университета Мемфиса; предложила модель инициализации SDM с использованием генетических алгоритмов и генетического программирования (1999).

Генетическая память использует генетический алгоритм и разреженную распределенную память в качестве псевдоискусственной нейронной сети. Он был рассмотрен для использования при создании искусственной жизни.

Статистическое предсказание

SDM было применено к статистическому предсказанию, задаче связывания чрезвычайно больших векторов состояния восприятия с будущим События. В условиях почти или избыточной емкости, когда поведение модели ассоциативной памяти нарушается, обработка, выполняемая моделью, может интерпретироваться как обработка статистического предиктора, а каждый счетчик данных в SDM может рассматриваться как независимая оценка. условной вероятности того, что двоичная функция f будет равна набору активации, определяемому ячейкой памяти счетчика.

Общий искусственный интеллект

LIDA использует разреженную распределенную память для помощи модели познания в биологических системах. В разреженной распределенной памяти пространство вспоминает или распознает объект, который он имеет, по отношению к другим объектам. Он был разработан Стэном Франклином, создателем модифицированной системы Эм с разреженной распределенной памятью "реализуя забывание". Временные эпизодические и декларативные воспоминания получили распределенные представления в LIDA (на основе модифицированной версии SDM), есть свидетельства того, что это также относится к нервной системе.
- «сознательный» программный агент, тема для управления объявлениями о семинарах на факультете математических наук Университета Мемфиса. Он основан на качестве SDM, дополненный использованием генетических алгоритмов в ассоциативной разреженной памяти.
Иерархическая временная память использует SDM для хранения распределенных представлений данных.

(также см. Когнитивная архитектура Общий искусственный интеллект для списка проектов, связанных с SDM)

Обучение с подкреплением

SDM обеспеченным интеллектом линейную, локальную функцию функции Схема разработанная для работы, когда очень большое / многомерное входное (адресное пространство) должно быть отображено в гораздо меньшую физическую память. В общем, локальные архитектуры, включая SDM, могут быть подвержены проклятия размерности, поскольку некоторые целевые функции потребовать, в худшем случае, экспоненциальное количество локальных аппроксимаций по всему входу Космос. Однако широко распространено мнение, что большинству систем принятия решений требуется высокая точность только для низкоразмерных пространий пространственных состояний или важных государственных "магистрали". Работа Ratitch et al. объединила модель памяти SDM с идеями из обучения на основе памяти, который обеспечивает аппроксиматор, который может динамически адаптировать его изменение и разрешение, чтобы находить области пространства состояний, которые «более интересны», и распределять пропорционально больше ресурсов памяти для их точного моделирования.

Индексирование объектов в компьютерном зрении

Лаборатория Даны Х. Баллард применяла универсальную технику индексирования объектов для компьютерного зрения, сочетающую в себе достоинства принципала компонентный анализ с хорошими свойствами сопоставления пространств большой размерности для достижения высокоточного распознавания. Алгоритм индексции использует систему активного зрения в сочетании с модифицированной формой SDM и платформу для изучения связи между видом объекта и его идентичностью.

Расширения

Было предложено множество расширений и улучшений для SDM, например:

Тернарное пространство: это использовать память в качестве временной эпизодической памяти (TEM) в агенты когнитивного программного обеспечения обеспечение. TEM - это память с высокой специфичностью и низким сроком хранения используемая для событий, имеющая особенности времени и места.
Целочисленный SDM, который использует модульные арифметические целочисленные типы, а не двоичные типы. Это расширение возможностей воспроизведения является более надежным по сравнению с нормализацией. Его также можно расширить для поддержки забывания и надежного хранения последовательностей.
Использование векторов слов большего размера, чем расширяется из желательных свойств исходного SDM: автоматическая ассоциативность, адресуемость контента, распределенное хранение и устойчивость к шумным входам. Кроме того, он показывает новую функциональность.
Создание SDM из Spiking Neurons : несмотря на биологическое сходство с SDM большая часть работ, предложенные для демонстрации его возможностей на сегодняшний день, использовались высокоискусственные модели нейронов, которые абстрагируют от фактического поведения нейронов в мозге. Недавняя работа лаборатории Стива Фербера в Манчестерском университете предложила адаптировать к SDM, например, путем включения ранговых кодов N-of-M в то, как популяции нейронов может кодировать информацию, что может сделать возможным создание варианта SDM из биологически вероятных компонентов. Эта работа была включена в SpiNNaker (Spiking Neural Network Architecture), который используется в качестве платформы нейроморфных вычислений для Human Brain Project.
Неслучайное распределение местоположения: Хотя память изначально Распределение случайным образом в двоичном адресном пространстве определяется, окончательное определение местоположений зависит от представленных шаблонов, что обеспечивает большую гибкость и обобщение. Шаблон данных сначала находится в местах, ближайших ко входному адресу. Затем сигнал (т.е. шаблон данных) распространяется по всей памяти, и небольшой процент мощности сигнала (например, 5%) теряется в каждом последующем обнаруженном месте. Распределение сигнала таким образом устраняет необходимость выбора радиуса чтения / записи, что является одной из проблемных функций исходного SDM. Все ячейки, выбранные в операции записи, теперь не получат копию шаблона с одинаковой силой. Вместо этого они представляют копию шаблона, взвешенную с реальным значением от 1,0 до 0,05, для хранения в счетчиках с действительными значениями (не в двоичных счетчиках в SDM Kanerva). Это награждает ближайшие местоположения более сильным сигналом и использует естественную энергию SDM для ослабления мощности сигнала. Аналогично, при чтении из памяти выход из ближайших местоположений имеет больший вес, чем выход из более отдаленных местоположений. Новый метод сигнала позволяет использовать общую мощность сигнала, полученного местоположения, как меру пригодности местоположения и гибкость для изменения входных данных (коэффициент потерь не требуется для входных шаблонов разной длины).
SDMSCue (разреженная распределенная память для небольших сигналов): Ашраф Анвар и Стэн Франклин из Университета Мемфиса, представил вариант SDM, способный обрабатывать небольшие подсказки; а именно SDMSCue в 2002 году. Ключевая идея заключается в использовании нескольких операций чтения / изображения и пространственных проекций для последовательных более длинных реплики.

Связанные патенты

Метод и устройство для системы с разреженной распределенной памятью US 5113507 A, Университетская ассоциация космических исследований, 1992
Способ и устройство для хранения и вызова информации, реализующие систему память канерва US 5829009 A, Texas Instruments, 1998
Цифровая память, Фербер, Стивен. US 7512572 B2, 2009
Временная память с использованием разреженного распределенного представления US 20110225108 A1 Numenta, 2011

Реализация

Двоичные символы C (CBVS): включает в себя SDM в C как часть, разработанная EISLAB в Технологическом университете Лулео : http://pendicular.net/cbvs.php
CommonSense ToolKit (CSTK) для данных датчиков в реальном времени обработка, разработанная в Ланкастерском университете, использует SDM на : http://cstk.sourceforge.net/
Юлия реализация Брайан Хейс : https://github.com/bit-player/sdm-julia
Learning Intelligent Distribution Agent (LIDA) разработан лабораторией Стэна Франклина в Универсальный Мемфиса включает SDM в Java : http://ccrg.cs.memphis.edu/framework.html
Python реализация: https : //github.com/msbrogli/sdm
Реализация Python и OpenCL : https: // g ithub.com/msbrogli/sdm-framework
APL реализация
LISP реализация для Connection Machine
FPGA реализация
Исходная аппаратная реализация разработана NASA
Реализация на языке C, выполненная в Исследовательском институте передовых компьютерных наук в NASA Ames

Связанные модели

Ссылки