Разреженная распределенная память (SDM ) - математическая модель человека с Верон термин памятью введен Пентти Канерва в 1988 году, когда он работал в Исследовательском центре Эймса НАСА. Это обобщенная оперативная память (RAM) для длинных (например, 1000 бит) двоичных слов. Эти слова как место адресами, так и данные для памяти. Посредством передачи данных через протоколы передачи данных, передаваемого через протокол передачи данных, передаваемых через протокол передачи данных, передается информация, передаваемая через протокол передачи данных. между адресами памяти ).
SDM реализует преобразование из логического пространства в физическом формате с использованием распределенного представления и хранения данных, аналогично адресно кодирование процессов в. Значение, соответствующее логический адрес хранится во многих физическихах. Ячейка памяти не адресуется напрямую. Если входные данные (логические адреса) частично повреждены, мы все равно можем получить правильные выходные данные.
Теория памяти является математически полной и подтвержденной компьютерным моделированием.. Она возникла из наблюдения, что расстояния между точками много мерного пространства напоминают близость связи между концептами в задней памяти. Теория также практична в том смысле, что память на ее основе может быть реализована с помощью обычных элементов RAM-память.
Человеческая память имеет тенденцию накапливаться памятка ries на основе сходства между ними (хотя они могут не быть связаны), например, «пожарные машины красные, а яблоки красные». Разреженная распределенная память - это математическое представление памяти человека, использующее многомерное пространство, чтобы помочь смоделировать большие объемы памяти, имитирующие память нейронной сети. Важным свойством таких пространств большой размерности является то, что случайно выбранные деревья находятся относительно далеко друг от друга, что означает, что они не коррелированы. СДМ можно рассматривать как рассмотрения хеширования с учетом местоположения.
. Основная идея SDM заключается в отображении огромной двоичной памяти на меньший набор физических местоположений, так называемых жестких местоположений. Как правило, эти жесткие места должны быть равномерно распределены в виртуальном пространстве. Каждая система данных распределенным набором жестких местоположений и извлекается путем усреднения этих местоположений. Следовательно, отзыв может быть не идеальным, точность зависит от насыщенности памяти.
Предложение Канервы основано на четырех основных идеях:
SDM работает с n-мерными векторами с двоичными компонентами. В зависимости от контекста образования называются точками, образцами, адресами, словами, элементами памяти, данными или событиями. Этот раздел в основном посвящен свойствам окружающей среды N = . Пусть n будет измерений пространства. Тогда количество точек или обнаруженных элементов памяти будет . Мы обозначим это число как N и будем использовать N и , чтобы обозначать также само пространство.
Понятия, относящиеся к пространству N:
Свойства пространства N:
Пространство N может быть представлено вершинами единичного куба в n-мерном евклидовом пространство. Вершины лежат на поверхности n-мерной сферы с (евклидово-метрическим) радиусом . Это приводит к аналогии со сферой . Мы будем называть пространство сферическим, если
Поверхность сферы (в евклидовом трехмерном пространстве) явно сферическая. Согласно определению, N также является сферическим, поскольку y ⊕ x ⊕ (…) - автоморфизм, переводящий x в y. N является сферическим, полезно думать о нем как о поверхности сферы с окружностью 2н. Все точки N равным образом квалифицируются как точки происхождения, а точки и ее дополнение подобны двум полюсам на расстоянии друг от друга, а все пространство между ними. Точки, находящиеся на полпути между полюсами и перпендикулярные им, подобны экватору.
Количество точек, которые составляют ровно d битов, образующих произвольную точку x (из 0), - это количество способов выбрать d координат из общего количества n, и поэтому точки биномиальным коэффициентом :
Таким образом, распределение является биномиальным распределением с помощью n и p, где р = 1/2. Среднее значение биномиального распределения равно n / 2, а дисперсия равно n / 4. Эту функцию распределения обозначим N (d). нормальное распределение F со средним n / 2 и стандартным отклонением равно хорошее приближение к нему: N (d) = Pr {d (x, y) ≤ d} ≅ F {(d - n / 2) / }
Выдающимся своим N является то, что большая его часть находится примерно на среднем (безразличном) расстоянии n / 2 от точки (и ее дополнения). Другими словами, большая часть пространства почти ортогональна любая заданная точка, и чем больше n, тем сильнее этот эффект.
SDM может рассматриваться либо как адресуемое по расширению классической памяти оперативной памяти (RAM), либо как специальный тип трех слоев нейронная сеть прямого прямого доступа. Основные изменения SDM в ОЗУ:
Идеализированное описание нейрона выглядит следующим образом: нейрон имеет ячейку тело с двумя видами ветвей: дендритами и аксоном. Он принимает входные сигналы от других нейронов через дендриты, интегрирует (суммирует) их и генерирует собственный (электрический) выходной сигнал, который отправляет внешний нейронам через аксон. Точки электрического контакта между нейронами называются синапсами.
. Когда нейрон генерирует сигнал, он запускается, и после срабатывания он должен восстановиться, чем он снова сработает. Относительная синапса для возбуждения нейрона называется синаптическим весом (или входным коэффициентом). Есть два вида синапсов: возбуждающий, который запускает нейрон, и тормозной, который препятствует возбуждению. Нейрон является либо возбуждающим, либо тормозящим механизмом в зависимости от типа синапсов, создаваемых его аксоном.
Нейрон срабатывает, когда сумма входных сигналов большого размера порог. Чем выше порог, тем важнее то, что возбуждающие синапсы имеют входной сигнал, а тормозные - нет. Срабатывает ли восстановленный нейрон на самом деле, зависит от того, получил ли он достаточный возбуждающий сигнал (сверх порогового значения) и не слишком ли большой тормозной сигнал в течение определенного периода времени.
Формальная модель нейрона делает дополнительные упрощающие предположения. Нейрон с n входом моделируется линейной пороговой функцией следующим образом:
Для где n - количество входов, пусть будет выходом в момент времени t: , и пусть быть i-м входом в момент времени t: . Пусть - вес i-го входа, а - пороговое значение.
Взвешенная сумма входных данных во время t определяется как
Выход нейрона в момент времени t определяется как логическая функция : >
Где F t = 1 означает, что нейрон срабатывает в момент времени t и F t = 0, что нет, т.е. для того, чтобы нейрон сработал, взвешенная сумма должна достигнуть или превысить порог. Возбуждающие входы увеличивают сумму, а тормозящие входы уменьшают ее.
Ключевой тезис. коэффициенты и пороговые значения. 359>
Этот механизм дополняет регулируемые синапсы или регулируемые веса в нейронной сети (перцептрон обучен ение конвергенции), поскольку этот фиксированный механизм будет постоянной системой отсчета, позволяющий выбирать синапсы в котором хранится информация и откуда она извлекается при заданном наборе обстоятельств. Более того, кодировка данного обстоятельства послужит адресом.
Адрес нейрона с входными коэффициентами w, где определяется как n-битовый шаблон ввода, который максимизирует взвешенную сумму. Максимум возникает, когда тормозные входы равны нулю, возбуждающие входы - единицы. I-й бит адреса:
(при условии, что веса не нулю)
Максимальная взвешенная сумма - это сумма всех положительных коэффициентов:
И минимальная взвешенная сумма будет соответствовать точке напротив адреса нейрона a`:
Когда порог c находится в диапазоне
разработан SDM, чтобы справиться с шаблонами адресов, охватывающими огромное адресное пространство (порядок ). SDM предполагает, что шаблоны, описывающие интересующие физические ситуации, редко разбросаны по входному пространству. Невозможно зарезервировать отдельное физическое местоположение, соответствующее каждому возможному входу; СДМ реализует только ограниченное количество физических или жестких мест. Физическое местоположение называется ячейкой памяти (или жесткой).
Новое жесткое местоположение с двумя элементами:
В SDM может быть сохранено в памяти, записав его в свободную ячейку памяти и в то же время это используемое декодером адреса. Нейрон как в декодере адреса будет искать местоположение на основе сходства местоположения с поисковой меткой. В отличие от обычных машин Тьюринга SDM использует преимущества параллельных вычислений с помощью адресных декодеров. Простой доступ к памяти как вычисление, объем которого увеличивается с размером памяти.
N-битовый вектор, используемый для записи и чтения из памяти. Шаблон адреса - это закодированное описание состояния окружающей среды. (например, N = 256.)
M-битовый вектор, являющийся объектом операций записи и чтения. Как и шаблон адреса, это закодированное описание состояния окружающей среды. (например, M = 256.)
Запись - это операция сохранения шаблона данных в памяти с использованием определенного шаблона адреса. Во время записи ввод в память состоит из шаблона адреса и шаблона данных. Шаблон адреса используется для выбора ячеек жесткой памяти, чьи жесткие адреса находятся в пределах определенного расстояния отсечки от шаблона адреса. Шаблон данных сохраняется в каждом из выбранных мест.
Чтение - это операция получения шаблона данных из памяти с использованием определенного шаблона адреса. Во время чтения шаблон адреса используется для выбора определенного количества ячеек жесткой памяти (как и во время записи). Содержимое выбранных ячеек побитовое суммирование и пороговое значение для получения M-битового шаблона данных. Это служит результатом чтения из памяти.
Все элементы связаны в один список (или массив) указателей на ячейки памяти и хранятся в ОЗУ. Каждый адрес в массиве указывает на отдельную строку в памяти. Затем эта строка возвращается, если она похожа на другие строки. Нейроны используются в качестве декодеров и кодеров адресов, подобно тому, как нейроны работают в мозгу, и возвращают элементы из массива, которые совпадают или похожи.
Модель памяти Канервы имеет концепцию критической точки: до этой точки можно легко извлечь ранее сохраненный элемент; но за пределами этой точки невозможно получить предмет. Канерва методично рассчитала эту точку для определенного набора (фиксированных) параметров. Соответствующее критическое расстояние разреженной распределенной памяти можно приблизительно оценить, минимизируя следующее уравнение с ограничением и . Доказательство можно найти в,
Где:
Система ассоциативной памяти, использующая разреженные, распределенные представления, может быть переинтерпретирована как выборка важности, Монте-Карло метод аппроксимации байесовского вывода. SDM можно рассматривать как приближение Монте-Карло к многомерному интегралу условной вероятности. SDM будет генерировать приемлемые отклики от обучающего набора, когда это приближение является допустимым, когда обучающий набор содержит достаточно данных для обеспечения хороших оценок лежащих в основе совместных вероятностей и имеется достаточно выборок Монте-Карло для получения точной интеграла.
Редкое кодирование может быть общей стратегией нейронных систем для увеличения емкости памяти. Чтобы адаптироваться к окружающей среде, животные должны узнать, какие стимулы связаны с вознаграждением или стимулированием, и отличить эти стимулы от других, но не относящихся к делу. Такая задача требует специфической реализации стимула ассоциативной памяти, в которой только несколько нейронов из популяции реагируют на любой заданный стимул, и каждый нейрон реагирует только на несколько стимулов из всех стимулов..
Теоретическая работа Канервы по SDM предполагает, что разреженное кодирование увеличения ассоциативной памяти за уменьшение сопоставления между представлениями. Экспериментально разреженное представление сенсорной информации наблюдается во многих системах, включая зрение, слух, осязание и обоняние. Однако, несмотря на использование доказательств широко распространенного разреженного кодирования и теоретических аргументов в пользу важности, до недавнего времени не хватало демонстрации.
Некоторый прогресс был достигнут в 2014 году лабораторией Геро Мизенбёка в Оксфордском университете в анализе дрозофил обонятельной системы. У дрозофилы, кодирование редкого запаха Кеньона грибовидного тела, как полагают, создается большое количество точно адресованных мест для хранения специфических для запахов воспоминаний. Lin et al. что разреженность контролируется цепью отрицательной обратной связи между клетками Kenyon и ГАМКергическим передним парным латеральным нейроном (APL). Систематическая активация и блокада каждой ветви этой цепи обратной связи показывают, что клетки Kenyon активируют APL, а APL ингибирует клетки Kenyon. Нарушение петли обратной связи между клетками Кеньона и APL снижает разреженность запаховых клеток Кеньона, увеличивает корреляцию между запахами и не дает мухам отличаться похожие, несходные запахи. Эти результаты предполагают, что ингибирование обратного подавления активности клеток Кеньона для поддержания разреженного, декоррованного кодирования запаха и, следовательно, специфического запаха воспоминаний. Публикация в 2017 г. в Наука показала, что обонятельная схема мух реализует улучшенную версию двоичного хеширования, чувствительного к локальности, с помощью редких случайных проекций.
Квантовая суперпозиция утверждает, что любая физическая система одновременно существует во всех своих исполнителей >, количество которых экспоненциально зависит от количества составляющих объектов системы. Сила присутствия каждого возможного состояния в суперпозиции - то есть вероятность, с помощью которой оно будет наблюдаться при измерении - его потенциалом амплитуда вероятности. Предположение, что эти коэффициенты должны быть представлены физически отдельно друг от друга, т. Е. Локалистически, почти универсально в литературе по квантовой теории / квантовым вычислениям. В качестве альтернативы, как недавно использованный Джерард Ринкус из Университета Брандейса, эти коэффициенты представлены с использованием разреженных распределенных представлений (SDR), встроенных в дизайн SDM Канервы, в каждом коэффициенте представлен небольшой подмножеством общей совокупности репрезентативных единиц и подмножества могут перекрываться.
В частности, если мы рассмотрим модель SDR, в которой представлена общая совокупность из Q кластеров, каждый из которых представлен набором из Q единиц, по одному на кластер. Затем мы можем рассмотреть конкретное мировое состояние X, представление коэффициентов которого, R (X), чтобы получить максимальную вероятность, а вероятности всех состояний Y соответствуют размеру пересечения R (Y) и R ( ИКС). Таким образом, R (X) одновременно служит и представлением конкретного состояния X, и распределением вероятностей по всем состояниям. Когда активен любой данный код, например, R (A), все другие коды, хранящиеся в модели, также физически активны пропорционально их пересечению с R (A). Таким образом, SDR обеспечивает классические возможности квантовой суперпозиции, в которой амплитуды вероятностей прямо и неявно представлены размерами пересечений множеств. Если существуют алгоритмы для хранения (изучения) новых представлений и нахождения наиболее подходящего представленного представления (вероятностный вывод ), остается постоянным при сохранении дополнительных представлений, это будет соответствовать критерию квантовые вычисления. (См. Также Квантовое познание и Квантовая ассоциативная память )
В приложениях слова представлены собой образцы признаков. Некоторые особенности производятся сенсорной системой, другой управляют двигательной системой. текущий шаблон (например, 1000 битов), который представляет собой текущее содержимое фокуса системы. Датчики подаются в фокус, двигатели приводятся в действие из фокуса, доступ к памяти осуществляется через
То, что происходит в мире - «субъективный Таким образом, память учится предсказывать то, что вот-вот произойдет, если обратиться к шаблону, подобному тому, который встречался в прошлом.
приложения включают vision - обнаружение и и. дентификация объектов в сценарии и прогнозирование сцен - робототехника, обнаружение и проверка сигналов, а также адаптивное обучение и управление. Теоретически работа памяти может помочь нам понять память и обучение у людей и животных.
SDM может быть применен к проблеме поиска наилучшего совпадения с тестовым словом в наборе данных сохраненных слов. или, другими словами, проблема Поиск ближайшего соседа.
Рассмотрим память с N ячейками, где . Пусть местоположение имеет емкость для одного n-битного слова (например, N = 2 100-битных слов), и пусть декодирование адреса выполняется N нейронами декодера адреса. Установите порог каждого нейрона x равным его максимальной взвешенной сумме и используйте общий параметр d для настройки всех пороговых значений при доступе к памяти. Тогда эффективный порог нейрона x будет , что означает, что местоположение x доступен каждый раз, когда адрес x находится в пределах d бит адреса, представленного в памяти (т. е. адреса, существующего в адресном регистре). С у нас есть обычная оперативная память. Далее предположим, что каждое местоположение имеет специальный бит положения местоположения, к которому можно получить доступ так же, как и к обычным битам местоположения. Запись слова в устанавливает этот бит положения местоположения. Предположим, что можно прочитать только занятую позицию.
Чтобы сохранить данные в памяти, начните с установки и выполните команду для сброса бита загрузки местоположения. Эта единственная операция помечает всю память как незанятую независимо от значений адресного регистратора. Затем установите и запишите каждое слово y набора данных с самим y в качестве адреса. Обратите внимание, что каждая операция записи влияет только на одно местоположение: местоположение y. Таким образом, время заполненияо количеству слов в на данных.
Поиск наилучшего соответствия для теста z включает в себя размещение z в адресном регистре и поиск наименьшего расстояния d, для которого существует занятое место. Мы можем начать поиск, установив и последовательно увеличивая d, пока не будет найдено занятое место. Этот метод дает среднее время поиска, которое имеет пропорционально количеству бит адреса или немного меньше, чем , потому что ближайшее занятое местоположение может находиться чуть ниже биты от z (с двоичным поиском на d это будет O (log (n)).
Для 100-битных Используется 2 модуля, есть одно место набора данных, нам понадобится одно место (и один адресный декодер) для слова набора.
SDM может использовать расшифровку речи с обучением, состоящее из "слушания" большого корпуса разговорной речи языка. Две трудные проблемы с естественной речью: как определить границы слов и как приспособиться к различным говорящим. Во-первых, он хранит последовательность шаблонов в виде цепочек указателей. При обучении - при прослушивании речи - он будет строить вероятностную устойчивость с наибольшей вероятностью ветвления на границах слов. При расшифровке речи эти точки ветвления раскрываются и тенденцию разбивать поток на сегменты, соответствующие словам. Во-вторых, чувствительность памяти к подобию - это ее механизм приспособления к разным говорящим - и к вариациям голоса одного и того же говорящего.
|
В Университете Мемфиса Ума Рамамурти, Сидни К. Д'Мелло и Стэн Франклин создали модифицированную версию системы разреженной распределенной памяти, которая представляет «реализацию забывания». Он использует уравнение затухания, чтобы лучше показать помехи в данных. Система с разреженной распределенной памятью распределяет каждый шаблон примерно по одной сотой мест, поэтому интерференция может иметь пагубные результаты.
Представлены два возможных примера распада из этой модифицированной разреженной распределенной памяти
Экспоненциальный распад механизм:
Механизм распада сигмовидной кишки с отрицательным сдвигом:
В функции экспоненциального затухания она приближается к нулю быстрее, чем больше x, и a - константа (обычно между 3-9), а c - счетчик. Для инвертированной - транслированной сигмоидной функции затухание аналогично экспоненциальной функции затухания, когда a больше 4.
Когда график приближается к 0, он представляет как память забывается с помощью механизмов распада.
Ашраф Анвар, Стэн Франклин и Дипанкар Дасгупта из Университета Мемфиса; предложила модель инициализации SDM с использованием генетических алгоритмов и генетического программирования (1999).
Генетическая память использует генетический алгоритм и разреженную распределенную память в качестве псевдоискусственной нейронной сети. Он был рассмотрен для использования при создании искусственной жизни.
SDM было применено к статистическому предсказанию, задаче связывания чрезвычайно больших векторов состояния восприятия с будущим События. В условиях почти или избыточной емкости, когда поведение модели ассоциативной памяти нарушается, обработка, выполняемая моделью, может интерпретироваться как обработка статистического предиктора, а каждый счетчик данных в SDM может рассматриваться как независимая оценка. условной вероятности того, что двоичная функция f будет равна набору активации, определяемому ячейкой памяти счетчика.
(также см. Когнитивная архитектура Общий искусственный интеллект для списка проектов, связанных с SDM)
SDM обеспеченным интеллектом линейную, локальную функцию функции Схема разработанная для работы, когда очень большое / многомерное входное (адресное пространство) должно быть отображено в гораздо меньшую физическую память. В общем, локальные архитектуры, включая SDM, могут быть подвержены проклятия размерности, поскольку некоторые целевые функции потребовать, в худшем случае, экспоненциальное количество локальных аппроксимаций по всему входу Космос. Однако широко распространено мнение, что большинству систем принятия решений требуется высокая точность только для низкоразмерных пространий пространственных состояний или важных государственных "магистрали". Работа Ratitch et al. объединила модель памяти SDM с идеями из обучения на основе памяти, который обеспечивает аппроксиматор, который может динамически адаптировать его изменение и разрешение, чтобы находить области пространства состояний, которые «более интересны», и распределять пропорционально больше ресурсов памяти для их точного моделирования.
Лаборатория Даны Х. Баллард применяла универсальную технику индексирования объектов для компьютерного зрения, сочетающую в себе достоинства принципала компонентный анализ с хорошими свойствами сопоставления пространств большой размерности для достижения высокоточного распознавания. Алгоритм индексции использует систему активного зрения в сочетании с модифицированной формой SDM и платформу для изучения связи между видом объекта и его идентичностью.
Было предложено множество расширений и улучшений для SDM, например: