Сеть с эхосигналом

Сеть с эхосигналом (ESN ), является повторяющимся нейронная сеть со скрытым слоем с редкими связями (обычно с подключением 1%). Связность и веса скрытых нейронов фиксированы и назначаются случайным образом. Веса выходных нейронов можно узнать, чтобы сеть могла создавать или воспроизводить определенные временные паттерны. Основной интерес этой сети заключается в том, что, хотя ее поведение нелинейно, единственные веса, которые изменяются во время обучения, относятся к синапсам, которые соединяют скрытые нейроны с выходными нейронами. Таким образом, функция ошибок является квадратичной по отношению к вектору параметров и может быть легко дифференцирована до линейной системы.

В качестве альтернативы можно рассмотреть непараметрическую байесовскую формулировку выходного слоя, согласно которой: (i) на выходные веса накладывается предварительное распределение; и (ii) выходные веса не учитываются в контексте генерации прогнозов с учетом обучающих данных. Эта идея была продемонстрирована с использованием априорных значений Гаусса, в результате чего была получена гауссова модель процесса с функцией ядра, управляемой ESN. Было показано, что такое решение превосходит ESN с обучаемыми (конечными) наборами весов в нескольких тестах.

Некоторые общедоступные реализации ESN: (i) aureservoir : эффективная библиотека C ++ для различных типов сетей эхо-состояний с привязками python / numpy; и (ii) код Matlab : эффективный Matlab для сети с эхосигналом.

Сеть состояний эхо (ESN) принадлежит к семейству рекуррентных нейронных сетей (RNN) и обеспечивает их архитектуру и принцип контролируемого обучения. В отличие от нейронных сетей прямого распространения, рекуррентные нейронные сети являются динамическими системами, а не функциями. Рекуррентные нейронные сети обычно используются для: изучения динамического процесса: обработки сигналов в технике и телекоммуникациях, анализа вибрации, сейсмологии, управления двигателями и генераторами. Прогнозирование и генерация сигналов: текст, музыка, электрические сигналы. Моделирование биологических систем, нейронауки (когнитивная нейродинамика), моделирование памяти, интерфейсы мозг-компьютер (BCI), фильтрация и процессы Калмана, военные приложения, моделирование волатильности и т. Д.

Для обучения RNN используется ряд алгоритмов обучения доступны: обратное распространение во времени, периодическое обучение в реальном времени. Сходимость не гарантируется из-за явлений нестабильности и бифуркации.

Основной подход ESN состоит в том, чтобы, во-первых, управлять случайной, большой, фиксированной, повторяющейся нейронной сетью с входным сигналом, который вызывает нелинейный ответный сигнал в каждом нейроне в этой «резервуарной» сети, а во-вторых, подключать желаемый выходной сигнал посредством обучаемой линейной комбинации всех этих ответных сигналов.

Еще одной особенностью ESN является автономная работа при прогнозировании: если сеть состояний эха обучена с входом, который является версией вывода с обратным смещением, то ее можно использовать для генерации / прогнозирования сигнала с помощью предыдущий вывод как ввод.

Основная идея ESN связана с Liquid State Machines (LSM), которые независимо и одновременно с ESN были разработаны Вольфгангом Маассом. LSM, ESN и недавно исследованное правило обучения декорреляции обратного распространения для RNN все больше и больше обобщается под названием Reservoir Computing.

Шиллер и Стейл также продемонстрировали, что в традиционных подходах к обучению для RNN, в которых все веса (а не только выходные веса) адаптированы, доминирующие изменения происходят в выходных весах. В области когнитивной нейробиологии Питер Ф. Домини проанализировал связанный процесс, связанный с моделированием обработки последовательностей в мозге млекопитающих, в частности, с распознаванием речи в человеческом мозге. Основная идея также включала модель временной дискриминации входа в биологических нейронных сетях. Ранняя четкая формулировка идеи расчета резервуаров принадлежит К. Кирби, который раскрыл эту концепцию в почти забытом докладе конференции. Первая формулировка известной сегодня идеи пластовых вычислений принадлежит Л. Шомакеру, который описал, как желаемый целевой выходной сигнал может быть получен из RNN путем обучения объединению сигналов от случайно сконфигурированного ансамбля импульсных нейронных осцилляторов.

• 1 Варианты
• 2 Значимость
• 3 См. Также
• 4 Ссылки

Сети эхо-состояний могут быть построены различными способами. Их можно настроить с или без напрямую обучаемых соединений ввода-вывода, с обратной связью резервирования вывода или без, с различными нейротипами, различными шаблонами внутренней связи резервуара и т. Д. Выходной вес может быть рассчитан для линейной регрессии со всеми алгоритмами, независимо от того, являются ли они онлайн или офлайн. Помимо решений для ошибок с наименьшими квадратами, для определения выходных значений используются критерии максимизации маржи, так называемые машины векторов поддержки обучения.

Фиксированная RNN действует как случайная нелинейная среда, динамический отклик которой, "эхо", используется как база сигнала. Линейная комбинация этой базы может быть обучена для восстановления желаемого результата путем минимизации некоторых критериев ошибок.

RNN редко использовались на практике до введения ESN. Поскольку эти модели подходят, нужна версия градиентного спуска для корректировки соединений. В результате алгоритмы работают медленно и намного хуже, что делает процесс обучения уязвимым для ошибок ветвления. Следовательно, сходимость не может быть гарантирована. Проблема с ветвлением не имеет обучения ESN и, кроме того, легко реализуема. ESN превосходят все другие нелинейные динамические модели. Однако сегодня проблема, которую RNN делали медленными и подверженными ошибкам, была решена с появлением Deep Learning, и уникальные преимущества ESN были потеряны. Кроме того, RNN зарекомендовали себя в нескольких практических областях, таких как языковая обработка. Чтобы справиться с задачами аналогичной сложности с использованием методов расчета коллектора, потребуется память чрезмерного размера. Однако они используются в некоторых областях, например, во многих приложениях для обработки сигналов. Однако ESN широко используются в качестве вычислительного принципа, который сочетается с нецифровыми компьютерными подложками. Например: оптические микрочипы, механические наноосцилляторы, смеси полимеров или даже искусственные мягкие конечности.

• Машина с жидким состоянием : аналогичная концепция с обобщенным сигналом и сетью.
• Вычисления резервуаров.

1. ^ Герберт Йегер и Харальд Хаас. Использование нелинейности: прогнозирование хаотических систем и экономия энергии в беспроводной связи. Science 2 апреля 2004 г.: Vol. 304. нет. 5667, стр. 78 - 80 doi :10.1126/science.1091277 PDF
2. ^ Герберт Джегер (2007) Echo State Network. Scholarpedia.
3. ^Сотириос П. Хатзис, Яннис Демирис, «Гауссовский процесс эхо-состояния», IEEE Transactions on Neural Networks, vol. 22, нет. 9, pp. 1435-1445, сентябрь 2011 г. [1]
4. ^ Jaeger, Herbert (2002). Учебное пособие по обучению рекуррентных нейронных сетей, охватывающее BPPT, RTRL, EKF и подход «сеть состояний эха». Германия: Немецкий национальный исследовательский центр информационных технологий. Стр. 1–45.
5. ^Маасс В., Натшлэгер Т. и Маркрам Х. (2002). «Вычисления в реальном времени без стабильных состояний: новая структура для нейронных вычислений на основе возмущений». Нейронные вычисления. 14 (11): 2531–2560. doi : 10.1162 / 089976602760407955. PMID 12433288. CS1 maint: несколько имен: список авторов (ссылка )
6. ^ Schiller UD и Steil JJ (2005). «Анализ динамики веса повторяющихся алгоритмы обучения ». Нейрокомпьютинг. 63 : 5–23. doi : 10.1016 / j.neucom.2004.04.006.
7. ^Dominey PF (1995).« Сложная сенсорная -обучение двигательной последовательности на основе рекуррентного представления состояния и обучения с подкреплением ". Биол. кибернетика. 73 (3): 265–274. doi : 10.1007 / BF00201428.
8. ^Буономано Д.В. и Мерзенич М.М. (1995). «Временная информация, преобразованная в пространственный код нейронной сетью с реалистичными свойствами». Наука. 267 (5200): 1028–1030. Bibcode : 1995Sci... 267.1028B. doi : 10.1126 / science.7863330. PMID 7863330. S2CID 12880807. CS1 maint: несколько имен: список авторов (ссылка )
9. ^Кирби, К. (1991). «Динамика контекста в нейронном последовательном обучении. Proc. ». Флоридский симпозиум AI Research: 66–70.
10. ^Sch Омакер, Л. (1992). «Нейронная осцилляторно-сетевая модель генерации временных образов». Наука человеческого движения. 11 (1-2): 181–192. doi : 10.1016 / 0167-9457 (92) 90059-K.
11. ^Шмидхубер Дж., Гомес Ф., Вьерстра Д. и Гаглиоло М. (2007). «Обучение рекуррентных сетей от evolino». Нейронные вычисления. 19 (3): 757–779. doi : 10.1162 / neco.2007.19.3.757. PMID 17298232. CS1 maint: несколько имен: список авторов (ссылка )
12. ^Doya K. (1992). «Бифуркации в обучении рекуррентных нейронных сетей ". In Proceedings of 1992 IEEE Int. Symp. On Circuits and Systems. 6 : 2777–2780. doi : 10.1109 / ISCAS.1992.230622. ISBN 0-7803-0593-0.
13. ^Джагер Х. (2007). «Обнаружение многомасштабных динамических функций с иерархическими сетями эхо-состояний». Технический отчет 10, Школа инженерии и науки, Университет Джейкобса.

.