Войти
Коннекционизм - это подход в области когнитивная наука, которая надеется объяснить психические явления с помощью искусственных нейронных сетей (ИНС). Коннекционизм представляет собой когнитивную теорию, основанную на одновременном возникновении распределенной активности сигналов через связи, которые могут быть представлены в числовом виде, где обучение происходит путем изменения силы связи на основе опыта.
Некоторые преимущества коннекционистского подхода включают его применимость к широкому кругу вопросов. набор функций, структурное приближение к биологическим нейронам, низкие требования к врожденной структуре и способность к постепенной деградации. К некоторым недостаткам можно отнести сложность расшифровки того, как ИНС обрабатывают информацию или учитывают композиционность ментальных представлений, и, как следствие, сложность объяснения явлений на более высоком уровне.
Успех глубокого обучения сетей За последнее десятилетие популярность этого подхода значительно возросла, но сложность и масштаб таких сетей привели к увеличению проблем интерпретируемости. Многие считают, что коннекционизм предлагает альтернативу классическим теориям разума, основанным на символических вычислениях, но степень совместимости этих двух подходов была предметом многочисленных споров с момента их появления.
Модель коннекционизма (ИНС) с скрытый слой Центральные Коннекционистский принцип заключается в том, что ментальные явления можно описать взаимосвязанными сетями простых и часто однородных единиц. Форма соединений и агрегатов может варьироваться от модели к модели. Например, единицы в сети могут представлять нейроны, а соединения могут представлять синапсы, как в человеческом мозге.
В большинстве Коннекционистские модели сети меняются со временем. Тесно связанный и очень распространенный аспект моделей коннекционизма - это активация. В любое время у объекта в сети есть активация, которая представляет собой числовое значение, предназначенное для представления некоторого аспекта объекта. Например, если единицы в модели - нейроны, активация может представлять вероятность того, что нейрон сгенерирует потенциал действия всплеск. Активация обычно распространяется на все другие подключенные к нему юниты. Распространение активации всегда является особенностью моделей нейронных сетей, и это очень часто встречается в моделях коннекционизма, используемых когнитивными психологами.
Сегодня нейронные сети являются наиболее часто используемой моделью коннекционизма. Хотя существует большое количество моделей нейронных сетей, они почти всегда следуют двум основным принципам, касающимся разума:
Большая часть разнообразия моделей нейронных сетей происходит от:
Сторонники соединения согласны с тем, что рекуррентные нейронные сети (направленные сети, в которых соединения сети могут формировать направленный цикл) являются лучшей моделью мозга, чем нейронные сети прямого распространения (направленные сети без циклов, называемые DAG ). Многие повторяющиеся коннекционистские модели также включают теорию динамических систем. Многие исследователи, такие как коннекционист Пол Смоленский, утверждали, что коннекционистские модели будут развиваться в сторону полностью непрерывных, многомерных, нелинейных, динамические системы подходы.
Работа коннекционистов в целом не обязательно должна быть биологически реалистичной и поэтому страдает недостатком нейробиологической достоверности. Однако структура нейронных сетей происходит от структуры биологических нейронов, и эта параллель в низкоуровневой структуре часто считается преимуществом коннекционизма при моделировании когнитивных структур по сравнению с другими подходами. Одна область, в которой коннекционистские модели считаются биологически неправдоподобными, связана с сетями распространения ошибок, которые необходимы для поддержки обучения, но распространение ошибок может объяснить часть биологически генерируемой электрической активности, наблюдаемой на коже черепа в связанной с событием потенциалы, такие как N400 и P600, и это обеспечивает некоторую биологическую поддержку одного из ключевых предположений процедур обучения коннекционистам.
Веса в нейронной сети регулируются в соответствии с некоторым правилом обучения или алгоритмом, например Hebbian Learning. Таким образом, коннекционисты создали множество сложных обучающих процедур для нейронных сетей. Обучение всегда включает в себя изменение весов соединений. Как правило, они включают математические формулы для определения изменения весов при заданных наборах данных, состоящих из векторов активации для некоторого подмножества нейронных единиц. Несколько исследований были сосредоточены на разработке методов преподавания-обучения, основанных на коннекционизме.
Формализуя обучение таким образом, коннекционисты получают множество инструментов. Очень распространенная стратегия в методах обучения коннекционистам - это включение градиентного спуска по поверхности ошибок в пространстве, определяемом матрицей весов. Все обучение градиентным спуском в моделях коннекционистов включает изменение каждого веса на частную производную поверхности ошибки по отношению к весу. Обратное распространение (BP), впервые ставшее популярным в 1980-х годах, вероятно, является наиболее широко известным сегодня алгоритмом коннекционистского градиентного спуска.
Коннекционизм можно проследить до идей более столетней давности, которые были немного больше, чем предположения до середины-конца 20 века.
Преобладающий сегодня подход коннекционистов изначально был известен как параллельная распределенная обработка (PDP). Это был подход искусственной нейронной сети, который подчеркивал параллельную природу нейронной обработки и распределенную природу нейронных представлений. Он предоставил исследователям общую математическую основу для работы. Эта структура включает восемь основных аспектов:
Многие исследования, которые привели к разработке PDP, были выполнены в 1970-х, но PDP стал популярным в 1980-х с выпуском книг «Параллельная распределенная обработка: исследования микроструктуры познания - том 1 (основы) и том 2 (Психологические и биологические модели)», автор Джеймс Л. МакКлелланд, Дэвид Э. Рамелхарт и исследовательская группа PDP. Книги теперь считаются основополагающими работами по коннекционизму, и теперь принято полностью приравнивать PDP и коннекционизм, хотя термин «коннекционизм» в книгах не используется.
PDP напрямую связаны с теориями перцептрона таких исследователей, как Фрэнк Розенблатт из 1950-х и 1960-х годов. Но модели перцептронов были очень непопулярны благодаря книге «Персептроны» Марвина Мински и Сеймура Паперта, опубликованной в 1969 году. Layer) персептроны могут вычислять, показывая, что даже простые функции, такие как исключительная дизъюнкция (XOR), не могут быть обработаны должным образом. Книги по PDP преодолели это ограничение, показав, что многоуровневые нелинейные нейронные сети были гораздо более надежными и могли использоваться для широкого спектра функций.
Многие ранние исследователи отстаивали модели коннекционистского стиля, например, в 1940-е и 1950-е годы, Уоррен Маккалок и Уолтер Питтс (MP нейрон ), Дональд Олдинг Хебб и Карл Лэшли. Маккаллох и Питтс показали, как нейронные системы могут реализовать логику первого порядка : Их классическая статья «Логическое исчисление идей, присущих нервной деятельности» (1943) важна в этом развитии. На них повлияли важные работы Николая Рашевского 1930-х годов. Хебб внес большой вклад в рассуждения о нейронном функционировании и предложил принцип обучения, обучение по Хеббу, который используется до сих пор. Лэшли выступал за распределенные представления в результате своей неспособности найти что-либо вроде локализованной инграммы за годы экспериментов с поражением.
Хотя PDP является доминирующей формой коннекционизма, другие теоретические работы также следует классифицировать как коннекционистские.
Многие принципы коннекционизма восходят к ранним работам психологии, например, Уильяма Джеймса. Психологические теории, основанные на знаниях о человеческом мозге, были в моде в конце 19 века. Еще в 1869 году невролог Джон Хьюлингс Джексон выступал за многоуровневые распределенные системы. Следуя этому примеру, Герберт Спенсер «Принципы психологии», 3-е издание (1872 г.) и «Проект научной психологии» Зигмунда Фрейда (составленный в 1895 г.) выдвинули коннекционист или прототип. коннекционистские теории. Как правило, это были спекулятивные теории. Но к началу 20 века Эдвард Торндайк экспериментировал с обучением, основанным на сети типа коннекционистского типа.
Фридрих Хайек независимо разработал модель обучения синапсов Хебба в статье, представленной в 1920 году, и развил эту модель в глобальную теорию мозга, состоящую из сетей синапсов Хебба, встраиваемых в более крупные системы карт и сети памяти. Фрэнк Розенблатт процитировал революционную работу Хайека в своей статье о персептронах.
Другой формой коннекционистской модели была структура реляционной сети, разработанная лингвистом Сидни Лэмбом в 1960-х. Реляционные сети использовались только лингвистами и никогда не были объединены с подходом PDP. В результате их сейчас используют очень немногие исследователи.
Существуют также гибридные модели коннекционизма, в основном смешивающие символические представления с моделями нейронных сетей. Некоторые исследователи поддерживают гибридный подход (например, Рон Сан ).
Поскольку в конце 1980-х годов коннекционизм становился все более популярным, некоторые исследователи (в том числе Джерри Фодор, Стивен Пинкер и другие) выступил против этого. Они утверждали, что развитие коннекционизма угрожает уничтожить то, что они считали прогрессом, достигнутым в областях когнитивной науки и психологии с помощью классического подхода вычислительного подхода. Вычислительный подход - это особая форма когнитивизма, утверждающая, что умственная деятельность является вычислительной, то есть что разум действует, выполняя чисто формальные операции с символами, как машина Тьюринга. Некоторые исследователи утверждали, что тенденция к коннекционизму представляет собой возврат к ассоцианизму и отказ от идеи языка мысли, что они считали ошибочным. Напротив, именно эти тенденции сделали коннекционизм привлекательным для других исследователей.
Коннекционизм и вычислительный подход не должны противоречить друг другу, но дебаты в конце 1980-х и начале 1990-х привели к противостоянию между двумя подходами. На протяжении всей дискуссии некоторые исследователи утверждали, что коннекционизм и вычислительный подход полностью совместимы, хотя полного консенсуса по этому вопросу достичь не удалось. Различия между этими двумя подходами заключаются в следующем:
Несмотря на эти различия, некоторые теоретики предположили, что коннекционистская архитектура - это просто способ, которым органический мозг реализует систему манипулирования символами. Это логически возможно, поскольку хорошо известно, что коннекционистские модели могут реализовывать системы манипулирования символами того типа, который используется в вычислительных моделях, поскольку они действительно должны уметь объяснять способность человека выполнять задачи манипулирования символами. Было предложено несколько когнитивных моделей, сочетающих архитектуру манипуляций с символами и коннекционистскую архитектуру, в частности, среди них Интегрированная коннекционистская / символическая когнитивная архитектура (ICS) Пола Смоленского. Но дебаты основываются на том, формирует ли эта манипуляция символами фундамент познания в целом, так что это не является потенциальным оправданием вычислительного подхода. Тем не менее, вычислительные описания могут быть, например, полезными высокоуровневыми описаниями познания логики.
Споры в основном были сосредоточены на логических аргументах о том, могут ли коннекционистские сети порождать синтаксическую структуру, наблюдаемую в такого рода рассуждениях. Позднее это было достигнуто, хотя и с использованием способностей быстрого связывания переменных, выходящих за рамки тех, которые обычно предполагаются в моделях коннекционизма. По состоянию на 2016 год прогресс в нейрофизиологии и общие достижения в понимании нейронных сетей привели к успешному моделированию огромного количества этих ранних проблем, и поэтому дебаты о фундаментальном познании в значительной степени решились среди нейробиологов в пользу коннекционизма.. Однако эти относительно недавние разработки еще не достигли консенсуса среди тех, кто работает в других областях, таких как психология или философия разума.
Отчасти привлекательность вычислительных описаний заключается в том, что их относительно легко интерпретировать и, таким образом, можно рассматривать как способствующие нашему пониманию конкретных психических процессов, тогда как коннекционистские модели в целом более непрозрачны в той степени, в которой они могут быть описаны только в очень общих терминах (например, указание алгоритма обучения, количества единиц и т. д.) или в терминах крайне низкого уровня. В этом смысле коннекционистские модели могут конкретизировать и тем самым предоставлять доказательства широкой теории познания (то есть коннекционизма), не представляя полезную теорию конкретного моделируемого процесса. В этом смысле дебаты могут рассматриваться как в некоторой степени отражающие простую разницу в уровне анализа, на котором строятся те или иные теории. Некоторые исследователи предполагают, что пробел в анализе является следствием коннекционистских механизмов, порождающих возникающие явления, которые могут быть описаны в вычислительных терминах.
Недавняя популярность динамических систем в философия разума добавили новый взгляд на дебаты; некоторые авторы сейчас утверждают, что любой раскол между коннекционизмом и вычислительной техникой более убедительно охарактеризован как раскол между вычислительным подходом и динамическими системами.
В 2014 году Алекс Грейвс и другие из DeepMind опубликовал серию статей, описывающих новую структуру глубокой нейронной сети, называемую нейронной машиной Тьюринга, способной читать символы на ленте и сохранять символы в памяти. Relational Networks, еще один модуль Deep Network, опубликованный DeepMind, может создавать объектно-подобные представления и манипулировать ими, чтобы отвечать на сложные вопросы. Реляционные сети и нейронные машины Тьюринга - еще одно свидетельство того, что коннекционизм и вычислительный подход не должны противоречить друг другу.
Этот аудиофайл был создан на основе редакции этой статьи от 26 ноября 2011 г. не отражать последующие правки. ()