Китайская комната

редактировать

Аргумент Китайская комната утверждает, что цифровой компьютер, выполняющий программу, не может показать, что имеет "разум "," понимание "или" сознание "независимо от того, насколько разумно или по-человечески программа может заставить компьютер вести себя. Впервые этот аргумент представлен философом Джоном Сёрлом в его статье «Разум, мозг и программы», опубликованной в Поведенческие науки и науки о мозге в 1980 году. Он широко обсуждался в лет с тех пор. Центральный аргумент аргумента мысленный эксперимент, известный как Китайская комната.

Аргумент направлен против философских позиций из функционализма и вычислительный подход, согласно которому можно рассматривать как систему обработки информации, работающую с формальными символами, и что имитация данного психического состояния достаточна для его присутствия. В частности, этот аргумент призван опровергнуть позицию, которую представляет собой называет ИИ : «Соответственно запрограммированный компьютер с правильными входами и выходами, таким образом, будет иметь разум точно так же, как человеческие существа».

Хотя он изначально представлен в заявлении исследователей искусственного интеллекта (AI), он не является аргументом против целей основных исследований ИИ, поскольку не ограничивает количество интеллекта. машина может отображать. Аргумент применимы только к цифровым компьютерам, на которых выполняются программы, и не применимы к машинам в целом.

Содержание
  • 1 мысленный эксперимент в китайской комнате
  • 2 История
  • 3 Философия
    • 3.1 Сильный ИИ
    • 3.2 Сильный ИИ как вычислитель или функционализм
    • 3.3 Сильный ИИ против биологического натурализма
    • 3.4 Сознание
    • 3.5 Прикладная этика
  • 4 Информатика
    • 4.1 Сильный ИИ против исследований ИИ
    • 4.2 Тест Тьюринга
    • 4.3 Обработка символов
    • 4.4 Китайская комната и полнота Тьюринга
  • 5 Полный аргумент
  • 6 Ответы
    • 6.1 Ответы систем и виртуального разума: поиск разума
      • 6.1.1 Ответ системы
      • 6.1.2 Ответ виртуального разума
    • 6.2 Ответы робота и семантики: поиск смысла
      • 6.2. 1 Ответ робота
      • 6.2.2 Производственное значение
      • 6.2.3 Знание здравого смысла / ответ контекстуализма
    • 6.3 Моделирование мозга и ответы коннекциониста: изменение дизайна комнаты
      • 6.3.1 Ответ симулятора мозга
        • 6.3. 1.1 Китайский мозг
        • 6.3.1.2 Сценарий замены мозга
      • 6.3.2 Коннекционист ответ
      • 6.3.3 Комбинированный ответ
      • 6.3.4 Многие особняки / ждут ответа в следующем году
    • 6.4 Скорость и сложность: апеллирует к интуиции
      • 6.4.1 Скорость и сложность ответов
      • 6.4.2 Светлая комната Черчленда
    • 6.5 Другие умы и зомби: бессмысленность
  • 7 В популярной культуре
  • 8 См. Также
  • 9 Примечания
  • 10 Цитаты
  • 11 Ссылки
  • 12 литература
Мысленный эксперимент в китайской комнате
Джон Сирл в декабре 2005 года

Мысленный эксперимент Сирла начинается с этой гипотетической предпосылки: предположим, что исследования искусственного интеллекта преуспели в создании компьютера, который ведет себя как если он понимает китайский. Он принимает китайские символы в качестве входных данных и следуя инструкциям компьютерной программы, производит другие китайские символы, которые он представляет как выходные. Предположим, что этот компьютер выполняет свою задачу эффективно, что с комфортом проходит тест Тьюринга : он убеждает человека, говорящего по -ски, в том, что программа сама живым говорящим по-китайски. На все вопросы, которые задает человек, он дает соответствующие ответы, чтобы любой говорящий по-китайски был уверен, что он разговаривает с другим человеком, говорящим по-китайски.

Вопрос, на который Сирл хочет ответить, звучит так: буквально ли машина «понимает» китайский язык? Или это просто имитация понимать способности китайский? Сирл называет первую позицию «сильным ИИ », а вторую - «слабым ИИ».

Затем Сирл предполагает, что он находится в закрытой комнате и имеет книгу с английской версией компьютера. программа вместе с достаточным количеством бумаги, карандашей, ластиков и шкафов для документов. Сирл принимать китайские иероглифы через прорезь в двери, обрабатывать их в соответствии с инструкциями программы и воспроизводить китайские иероглифы на выходе. Если бы компьютер прошел тест Тьюринга таким образом, по словам Сирла, он бы тоже сделал это, просто запустив программу вручную.

Сирл утверждает, что нет существенной разницы между ролями компьютера и имим в эксперименте. Каждый просто программа следует, шаг за шагом, создавая поведение, интерпретируйте как демонстрация разумного разговора. Однако сам Сирл не смог понять разговора. («Я не говорю по-китайски», - говорит он.) Следовательно, утверждает, из этого следует, что компьютер также не сможет понять разговор.

Сирл утверждает, что без «понимания» (или «интенциональности ») мы не можем описать то, что делает машину, как «думает», поскольку она не думает, она не иметь "ум" в каком-нибудь нормальном смысле этого слова. Таким образом, он приходит к выводу, что гипотеза «сильного ИИ» неверна.

История

Готфрид Лейбниц выдвинул аналогичный аргумент в 1714 году против механизма (позиции, согласно которой разум - это машина, и ничего более). Лейбниц использовал мысленный эксперимент по расширению мозга до размеров мельницы. Лейбниц обнаружил, что трудно представить, что «разум», способный к «восприятию», может быть использован с использованием только механических процессов. В рассказе 1961 года «Игра» Анатолия Днепрова стадион людей работают как переключатели и ячейки памяти, реализующие программу перевода предложений на португальский язык, который из никто не знает. В 1974 году он представил себе дублирование мозга с помощью телефонных линий и офисов, которые работают люди, а в 1978 году Нед Блок представил, что все население Китая будет вовлечено в такую ​​симуляцию мозга. Этот мысленный эксперимент называется мозг Китая, также «китайский народ» или «китайский спортзал».

Аргумент китайской комнаты представлен в статье Серла 1980 года «Умы, мозги и Программы», опубликованной в Поведенческие и мозговые науки. В конечном итоге она стала «самой важной аргументой» журнала, вызвавшей огромное количество комментариев и откликов в последующие десятилетия, и Сирл продолжал защищать и уточнять во многих статьях, популярныхях и книгах. Дэвид Коул пишет, что «аргумент о китайской комнате, вероятно, был наиболее широко обсуждаемым философским аргументом в когнитивной науке за последние 25 лет».

Большинство состоит из попыток его опровергнуть. «Подавляющее большинство», - отмечает редактор BBS Стеван Харнад, «все еще считает, что аргумент о китайской комнате абсолютно неверен». Огромный объем литературы, вырос вокруг него, вдохновил Пэта Хейса прокомментировать, что область когнитивной науки следует переопределить как «текущую исследовательскую программу по демонстрации Китайской комнаты Серла. Аргумент ложный ».

Аргумент Сирла стал «чем-то вроде классики когнитивной науки», по словам Харнада. Варол Акман согласен и назвал оригинальную статью «образцовой. философской ясности и чистоты ».

Философия

Хотя аргумент «Китайской комнаты» изначально был представлен как реакция на утверждение исследователей искусственного интеллекта, философы стали рассматривать его как важная часть философии разума. Это вызов функционализму и вычислительной теории разума, и он связан с такими вопросами, как проблема разума и тела, проблема других умы, проблема обоснования символа и трудная проблема сознания.

Сильный ИИ

Сёрл определил философскую позицию он называет «сильный ИИ»:

Соответственно запрограммированный компьютер с правильными входами и выходами, таким образом, будет иметь разум в том же смысле, в каком человеческий разум.

Определение зависит от различия между имитацией разума и фактическим наличием разумом. Сирл пишет, что «согласно Сильному ИИ, правильная симуляция - это действительно разум. Согласно Слабому ИИ, правильная симуляция - это модель разума ».

Утверждение подразумевается в некоторых утверждениях ранних Исследователи и аналитики И. Например, в 1955 году основатель ИИ Герберт А. Саймон заявил, что «сейчас в мире есть машины, которые думают, учатся и творят» (Саймон вместе с Алленом Ньюэллом и Клифф Шоу, только что завершивший первую программу «ИИ », Теоретик логики ), и заявлено, что они« решили почтенную проблему разума и тела, объясняя, как система, состоящая из материи, может обладать свойствами разума ». Джон Хогеланд писал, что «ИИ нужен только подлинный предмет: машины с разумом, в полном и буквальном смысле. Это не научная фантастика, основанная на теоретической концепции настолько глубокой, насколько это смелая: а именно, мы, по сути, сами компьютеры ».

Сирл также приписывает утверждения сторонникам сильного ИИ:

  • системы ИИ люди для объяснения разума;
  • Изучение мозга не имеет отношения к изучению разума; и
  • Тест Тьюринга подходит для существования ментальных состояний.

Сильный ИИ как вычислительный или функционализм

В более поздних презентациях аргумента китайской комнаты Серл определил «сильный ИИ» как «компьютерный функционализм » (термин, который он приписывает Дэниелу Деннетту ). Функционализм - это позиция в современной философии разума, которая утверждает, что мы можем определять психические явления (такие как убеждения, желания и восприятия), описывая их функции по отношению друг к другу и к внешнему миру. Компьютерная программа может точно использовать функциональные отношения как отношения между символами, в соответствии с функционализмом компьютер может иметь ментальные феномены, если он запускает правильную программу.

Стеван Харнад утверждает, что описание Сирлом сильного ИИ можно переформулировать как «узнаваемые принципы вычислительного подхода, позиция» (отличие от «сильного ИИ»), которые на самом деле используются многие мыслители, и, следовательно, ее стоит опровергнуть ». 41>Вычислительный подход - это позиция в философии разума, которая утверждает, что разум можно описать как систему обработки информации.

Каждое из следующих утверждений, согласно Харнаду, является «принципом» вычислительного подхода:

  • Психические состояния - это вычислительные состояния - это компьютеры, которые могут иметь психические состояния и помогать объяснять разум);
  • Вычислительные состояния не зависят от реализации - другими словами, это программное обеспечение определяет вычислительное состояние, а не аппаратное обеспечение (вот почему мозг, будучи аппаратным, не значения); и что
  • реализация не важна, единственные эмпирические данные, которые имеют значение, - это то, как работает система; Следовательно, тест Тьюринга является окончательным.

Сильный ИИ против биологического лизма

Сирл придерживается философской позиции, которую он называет «биологическим натурализмом »: это сознание и понимание требуют определенные биологические механизмы, которые находятся в мозге. Он пишет, что «мозг порождает разум» и что «реальные психические явления человека [зависят] от реального физико-химического реального человеческого мозга». Сирл утверждает, что этот механизм (известный в нейробиологии как «нейронные корреляты сознания ») должен обладать причинными силами, которые позволяют человеческое переживание сознания. Вера Серла в существовании этих способов подвергалась критике.

Сирл не возражает против идей, потому что мы являемся именно такими машинами, как он пишет. Сирл считает, что мозг на самом деле является машиной, но что мозг дает начало сознанию и пониманию, используя механизмы, которые не являются вычислительными. Если неврология способна изолировать механический процесс, порождающий сознание, то Сёрл допускает, что возможно создание машин, обладающих сознанием и пониманием. Однако Сирл не верит, что сознание может без специального оборудования.

Биологический натурализм подразумевает, что нельзя определить, происходит ли переживание сознания, просто исследуя, как функционирует система, потому что особый механизм мозга важен. Таким образом, биологический натурализм прямо противоположен как бихевиоризму, так и функционализму (включая «компьютерный функционализм» или «сильный ИИ»). Биологический натурализм аналогичен теории идентичности (позиция, согласно которой психические состояния «идентичны» или «состоят из» неврологических событий); однако у Сирла есть технические возражения против теории идентичности. И биологический натурализм Сирла, и сильный ИИ противоположны картезианскому дуализму, классической идее о том, что мозг и разум состоят из разных «субстанций». Действительно, Сирл обвиняет сильный ИИ в дуализме, написав, что «сильный ИИ имеет смысл только при дуалистическом предположении, что в отношении разума мозг не имеет значения».

Сознание

Первоначальное представление Серла подчеркивало «понимание», то есть ментальные состояния с тем, что философы называют «интенциональностью », - и не касалось напрямую других связанных идей, таких как «сознание». Однако в более поздних презентациях Сирл включил сознание как реальную цель аргументации.

Вычислительных моделей самого по себе недостаточно для сознания. Вычислительная модель сознания соотносится с сознанием точно так же, как вычислительная модель чего-либо относится к моделируемой области. Никто не думает, что вычислительная модель ливней в Лондоне оставит нас всех мокрыми. Но они делают ошибку, предполагая, что вычислительная модель сознания каким-то образом сознательна. В обоих случаях это одна и та же ошибка.

— Джон Р. Сирл, Сознание и язык, с. 16

Дэвид Чалмерс пишет: «Совершенно очевидно, что сознание лежит в основе материи» китайской комнаты.

Колин МакГинн утверждает, что китайская комната убедительные доказательства того, что Трудная проблема сознания принципиально неразрешима. Чтобы быть ясным, аргумент заключается не в том, может ли машина быть сознательной, а в том, можно ли показать ее (или что-то еще в этом отношении) сознательной. Понятно, что любой другой метод проверки человека в китайской комнате имеет в виду те же трудности, что и вопрос обмен и ответами на китайском языке. Просто невозможно предугадать, обитает ли в сознательная сила или какая-то умная симуляция.

Сирл утверждает, что это верно только для наблюдателя вне комнаты. Весь смысл мысленного эксперимента состоит в том, чтобы включить кого-нибудь в комнату, где он может осуществлять наблюдение за действиями сознания. Сирл утверждает, что с его выгодной позиции в комнате он не видит ничего, что могло бы вообразить сознание, кроме него самого, и очевидно, что у него нет ума, который может говорить по-китайски.

Прикладная этика

Сидеть в центре боевой информации на борту военного корабля - предложено в качестве реального аналога Китайской комнаты

Патрик Хью использовал аргумент Китайской комнаты для вывода требований от военных систем командования и управления, если они призваны сохранить моральную волю командира. Он провел аналогию между командиром в их командном центре и человеком в Китайской комнате и проанализировал это в свете аристотелевских понятий «принудительное» и «невежество». Информацию можно «преобразовать вниз» из смысла в символы и манипулировать символически, но моральная сила может быть подорвана, если не будет адекватного «преобразования вверх» в смысл. Он привел примеры из инцидента с USS Vincennes.

Компьютерные науки

Аргумент китайской комнаты - это в первую очередь аргумент философии разума, а также основных ученых-информаторов и искусственного интеллекта. исследователи считают, что это не имеет отношения к своей области. Однако для понимания аргумента необходимы несколько концепций, разработанных компьютерными специалистами, в том числе обработка символов, машины Тьюринга, полнота Тьюринга и тест Тьюринга..

Сильные исследования ИИ против ИИ

Аргументы Сирла обычно не считается проблемой для исследований ИИ. Стюарт Рассел и Питер Норвиг отмечают, что большинство исследователей ИИ «не заботятся о сильной гипотезе ИИ - пока программа работает, им все равно, назовете ли вы это симуляция интеллекта или реального интеллекта». Основная задача исследований искусственного интеллекта состоит только в создании полезных систем, которые действуют разумно, и не имеет значения, является ли интеллект «просто» симуляцией.

Сирл не возражает, что исследования ИИ могут создавать машины, способные к очень интеллектуальному поведению. Аргумент китайской комнаты оставляет открытой возможность того, что можно построить цифровую машину, которая будет действовать более разумно, чем человек, но не имеет разума или интенциональности в том же смысле, что и мозги делать.

«сильный ИИ» Серла не следует путать с «сильным ИИ » по определению Рэя Курцвейла и других футуристов, которые используют этот термин для описания машинного интел лекта, который соперники или превосходят человеческий интеллект. Курцвейла в первую очередь интересует количество интеллекта, отображаемого машиной, тогда как аргумент Сирла не устанавливает ограничений на это. Сирл утверждает, что даже сверхразумная машина не обязательно будет иметь разум и сознание.

Тест Тьюринга

«Стандартная интерпретация» теста Тьюринга, в которой игроку C, дознавателю, дается задача определить, какой игрок - A или B - является компьютером, а какой - человек. Допрашивающий ограничивается использованием ответов на письменные вопросы для принятия решения. Изображение адаптировано из Сайгина и др. 2000.

Китайская комната реализует версию теста Тьюринга. Алан Тьюринг представил тест в 1950 году, чтобы помочь ответить на вопрос «могут ли машины думать?» В стандартной версии судья-человек участвует в разговоре на естественном языке с человеком и машиной, предназначенной для создания производительности, неотличимой от человеческого существа. Все участники отделены друг от друга. Если судья не может достоверно отличить машину от человека, считается, что машина выдержала испытание.

Затем Тьюринг рассмотрел все возможные возражения против предложения «машины могут думать» и обнаружил, что есть простые, очевидные ответы, если вопрос будет демистифицирован таким образом. Однако он не предполагал, что тест будет измерять наличие «сознания» или «понимания». Он не считал, что это имеет отношение к проблемам, которые он решал. Он писал:

Я не хочу производить впечатление, будто считаю, что в сознании нет тайны. Например, есть некоторый парадокс, связанный с любой попыткой его локализации. Но я не думаю, что эти загадки обязательно нужно разгадывать, прежде чем мы сможем ответить на вопрос, который нас интересует в этой статье.

Сирлу как философу, исследующему природу разума и сознание, это соответствующие загадки. Китайская комната спроектирована так, чтобы показать, что теста Тьюринга недостаточно для обнаружения присутствия сознания, даже если комната может вести себя или функционировать так же, как сознательный разум.

Обработка символов

Китайская комната (и все современные компьютеры) манипулируют физическими объектами, чтобы выполнять вычисления и моделировать. Исследователи ИИ Аллен Ньюэлл и Герберт А. Саймон назвали этот тип машины системой физических символов. Это также эквивалентно формальным системам, используемым в области математической логики.

. Серл подчеркивает тот факт, что этот вид манипуляции с символом является синтаксическим (заимствованный термин из изучения грамматики ). Компьютер манипулирует символами, используя форму синтаксических правил , без какого-либо знания семантики символов (то есть их значение ).

Ньюэлл и Саймон предположили, что физическая символьная система (например, цифровой компьютер) имеет все необходимое оборудование для «общих интеллектуальных действий», или, как известно сегодня, общий искусственный интеллект. Они сформулировали это как философскую позицию, гипотезу физических систем символов : «Физическая система символов имеет необходимые и достаточные средства для общего разумного действия». Аргумент китайской комнаты не опровергает этого, потому что он сформулирован в терминах «разумного действия», то есть есть внешнее поведение машины, при отсутствии или отсутствии понимания, сознания и разума.

Китайская комната и завершенность по Тьюрингу

Китайская комната имеет дизайн, аналогичный дизайну современного компьютера. Он имеет архитектура фон Неймана, которая состоит из программы (книга инструкций), некоторой памяти (бумаги и картотеки), CPU, который следует инструкциям (человек), а также средство для записи символов в память (карандаш и ластик). Машина с такой конструкцией известна в теоретической информатике как «полная по Тьюрингу », потому что у нее есть необходимое оборудование для выполнения вычислений, которые машина Тьюринга может делать, и, следовательно, он способен выполнять пошаговое моделирование любой другой цифровой машины при наличии достаточного количества памяти и времени. Алан Тьюринг пишет: «Все цифровые компьютеры в определенном смысле эквивалентны». Широко распространенный тезис Черча - Тьюринга утверждает, что любая функция, вычисляемая с помощью эффективной процедуры, вычислима с помощью машины Тьюринга.

Полнота китайской комнаты по Тьюрингу подразумевает, что она может делать то же, что и любой другой цифровой компьютер (хотя и намного медленнее). Таким образом, если китайская комната не содержит или не может содержать ум, говорящий по-китайски, то никакой другой цифровой компьютер не может содержать ум. Некоторые ответы Сирлу начинаются с утверждения, что в комнате, как описано, не может быть китайскоязычного ума. Аргументы этой формы, согласно Стевану Харнаду, не являются «не опровержением (а подтверждением)» аргумента китайской комнаты, потому что эти аргументы подразумевают, что никакие цифровые компьютеры не могут иметь разум.

Некоторые критики, такие как Ханох Бен-Ями, утверждают, что китайская комната не может имитировать все возможности цифрового компьютера, такие как способность определять текущее время.

Полный аргумент

Сирл представил более формальную версию аргументации, которой является Китайская комната. Он представил первую версию в 1984 году версия, приведенная ниже с 1990 года только часть аргумента, который должен быть спорным A3 и именно эта точка, китайская комната мысленный экспериментан доказать.

Он начинает с трех аксиом:

(A1) «Программы формальны (синтаксически )».
Программа использует синтаксис для управления символами и не обращает внимания на семантику символы. Он знает, где символы link и как их перемещать, но не знает, что они обозначают и что означают. Для символов программы - это просто физические объекты, любым другим программам.
(A2) «У разума есть ментальное содержание (семантика )».
В отличие от символов, программой, наши мысли имеют значение: они имеют значения, и мы знаем, что они имеют.
(A3) «Синтаксис сам по себе не является конституирующим и не достаточным для семантики. "
Это то, что, что что, эксперимент в китайской комнате, помещение в китайской комнате есть синтаксис (потому что там человек, перемещенные символы). Китайская комната не имеет семантики (потому что, по словам Серла, в комнате нет) Следовательно, наличие синтаксиса недостаточно для генерации семантики.

Сирл утверждает, что это прямо приводит к следующему выводу:

(C1) Программы не являются конститутивными и достаточными для разума
Это без противоречий следовать из первых трех: Программы не имеют смысла.

У программ есть только синтаксис, а синтаксиса недостаточно для семантики. Эта большая часть аргумента предназначена для того, чтобы показать, что искусственный интеллект никогда не поддерживает создание программы с разумом, написав программы, которые манипулируют символами. касается другой проблемы. Запускает ли человеческий мозг программа? Другими словами, правильна ли вычислительная теория разума ? Он начинает с аксиомы, которая призвана выразить основной научный консенсус относительно мозга и разума:

(A4) Мозг порождает разум.

Сирл утверждает, что мы можем «немедленно» и «тривиально» вывести следующее:

(C2) Любая другая система, способная вызвать умы, должна обладать каузальными способностями (по крайней мере), эквивалентными таковым у мозга.
В мозгу должно быть что-то, что заставляет существовать. Науке еще предстоит определить, что это такое, но оно должно существовать, что должно существовать умы. Сирл называет это «причинными силами». «Причинные силы» - это все, что мозг использует для создания разума. Он должен обладать «эквивалентными причинными силами», если что-то еще может вызвать наличие разума. «Эквивалентные причинные силы» - это все, что может быть использовано для создания разума.

И из этого он любой делает следующие выводы:

(C3) Любой артефакт, производящий ментальные феномены, искусственный мозг, должен быть способен воспроизвести определенные специфические силы мозга, и он не может этого сделать, просто запустив формальную программу.
Это следует из C1 и C2: никакая программа не может порождать разум, а «эквивалентные причинные силы» порождают умы, отсюда следует, что программы не имеют «эквивалентных причинных сил». 345>(C4) Способ, человеческий на деле производит ментальные мозг самом деле, не может происходить исключительно благодаря запуску компьютерной программы.
Программы-программы не имеют «эквивалентных причинных сил», «эквивалентные причинные силы» порождают умы, а мозг порождает умы, из этого следует, что мозг не использует программы для создания разума.
Ответы

Ответы на аргумент Серла могут быть классифицированы в соответствии с тем, что они утверждают:

  • Те, которые определяют, кто говорит по-китайски
  • Те, которые демонстрируют, как бессмысленные символы могут стать значимыми
  • Те, которые предполагают что китайская должна быть каким-то образом переделана
  • Те, кто утверждает, что аргумент Сирла вводит в заблуждение
  • Те, кто утверждает, что этот аргумент делает ложные предположения о субъективном сознательном опыте, следовательно, не доказывает

Некоторые аргументы (например, моделирование роботов и мозга) делятся на несколько категорий.

Ответы систем и виртуального разума: обретение разума

Эти ответы пытаются ответить на вопрос: поскольку человек в комнате не говорит по-китайски, то где же «разум», знает? В этих ответах рассматриваются ключевые онтологические проблемы разум против тела и симуляция против реальности. Все ответы, которые идентифицируют разум в комнате «ответа».

Ответ системы

В версии системы утверждается, что «вся система» понимает китайский язык. Хотя этот человек понимает только английский язык, вместе с программой, бумагой для заметок, карандашами и картотечными шкафами они образуют систему, которая может понимать китайский язык. «Здесь понимание не приписывается простому человеку; скорее, оно приписывается всей системе, объединяющей он является », - объясняет Сирл. Тот факт, что человек не понимает китайский язык, не имеет значения, потому что имеет значение только система в целом.

Сирл отмечает, что (в простой версии ответа) «система» - это не более чем набор этих обычных физических объектов; он дает силу понимания и сознания «соединению этого человека и кусочков бумаги», не прилагая никаких усилий, чтобы объяснить, как эта груда объектов стала сознательным, мыслящим существом. Сирл утверждает, что ни один разумный человек не должен быть удовлетворен ответом, если он не находится во власти идеологии; Для того чтобы этот ответ был хотя бы отдаленно правдоподобным, нужно принять как должное, что сознание может быть продуктом «системы» обработки информации и не требует ничего, напоминающего реальную биологию мозга.

Сирл предлагает упрощенный список физических объектов: он спрашивает, что происходит, если человек пропускает все в его голове? Тогда вся система состоит только из одного объекта: самого человека. Сирл утверждает, что если человек не понимает китайского, то и система не понимает китайский, потому что теперь «система» и «человек» описывают один и тот же объект.

Критики ответа Сирла утверждают, что программа позволяет человеку иметь два ума в одной голове. Если мы предположим, что «разум» - это форма обработки информации, теория вычислений может учитывать два процесса, происходящие одновременно, а именно (1) вычисление для универсальной программируемой информации (которая представляет собой функция, экземпляр которой создается человеком и ведением заметок независимо от какого-либо конкретного вида программы) и (2) вычисление машины Тьюринга, описываемая программа (экземпляры которого приведены всем, включая конкретную программу). Таким образом, теория вычислений формально объясняет открытую возможность того, что второе вычисление в Китайской комнате может повлечь за собой семантическое понимание китайских входов, эквивалентное человеческому. Основное внимание уделяется машине Тьюринга программы, а не человеку. Однако, с точки зрения Серла, этот аргумент является круговым. Спорный вопрос заключается в том, является ли сознание форма обработки информации, и этот ответ требует, чтобы мы сделали это предположение.

Более сложные версии ответа системы пытаются более точно определить, что такое «система», и они различаются тем, как именно они ее описывают. Согласно этим ответам, «разум, говорящий по-китайски» может быть таким, как «программное обеспечение», «программа», «работающая программа», симуляция «нейронных коррелятов сознания», «функциональная система»., «смоделированный разум», «возникающее свойство» или «виртуальный разум» (версия ответа системы Марвина Мински, описанная ниже).

Ответ виртуального разума

Термин «виртуальный » используется в информатике для описания объекта, который кажется существующим «в» компьютере (или компьютерной сети) только потому, что программное обеспечение создает кажется, что он существует. Все объекты «внутри» компьютеров (включая файлы, папки и т. Д.) Являются «виртуальными», за исключением электронных компонентов компьютера. Точно так же Мински утверждает, что компьютер может содержать «разум», который является виртуальным в том же смысле, что и виртуальные машины, виртуальные сообщества и виртуальная реальность..
Чтобы прояснить различие между простым ответом системы, данным выше, и ответом виртуального разума, Дэвид Коул отмечает, что в одной системе одновременно могут выполняться два моделирования: одно говорит на китайском, а другое - на корейском. Хотя существует только одна система, может быть несколько «виртуальных умов», поэтому «система» не может быть «разумом».

Сирл отвечает, что такой разум в лучшем случае является симуляцией, и пишет: «Нет можно предположить, что компьютерное моделирование пожара с пятью сигналами тревоги сожжет весь район или что компьютерное моделирование ливня оставит нас всех мокрыми ». Николас Фирн отвечает, что в некоторых случаях моделирование ничуть не хуже настоящего. «Когда мы вызываем функцию карманного калькулятора на настольном компьютере, на экране появляется изображение карманного калькулятора. Мы не жалуемся, что« на самом деле это не калькулятор », потому что физические характеристики устройства не соответствуют иметь значение." Вопрос в том, состоит ли человеческий разум, как и карманный калькулятор, по существу из информации? Или разум похож на ливень, нечто иное, чем компьютер, и не может быть полностью реализовано с помощью компьютерного моделирования? (Проблема моделирования также обсуждается в статье синтетический интеллект.)

В этих ответах объясняется, кто именно понимает китайский язык. Если в комнате есть кто-то, кроме человека, который понимает по-китайски, Сирл не может утверждать, что (1) этот человек не понимает китайского, следовательно, (2) никто в комнате не понимает китайский. Это, по мнению тех, кто дает этот ответ, показывает, что аргумент Сирла не может доказать, что "сильный ИИ" ложен.

Однако мысленный эксперимент не предназначен для того, чтобы быть reductio ad absurdum, а скорее пример, требующий пояснений. Серл не утверждает, что ситуация невозможна, а скорее, что трудно или невозможно объяснить, как эта система может иметь субъективный сознательный опыт. Ответ системы успешно показывает, что это не невозможно, но не показывает, каким образом система могла бы иметь сознание; ответы сами по себе не предоставляют никаких доказательств того, что система (или виртуальный разум) понимает китайский язык, кроме гипотетической предпосылки о том, что она проходит тест Тьюринга. Как пишет Сирл, «ответ системы просто вызывает вопрос, настаивая на том, что система должна понимать китайский язык».

Ответ робота и семантики: поиск смысла

Насколько человек в комнате находится Обеспокоенные, символы означают просто «закорючки». Но если китайская комната действительно «понимает», о чем говорит, то символы должны откуда-то брать свое значение. Эти аргументы пытаются связать символы с тем, что они символизируют. Эти ответы отражают озабоченность Серла по поводу преднамеренности, символьного заземления и синтаксиса vs. семантика.

Ответ робота

Предположим, что вместо комнаты программа помещена в робота, мог блуждать и взаимодействовать со окружением. Это может быть установить «причинную связь» между символами и вещами, которые они имеют. Ханс Моравец комментирует: «Если бы мы могли привлечь робота к программе рассуждений, нам не понадобилась бы человек, чтобы придать: оно будет исходить из физического мира».
Сирл предполагает, что, без ведома человека В китайской комнате, некоторые из входов поступали непосредственно с камеры, установленной на роботе, некоторые из выходов использовались для управления и ногами робота не менее, человек в комнате по-прежнему просто следует и не знает, что означают символы. : «Он не видит того, что попадает в глаза роботу». (См. Комната Мэри для аналогичного мысленного эксперимента.)

Производственное значение

Некоторые считают, что комната, как ее услуги Сирл, соединяется с миром: через говорящих по-китайски это и есть "разговаривая" с программистами, которые разработали базу знаний в его картотеке, и через них. Символы, которыми манипулирует Сирл, уже значимы, они просто не значимы для него.
Сирл говорит, что символы имеют только «производное» значение, как и значения слов в книгах. Значение зависит от сознательного понимания говорящими символами на китайском языке и программистами за пределами комнаты. В комнате, как и в книге, нет собственного понимания.

Здравый смысл / ответ контекстуалиста

Некоторые утверждали, что символы исходят из обширного «фона» здравого смысла Закодировано в программе и картотеке. Это обеспечит "контекст ", который придаст символам их значение.
Сирл согласен с тем, что этот согласен с тем, но не может быть встроен в программу. Хьюберт Дрейфус также подвергся критике идею о том, что «фон» может быть представлен символически.

На каждый из этих предложений Сирл одинаково: независимо от того, сколько знаний записано в программе с миром, он все еще находится в комнате, манипулируя символами в соответствии с правилами. Его действия синтаксичны, и это никогда не может объяснить ему, что означают символы. Сирл пишет: «синтаксиса недостаточно для семантики».

Однако для тех, кто согласен с тем, что действия Сирла моделируют сознание, отдельное от его собственного, важным вопросом является то, что значат для Сёрла, важное то, что они значат для виртуального разума. В то время как Сирл заперт в комнате, виртуальный разум - нет: он использует внешний мир через говорящих по-китайски, разговаривает, через программистов, которые дали ему мировые знания, а также через камеры и другие сенсоры, робототехники может поставить.

Моделирование мозга и ответы коннекционистов: изменение дизайна комнаты

Все эти аргументы являются версиями системного ответа, которые идентифицируют определенный тип системы как важный; они идентифицируют какую-то особую систему, которая создает осознанное понимание в машине. (Обратите внимание, что ответы «робот» и «здравый смысл» выше также указывают на важное значение определенного типа системы.)

Ответ симулятора мозга

Предположим, что программа детально смоделировала действие каждого нейрона в мозгу говорящего по - китайски. Это укрепляет интуицию между программами и работой человеческого мозга.
Сирл отвечает, что такая симуляция не воспроизводит важные особенности мозга - его причинные и преднамеренные состояния.. Сирл непреклонен в том, что «человеческие психические феномены [зависят] от реальных физико-химических свойств реального человеческого мозга». Более того, он утверждает:

[Я] представил себе, что вместо одноязычного человека в комнате, перетасовывающего символа, у нас есть человек, управляющий сложным набором водопроводных труб с соединяющими их клапанами. Когда мужчина получает китайские символы, он смотрит в программе, написанной на английском языке, какие клапаны он должен включить и выключать. Каждое водное соединение соответствует синапсу в мозгу китайца, и вся система настроена так, что после выполнения всех правильных запусков, есть после включения всех правильных кранов, китайские ответы появляются в конце серии. труб. Где теперь понимание в этой системе? Он принимает китайский язык на входе, моделирует формальный язык синапсов китайского мозга и дает китайский язык на выходе. В принципе, этот человек определенно не понимает китайского, и водопроводные трубы тоже не понимают, и если мы принимаем то, что я считаю абсурдным, каким-то образом делает соединение человека и водопровода, помните, что в принципе человек может усвоить формальную структуру водопроводных труб и все «срабатывания нейронов» в его воображении.

Два варианта ответа симулятора мозга - это китайский мозг и сценарий замены мозга.
Китай мозг
Что, если мы попросим каждого гражданина Китая смоделировать один нейрон, используя телефонную систему для моделирования связей аксонами и дендритами ? В этой версии кажется очевидным, что ни один человек не понимает бы, что может говорить мозг. Также очевидно, что система будет функционально эквивалентна мозгу, поэтому, если сознание является функцией, эта система будет сознательной.
Сценарий замены мозга
Здесь нас просят представить, что инженеры изобрели крошечный компьютер, моделирующий действие отдельного нейрона. Что произойдет, если мы заменим по одному нейрону за раз? Замена одного явно не повлияет на сознательное осознание. Замена их всех приведет к созданию цифрового компьютера, имитирующего мозг. Если Сирл прав, тогда во время процедуры сознательное осознавание должно исчезнуть (постепенно или полностью). Критики Сирла утверждают, что во время процедуры не было бы никакого смысла, если бы он мог утверждать, что сознательное осознание предполагает и начинается бездумное моделирование. Сирл предсказывает, что, проходя мозговой протез, «к своему полному изуму вы обнаруживаете, что действительно теряете контроль над своим поведением». Вы обнаруживаете, например, когда врачи проверяют ваше зрение, вы слышите, как они говорят: «Мы держат перед собой красный предмет; расскажите, пожалуйста, что вы видите ». Вы хотите кричать: «Я ничего не вижу. Я полностью ослеп ». Но вы слышите, как ваш голос совершенно неподвластным вам образом: «Я вижу перед собой красный объект». [...] [Y] наш сознательный опыт превращается в ничто, в то время как ваше внешне наблюдаемое поведение прежнее ». (См. Корабль Тесея для аналогичного мысленного эксперимента.)

Ответы коннекционистов.

Тесно связанный с ответом симулятора мозга, он утверждает, что массивно-параллельная архитектура коннекционистов будет способна понять.

Комбинированный ответ

Этот ответ объединяет ответ робота с ответом симуляции мозга, утверждая, что симуляция мозга, связанная с миром через тело робота, может иметь разум.

Многие особняки / ждут ответа в следующем году

Более совершенные технологии будущего позволят компьютерам понимать. Сирл соглашается, что это возможно, но этот момент несущественным. Его аргумент состоит в том, что машина, использующая программу для управления формально определенными элементами, не может дать понимания. Аргумент Серла, если он верен, исключает только этот конкретный замысел. Сирл соглашается с тем, что заставляет машину иметь сознательное понимание.

Эти аргументы (и ответы робота или здравого смысла) указывают на некую особую технологию, которая создает сознательное понимание в машине. Можно интерпретировать двояко: либо они заявляют, что (1) эта технология необходима для сознания, китайская технология не может реализовать эту технологию, и, следовательно, их китайская комната не может пройти тест Тьюринга или (если бы прошла) ее. не имел бы сознательного понимания. Что (2) мы можем утверждать, что (2) легче увидеть, что у китайской комнаты есть разум.

В первом случае, когда требуются такие функции, как тело робота или архитектура коннекционизма, Сирл утверждает, что от сильного ИИ (в его понимании) отказались. Китайская комната имеет все элементы полной машины Тьюринга и, таким образом, способна моделировать любые цифровые вычисления. Если комната Сирла не может пройти тест Тьюринга, то нет другой цифровой технологии, которая могла бы пройти тест Тьюринга. Если комната Сирла может пройти тест Тьюринга, но все еще не имеет разума, то теста Тьюринга недостаточно, чтобы определить, есть ли в комнате «разум». В случае он отрицает ту или иную позицию, которую Сирл считает «сильным ИИ», доказывая свой аргумент.

Параметры мозге, в частности, отрицают сильный ИИ, если они предполагают, что нет более быстрого способа описать разум, создать программу, столь же загадочную, как и мозг. Он пишет: «Я думал, что вся идея сильного ИИ заключалась в том, что не нужно знать, как работает мозг, чтобы знать, как он работает». По словам Серла, если вычисления не дают объяснения человеческого разума, значит, сильный И потерпел неудачу.

Другие критики считают, что комната, которую описал Сирл, на деле имеет разум, однако они утверждают, что ее трудно увидеть - описание Сирла верно, но вводит в заблуждение. Создавая более реалистичный дизайн комнаты, они надеются сделать это более очевидным. В данном случае эти аргументы используются как апелляция к интуиции (см. Следующий раздел).

На самом деле, можно так же легко изменить, чтобы ослабить нашу интуицию. Аргумент Болван Неда Блока предполагает, что программа теоретически может быть переписана в простую таблицу из правил форма «если пользователь пишет S, ответить P и перейти к X ». По крайней мере, в принципе, любую программу можно переписать (или «отрефакторировать ») в этой форме, даже симуляцию мозга. В сценарии с болванами все психическое состояние скрыто за буквой X, которая представляет собой адрес памяти - число, связанное со следующим правилом. Трудно представить себе, что мгновение сознательного опыта может быть записано в единое большое количество, но это именно то, что утверждает «сильный ИИ». С другой стороны, такая таблица поиска была бы смехотворно большой (до такой степени, что была бы физически невозможной), и поэтому состояния бы быть конкретными.

Сирл утверждает, что, как бы ни была написана программа или как бы машина ни была связана с миром, разум использует простой пошаговой цифровой машиной (или машинами). Эти машины всегда похожи на человека в комнате: они ничего не понимают и не говорят по-китайски. Они просто манипулируют символами, не зная, что они означают. Сирл пишет: «У меня может быть любая формальная программа, какая вам нравится, но я все равно ничего не понимаю».

Скорость и сложность: вызывает к интуиции

Следующие аргументы (и интуитивная интерпретация аргументов выше) не объясняют напрямую, как человек, говорящий по-китайски, мог существовать в комнате Сирла, или как символы, они он манипулирует, могут стать значимыми. Однако, сомневаясь в интуиции Серла, они другие позиции, такие как ответы системы и роботов. Эти аргументы, если они приняты, не позволяют Сирлу утверждать, что его очевиден, поскольку они подрывают интуицию, которая требует его уверенности.

Некоторые критики считают, что аргумент Сирла полностью основан на интуиции. Нед Блок пишет: «Аргумент Сирла зависит от интуиции, о которой не думают некоторые сущности». Дэниел Деннет приведенный аргумент китайской комнаты как вводящий в заблуждение »насос интуиции « и пишет: »Мысленный эксперимент Сирла незаконно зависит от того, как вы представляете слишком простой случай, не относящийся к делу

Некоторые из приведенных выше аргументов также как апелляции интуиции, особенно те, которые призваны сделать более правдоподобным тот факт, что китайская комната содержит разум, который может исходить робота, В ответе коннекциониста подчеркивается, что работающая система искусственного интеллекта должна быть такая же сложная и взаимосвязанная, как человеческий мозг отвечает на основе приведенных выше ответов также используемых конкретных проблем сложности. любая программа, прошедшая тест Тьюринга, должна быть «гибкой, сложной и многоуровневой системой, наполненной мировым» знанием », мета-знанием и мета-мета-знанием», как Дэниел Деннет объясняет.

Скорость и сложность ответов

Скорость, с которой человеческий мозг обрабатывает информацию, составляет (по некоторым оценкам) 100 миллиардов операций в секунду. Некоторые критики отмечают, что человеку в пространстве, вероятно, потребуются миллионы лет, чтобы ответить на простой вопрос, и ему потребуются «шкафы для хранения документов» астрономических размеров. Это ставит под сомнение ясность интуиции Сирла.

Особенно яркая версия ответа скорости и сложности получена от Пола и Патрисии Черчленд. Они представляют собой аналогичный мысленный эксперимент:

Светлая комната Черчленда

«Представьте себе темную комнату, в которой находится человек, классий стержневой магнит или заряженный предмет. Если человек качает магнит вверх и вниз, то, согласно Теория искусственного (AL) Максвелла, он запускает распространение электромагнитных волн и, таким образом, будет светиться. Известно, что их силы (или любые другие силы, если на то пошло), когда они приводятся в движение, вообще не производят яркости. Невозможно представить, чтобы вы могли создать реальную яркость, просто перемещая силу вокруг! "Проблема в том, что ему пришлось махать магнитом вверх и вниз примерно 450 триллионов раз в секунду, чтобы что-то увидеть.

Стеван Харнад критически относится к быстрым и сложным ответам, когда они выходят за пределы нашей интуиции.. Он пишет: «Некоторые сделали культ скорости и тайминга, считая, что при ускорении до нужной скорости вычислительные процессы могут произвести фазовый переход в мысленное. Должно быть ясно, что это не контраргумент, а просто объявление hoc предположение (как и точка зрения, что все это просто вопрос повышения до нужной степени «сложности») »

Сирл утверждает, что его критики также полагается на интуицию, однако интуиция его оппонентов не имеет эмпирической основы Системный ответ имеет смысл (для Серла) только в том случае, если предположить, что любая «система» может находиться в том случае, если предположить, что любая «система» может находиться в том случае, если предположить, что любая «система» может находиться «во власти идеологии». обладать сознанием только в силу того, что она является системой с правильным поведением и функциональными частями. Он утверждает, что это предположение неверно с учетом нашего опыта сознания.

Другие умы и зомби: бессмысленность

Некоторые утверждают, что аргумент Сирла неуместен, потому что его предположения о разуме и сознании ошибочны. Сирл считает, что люди ежедневно испытывают сознание, интенциональность и природу ума, и что этот опыт сознания не подлежит сомнению. Он пишет, что мы должны «предполагать реальность и познаваемость ментального». Эти ответы ставят вопрос о том, имеет ли Сирл право использовать свой собственный опыт сознания для определения того, что это нечто большее, чем механическая обработка символов. В частности, ответ «другие умы» утверждает, что мы не можем использовать наш опыт сознания для вопросов о других разумах (даже о разуме компьютера), а ответ «эпифеномены» утверждает, что сознание Сёрла не «существует» в том смысле, в котором думает Сёрл. оно делает.

Ответ других умов
Этот ответ указывает на то, что аргумент Сирла является версией проблемы других умов, примененной к машинем. Мы не можем определить, совпадает ли субъективный опыт других людей с нашим собственным. Мы можем изучить их поведение (т.е. дать им наш собственный тест Тьюринга ). Критики Сирла утверждают, что он ставит китайскую комнату на более высокий уровень.

Нильс Нильссон пишет: «Если программа ведет себя так, как если бы она умножалась, большинство из нас сказали бы, что она на самом деле умножается. Насколько я знаю, Сирл может вести себя только так, как если бы он размышлял об этих вопросах. Но, хотя я не согласен с ним, его симуляция довольно хороша, поэтому я готов отдать ему должное. с реальной мыслью ».

Алан Тьюринг предвосхитил аргументацию Сирла (которую он назвал« Аргументом сознания ») в 1950 году и заставляет другие умы ответить. Он отметил, что люди никогда не задумываются о проблеме других умов, когда общаются друг с другом. Он пишет, что «вместо того, чтобы постоянно спорить по этому поводу, обычно принято вежливое соглашение, как все думают». Тест Тьюринга просто распространяет это «вежливое соглашение» на машины. Он не намеревается решать проблему разума других людей (машин или людей) и не думает, что нам это нужно.

Ответ элиминативного материализма
Некоторые философы утверждают, что сознание, как его описывает Сирл, не существует. Эту позицию иногда называют элиминативным материализмом : точка зрения, согласно которой сознание - это свойство, которое можно свести к строго механическому описанию, и что наш опыт сознания, как описывает его Дэниел Деннет, "пользовательская иллюзия ". Другие ментальные свойства, такие как исходная интенциональность (также называемая «значением», «содержанием» и «семантическим характером»), также обычно рассматриваются как нечто особенное в убеждениях и других пропозициональных установках. Исключительный материализм утверждает, что пропозициональные установки, такие как убеждения и желания, среди других интенциональных ментальных состояний, имеющих содержание, не существуют. Если элиминативный материализм является правильным научным объяснением человеческого познания, то предположение аргумента китайской комнаты о том, что «умы обладают ментальным содержанием (семантика )», должно быть отвергнуто.

Стюарт Рассел и Питер Норвиг утверждают, что, если мы принимаем описание Сирлом интенциональности, сознания и разума, мы вынуждены признать, что сознание эпифеноменально : оно «не отбрасывает тени. ", что его нельзя обнаружить во внешнем мире. Они утверждают, что Сирл, должно быть, ошибается в отношении «познаваемости ментального» и в своей вере в наличие «причинных свойств» в наших нейронах, которые порождают разум. Они указывают на то, что, по собственному описанию Сирла, эти причинные свойства не могут быть обнаружены кем-либо вне разума, иначе Китайская комната не могла бы пройти тест Тьюринга - люди снаружи могли бы сказать в комнате не было говорящего по-китайски, определив их причинные свойства. Поскольку они не могут обнаружить причинные свойства, они не могут обнаружить существование ментального. Короче говоря, «причинные свойства» Серла и само сознание необнаружимы, и все, что не может быть обнаружено, либо не существует, либо не имеет значения.

Дэниел Деннет обеспечивает это расширение аргумента «эпифеномены».

Ответ Деннета от естественного отбора
Предположим, что в результате некоторой мутации рождается человек, который не обладает "пр ичинными свойствами" Сирла, но, тем не менее, действует точно так же, как человек. (Этот вид животных называется «зомби » в мысленных экспериментах по философии разума ). Это новое животное будет размножаться так же, как и любой другой человек, и со временем этих зомби станет больше. Естественный отбор будет благоприятствовать зомби, поскольку их конструкция (можно предположить) немного проще. В конце концов люди вымрут. Поэтому, если Сирл прав, наиболее вероятно, что люди (какими мы их видим сегодня) на самом деле являются «зомби», которые, тем не менее, настаивают на своем сознании. Невозможно узнать, все мы зомби или нет. Даже если мы все зомби, мы все равно будем верить, что это не так.

Сирл не согласен с этим анализом и утверждает, что «изучение разума начинается с таких фактов, как то, что у людей есть убеждения, в то время как термостаты, телефоны и добавление машины не... то, что мы хотели знать, - это то, что отличает разум от термостатов и печени ". Он считает очевидным, что мы можем обнаружить присутствие сознания, и отвергает эти ответы как не относящиеся к делу.

пылающий лазерный меч Ньютона ответ
Майк Алдер утверждает, что весь аргумент фривольный, потому что он не верифицирующий : не только различие между симуляцией разума и имеет плохо определенное сознание, но это также не имеет значения, потому что никакие эксперименты не предлагались и даже не могут быть предложены для различения этих двух.
В популярной культуре

Аргумент китайской комнаты является центральной концепцией в Романы Питера Уоттса Blindsight и (в меньшей степени) Echopraxia. Это также центральная тема в видеоигре П оследняя награда добродетели и связана с повествованием игры. В 4 сезоне американской криминальной драмы Numb3rs есть краткое упоминание о китайской комнате.

Китайская комната - это также название британской независимой студии разработки видеоигр, наиболее известной своей работой. об экспериментальных играх от первого лица, таких как Everybody's Gone to the Rapture или Dear Esther.

В видеоигре 2016 года The Turing Test, мысленном эксперименте Китайской комнаты объясняется игроку ИИ.

См. Также
Примечания
Цитаты
Ссылки
Дополнительная литература
В Викиучебнике есть книга по теме: Исследования сознания
Последняя правка сделана 2021-05-14 12:40:35
Содержание доступно по лицензии CC BY-SA 3.0 (если не указано иное).
Обратная связь: support@alphapedia.ru
Соглашение
О проекте