Математические принципы армирования

редактировать

В математических принципах усиления ( MPR ) представляют собой набор математических уравнений, изложенных Петр Килинами и его коллеги пытаются описать и предсказать наиболее фундаментальные аспекты поведения (Киллин amp; Sitomer, 2003).

Три ключевых принципа MPR, возбуждение, сдерживание и сцепление, описывают, как стимулы мотивируют реагировать, как их ограничивает время и как подкрепления становятся связанными с конкретными ответами, соответственно. Для этих основных принципов используются математические модели, позволяющие сформулировать необходимые детали реальных данных.

СОДЕРЖАНИЕ

1 Принцип первый: возбуждение
2 Второй принцип: принуждение
3 Третий принцип: сцепление
- 3.1 Графики армирования с фиксированным соотношением
- 3.2 Графики армирования с переменным соотношением
4 ссылки
5 Источники

Первый принцип: возбуждение

Первый основной принцип MPR - это возбуждение. Возбуждение относится к активизации поведения путем предъявления стимулов. Повышение уровня активности после многократного предъявления стимулов является фундаментальным аспектом обусловливания. Киллин, Хэнсон и Осборн (1978) предположили, что дополнительное (или вызванное расписанием) поведение обычно является частью репертуара организма. Подача стимулов увеличивает количество дополнительных форм поведения, вызывая повышенный уровень общей активности или возбуждения у организмов.

Killeen amp; Hanson (1978) подвергали голубей однократному ежедневному предъявлению пищи в экспериментальной камере и измеряли общую активность в течение 15 минут после кормления. Они показали, что уровень активности немного повысился сразу после кормления, а затем медленно снизился с течением времени. Скорость распада можно описать следующей функцией:

{\ displaystyle b (t) = b_ {1} \ times e ^ {\ frac {-t} {\ alpha}}}

{\ displaystyle b (t) = b_ {1} \ times e ^ {\ frac {-t} {\ alpha}}}

b 1 = точка пересечения по оси Y (ответов в минуту)

t = время в секундах с момента кормления

{\ displaystyle \ alpha}

\альфа

= постоянная времени

e = основание натурального логарифма

Динамика всей теоретической модели общей деятельности моделируется следующим уравнением:

{\ displaystyle R = A \ times (e ^ {\ frac {-t} {C}} - e ^ {\ frac {-t} {I}})}

{\ displaystyle R = A \ times (e ^ {\ frac {-t} {C}} - e ^ {\ frac {-t} {I}})}

А = возбуждение

I = временное торможение

C = конкурирующее поведение

Чтобы лучше концептуализировать эту модель, представьте, как будет проявляться скорость реакции для каждого из этих процессов в отдельности. В отсутствие временного торможения или конкурирующих реакций уровень возбуждения будет оставаться высоким, а скорость ответа будет изображена в виде почти горизонтальной линии с очень небольшим отрицательным наклоном. Сразу после подачи пищи временное торможение достигает максимального уровня. Он быстро уменьшается с течением времени, и можно ожидать, что скорость реакции увеличится до уровня возбуждения за короткое время. Конкурирующее поведение, такое как отслеживание целей или проверка бункера, происходит как минимум сразу после презентации еды. Это поведение усиливается по мере того, как истекает интервал, поэтому показатель общей активности будет постепенно уменьшаться. Вычитание этих двух кривых дает прогнозируемый уровень общей активности.

Killeen et al. (1978) затем увеличили частоту кормления с ежедневного на каждые фиксированные секунды. Они показали, что общий уровень активности существенно повысился по сравнению с уровнем повседневного представления. Асимптоты скорости ответа были самыми высокими для самых высоких показателей подкрепления. Эти эксперименты показывают, что уровень возбуждения пропорционален скорости подстрекательства, а асимптотический уровень увеличивается при повторном предъявлении стимулов. Повышение уровня активности при повторном предъявлении стимулов называется кумуляцией возбуждения. Первый принцип МНР утверждает, что возбуждение уровня пропорционален скорости армирования, где: ${\ displaystyle A = ar}$ ${\ displaystyle A = ar}$

A = уровень возбуждения

a = конкретная активация

r = скорость армирования

(Киллин и Ситомер, 2003).

Второй принцип: принуждение

Очевидным, но часто упускаемым из виду фактором при анализе распределения откликов является то, что отклики не являются мгновенными, а требуют некоторого времени, чтобы их испустить (Killeen, 1994). Эти ограничения на количество ответов часто объясняются конкуренцией со стороны других ответов, но реже - тем фактом, что ответы не всегда могут передаваться с той же скоростью, с которой они возникают (Killeen amp; Sitomer, 2003). Этот ограничивающий фактор необходимо принимать во внимание, чтобы правильно охарактеризовать, какой ответ может быть теоретически, а какой - эмпирически.

Организм может получать импульсы для ответа с определенной скоростью. При низких скоростях усиления скорость извлечения и скорость выхода будут приближаться друг к другу. Однако при высоких скоростях подкрепления эта вызванная скорость снижается из-за количества времени, необходимого для получения ответа. Скорость отклика,, обычно измеряется как количество ответов, происходящих в эпоху, деленное на продолжительность эпохи. Обратная величина дает типичную меру взаимного ответа (IRT), среднее время от начала одного ответа до начала другого (Killeen amp; Sitomer, 2003). На самом деле это время цикла, а не время между ответами. В соответствии с Killeen amp; Sitomer (2003), КСП состоит из двух подынтервалов, время, необходимое для испускания ответа, а также время между ответами,. Следовательно, скорость ответа можно измерить, разделив количество ответов на время цикла: ${\ displaystyle b}$ $б$ ${\ displaystyle b}$ $б$ ${\ displaystyle \ delta}$ $\ дельта$ ${\ Displaystyle \ тау}$ $\тау$

{\ displaystyle b = {\ frac {1} {\ delta + \ tau}}}

{\ displaystyle b = {\ frac {1} {\ delta + \ tau}}}

или как количество ответов, деленное на фактическое время между ответами:

{\ displaystyle b = {\ frac {1} {\ tau}}}

{\ displaystyle b = {\ frac {1} {\ tau}}}

Эта мгновенная скорость может быть лучшей мерой для использования, поскольку природа операнда может произвольно изменяться в ходе эксперимента (Killeen amp; Sitomer, 2003). ${\ displaystyle {\ frac {1} {\ tau}}}$ ${\ displaystyle {\ frac {1} {\ tau}}}$

Киллин, Холл, Рейли и Кеттл (2002) показали, что если мгновенная скорость реакции пропорциональна скорости подкрепления, то это фундаментальное уравнение для результатов MPR. Killeen amp; Sitomer (2003) показали, что: ${\ displaystyle {\ frac {1} {\ tau}} = ar}$ ${\ displaystyle {\ frac {1} {\ tau}} = ar}$

если ${\ Displaystyle \ тау = 1 / ар}$ ${\ Displaystyle \ тау = 1 / ар}$

тогда, ${\ displaystyle b = {\ frac {1} {(\ delta + {\ frac {1} {ar}})}}}$ ${\ displaystyle b = {\ frac {1} {(\ delta + {\ frac {1} {ar}})}}}$

и перестановка дает:

${\ displaystyle b = {\ frac {r} {\ delta r + {\ frac {1} {a}}}}}$ ${\ displaystyle b = {\ frac {r} {\ delta r + {\ frac {1} {a}}}}}$

Хотя ответы могут вызываться со скоростью, пропорциональной, они могут выдаваться только со скоростью из-за ограничений. Второй принцип MPR гласит, что время, необходимое для получения ответа, ограничивает скорость ответа (Killeen amp; Sitomer, 2003). ${\ displaystyle A = ar}$ ${\ displaystyle A = ar}$ ${\ displaystyle b}$ $б$

Третий принцип: сцепление

Связь - это последняя концепция MPR, которая связывает все процессы вместе и позволяет делать конкретные прогнозы поведения с различными графиками подкрепления. Связь относится к ассоциации между ответами и подкреплениями. Целевой ответ - это ответ, представляющий интерес для экспериментатора, но любой ответ может ассоциироваться с подкреплением. Непредвиденные обстоятельства подкрепления относятся к тому, как подкрепление распределяется относительно целевой реакции (Killeen amp; Sitomer, 2003), а конкретные графики подкрепления в действительности определяют, как ответы связаны с подкреплением. Третий принцип MPR гласит, что степень связи между ответом и подкреплением уменьшается с увеличением расстояния между ними (Killeen amp; Sitomer, 2003). Коэффициенты сцепления, обозначенные как, даны для различных графиков армирования. Когда коэффициенты связи вводятся в модель ограничения активации, получаются полные модели обусловленности: ${\ displaystyle c}$ $c$

{\ displaystyle b = {\ frac {cr} {\ delta r + 1 / a}}}

{\ displaystyle b = {\ frac {cr} {\ delta r + 1 / a}}}

Это фундаментальное уравнение MPR. Точка после знака обозначает конкретные случайности изучаемого армирования (Killeen amp; Sitomer, 2003). ${\ displaystyle c}$ $c$

Графики армирования с фиксированным соотношением

Скорость подкрепления для графиков с фиксированным соотношением легко рассчитать, поскольку уровень подкрепления прямо пропорционален скорости отклика и обратно пропорционален требуемому соотношению (Killeen, 1994). Таким образом, функция обратной связи по расписанию:

{\ displaystyle r = {\ frac {b} {n}}}

{\ displaystyle r = {\ frac {b} {n}}}

Подстановка этой функции в полную модель дает уравнение движения для графиков отношений (Killeen amp; Sitomer, 2003). Киллин (1994, 2003) показал, что самый последний ответ в последовательности ответов имеет наибольший вес и имеет вес равный, оставляя для остальных ответов. Предпоследний ответ получает, третий получает обратно. Назад й ответ дается масса ${\ displaystyle \ beta}$ $\бета$ ${\ displaystyle 1- \ beta}$ $1- \ beta$ ${\ Displaystyle \ бета (1- \ бета)}$ ${\ Displaystyle \ бета (1- \ бета)}$ ${\ Displaystyle \ бета (1- \ бета) ^ {2}}$ ${\ Displaystyle \ бета (1- \ бета) ^ {2}}$ ${\ displaystyle n}$ $п$ ${\ Displaystyle \ бета (1- \ бета) ^ {п-1}}$ ${\ Displaystyle \ бета (1- \ бета) ^ {п-1}}$

Сумма этого ряда представляет собой коэффициент связи для расписаний с фиксированным соотношением:

{\ displaystyle c_ {FR_ {n}} = 1- (1- \ beta) ^ {n}}

{\ displaystyle c_ {FR_ {n}} = 1- (1- \ beta) ^ {n}}

Непрерывное приближение этого:

{\ displaystyle c_ {FR_ {n}} = 1-e ^ {- \ lambda n}}

{\ displaystyle c_ {FR_ {n}} = 1-e ^ {- \ lambda n}}

где - собственная скорость распада памяти. Вставка скорости подкрепления и коэффициента связи в модель ограничения активации дает прогнозируемые скорости отклика для расписаний FR: ${\ displaystyle \ lambda}$ $\ лямбда$

{\ displaystyle b = {\ frac {c.} {\ delta}} - {\ frac {n} {\ delta a}}}

{\ displaystyle b = {\ frac {c.} {\ delta}} - {\ frac {n} {\ delta a}}}

Это уравнение предсказывает низкие скорости отклика при низких требованиях к соотношению из-за смещения памяти из-за консумматического поведения. Однако такие низкие ставки встречаются не всегда. Связь ответов может выходить за пределы предыдущего подкрепления, и для этого добавляется дополнительный параметр. Killeen amp; Sitomer (2003) показали, что коэффициент связи для графиков FR в этом случае становится: ${\ textstyle n_ {0}}$ ${\ textstyle n_ {0}}$

{\ displaystyle c_ {FR_ {n}} = 1- (1- \ beta) n + n_ {0} = 1- \ epsilon (1- \ beta) n}

{\ displaystyle c_ {FR_ {n}} = 1- (1- \ beta) n + n_ {0} = 1- \ epsilon (1- \ beta) n}

${\ textstyle n_ {0}}$ ${\ textstyle n_ {0}}$ это количество ответов, предшествующих предыдущему подкреплению, которые вносят вклад в силу ответа. который колеблется от 0 до 1, тогда степень стирания целевого ответа из памяти с доставкой подкрепления. () Если стирание завершено, можно использовать более простое уравнение FR. ${\ textstyle \ epsilon}$ ${\ textstyle \ epsilon}$ ${\ textstyle \ epsilon = (1- \ бета) п_ {0}}$ ${\ textstyle \ epsilon = (1- \ бета) п_ {0}}$ ${\ displaystyle \ epsilon = 1}$ $\ epsilon = 1$

Графики армирования с переменным соотношением

Согласно Killeen amp; Sitomer (2003), продолжительность ответа может влиять на скорость распада памяти. Когда продолжительность реакции варьируется внутри или между организмами, тогда необходима более полная модель, которая заменяется дающей: ${\ displaystyle \ beta}$ $\бета$ ${\ displaystyle 1-e ^ {- \ lambda \ delta}}$ ${\ displaystyle 1-e ^ {- \ lambda \ delta}}$

{\ Displaystyle 1- \ эпсилон (1- \ бета) \ дельта п = 1- \ эпсилон е ^ {- \ лямбда \ дельта п}}

{\ Displaystyle 1- \ эпсилон (1- \ бета) \ дельта п = 1- \ эпсилон е ^ {- \ лямбда \ дельта п}}

Идеализированные графики переменного соотношения со средним требованием отклика имеют постоянную вероятность ответа, заканчивающегося подкреплением (Bizo, Kettle, amp; Killeen, 2001). Последний ответ, заканчивающийся подкреплением, всегда должен происходить и получает усиление. Предпоследний ответ возникает с вероятностью и получает усиление. Сумма этого процесса до бесконечности (Killeen 2001, Приложение): ${\ displaystyle n}$ $п$ ${\ displaystyle 1 / n}$ $1 / п$ ${\ displaystyle \ beta}$ $\бета$ ${\ displaystyle 1-p}$ $1-п$ ${\ Displaystyle \ бета (1- \ бета)}$ ${\ Displaystyle \ бета (1- \ бета)}$

{\ Displaystyle С (п) = \ сумма _ {j = 1} ^ {\ infty} \ бета (1- \ бета) ^ {j-1} (1-p) ^ {j-1}}

{\ Displaystyle С (п) = \ сумма _ {j = 1} ^ {\ infty} \ бета (1- \ бета) ^ {j-1} (1-p) ^ {j-1}}

Коэффициент связи для графиков VR составляет:

${\ displaystyle c_ {VR_ {n}} = {\ frac {n} {n + {\ frac {(1-b)} {b}}}}}$ ${\ displaystyle c_ {VR_ {n}} = {\ frac {n} {n + {\ frac {(1-b)} {b}}}}}$

Умножение на степень стирания памяти дает:

${\ displaystyle c_ {VR_ {n}} = {\ frac {n} {n + \ epsilon {\ frac {(1- \ beta)} {\ beta}}}}}$ ${\ displaystyle c_ {VR_ {n}} = {\ frac {n} {n + \ epsilon {\ frac {(1- \ beta)} {\ beta}}}}}$

Затем коэффициент связи может быть вставлен в модель ограничения активации так же, как коэффициент связи для расписаний FR, чтобы получить прогнозируемую скорость отклика в расписаниях VR:

${\ displaystyle b = {\ frac {c_ {VR_ {n}}} {\ delta}} - {\ frac {n} {\ delta a}}}$ ${\ displaystyle b = {\ frac {c_ {VR_ {n}}} {\ delta}} - {\ frac {n} {\ delta a}}}$

В расписаниях с интервалом функция обратной связи по расписанию

${\ displaystyle R = {\ frac {1} {t}}}$ ${\ displaystyle R = {\ frac {1} {t}}}$

где - минимальное среднее время между подкреплениями (Killeen, 1994). Связь в расписаниях интервалов слабее, чем в графиках соотношений, поскольку графики интервалов в равной степени усиливают все ответы, предшествующие целевому, а не только целевой ответ. Усиливается лишь некоторая доля памяти. При требовании ответа конечный целевой ответ должен иметь силу. Все предыдущие ответы, целевые или нецелевые, получают усиление. ${\ displaystyle t}$ $т$ ${\ displaystyle \ rho}$ $\ rho$ ${\ displaystyle \ beta}$ $\бета$ ${\ displaystyle 1- \ beta}$ $1- \ beta$

Графики с фиксированным временем - это простейшие графики, зависящие от времени, в которых организмы должны просто ждать t секунд для стимула. Киллин (1994) переосмыслил временные требования как требования реакции и интегрировал содержимое памяти от одного стимула к другому. Это дает содержимое памяти:

MN = lò e-lndn

Это степень насыщения памяти всеми ответами, как целевыми, так и нецелевыми, вызванными в контексте (Killeen, 1994). Решение этого уравнения дает коэффициент связи для графиков с фиксированным временем:

с = г (1-е-фунт)

где - доля ответов цели в траектории реакции. Разложение в степенной ряд дает следующее приближение: ${\ displaystyle \ rho}$ $\ rho$

c »rlbt

1+lbt

Это уравнение предсказывает серьезную нестабильность для внеплановых графиков армирования.

График с фиксированным интервалом гарантирует усиление целевого отклика, b = w1, поскольку подкрепление зависит от этого окончательного непрерывного отклика (Killeen, 1994). Это соединение эквивалентно соединению в расписаниях FR 1.

w1 = b = 1-эл.

Остальная часть связи связана с памятью о предыдущем поведении. Коэффициент связи для графиков FI составляет:

с = b + r (1-b -e-lbt).

Графики с переменным временем похожи на графики со случайным соотношением в том, что существует постоянная вероятность подкрепления, но эти подкрепления устанавливаются во времени, а не в ответах. Вероятность отсутствия подкрепления до некоторого времени t 'является экспоненциальной функцией от этого времени, причем постоянная времени t является средним IRI графика (Killeen, 1994). Чтобы получить коэффициент связи, необходимо интегрировать вероятность того, что расписание не закончилось, взвешенное по содержимому памяти.

∞

M = lò e-n't / te-ln 'dn'

В этом уравнении t '= n't, где t - малая единица времени. Киллин (1994) объясняет, что первый экспоненциальный член - это распределение подкрепления, тогда как второй член - это взвешивание этого распределения в памяти. Решение этого интеграла и умножение на константу связи r дает степень заполнения памяти в расписаниях VT:

c = rlbt

1+lbt

Это тот же коэффициент связи, что и у расписания FT, за исключением того, что это точное решение для расписаний VT, а не приближение. Опять же, функция обратной связи по этим внеплановым расписаниям предсказывает серьезную нестабильность реагирования.

Как и в случае расписаний FI, расписаниям с переменным интервалом гарантируется целевое соединение отклика b. Простое добавление b к уравнению VT дает:

∞

M = b + lò e-n't / te-ln 'dn'

Решение интеграла и умножение на r дает коэффициент связи для графиков VI:

c = b + (1-b) rlbt

1+lbt

Коэффициенты связи для всех расписаний вставляются в модель ограничения активации, чтобы получить прогнозируемую общую скорость отклика. Третий принцип MPR гласит, что связь между ответом и подкреплением уменьшается с увеличением времени между ними (Killeen amp; Sitomer, 2003).

Математические принципы подкрепления описывают, как стимулы подпитывают поведение, как его ограничивает время и как его определяют непредвиденные обстоятельства. Это общая теория подкрепления, которая сочетает в себе смежность и корреляцию в качестве объяснительных процессов поведения. Многие ответы, предшествующие подкреплению, могут коррелировать с подкреплением, но окончательный ответ получает наибольший вес в памяти. Для трех основных принципов представлены конкретные модели, позволяющие сформулировать прогнозируемые модели реакции во многих различных ситуациях и при разных графиках подкрепления. Коэффициенты связи для каждого графика армирования выводятся и вставляются в основное уравнение для получения общих прогнозируемых скоростей отклика.

использованная литература

Источники

Бизо, Лос-Анджелес, Чайник, LC и Киллин, PR (2001). «Животные не всегда быстрее откликаются на еду: парадоксальный стимулирующий эффект». Обучение и поведение животных, 29, 66-78.
Киллин, PR (1994). «Математические принципы армирования». Поведенческие и мозговые науки, 17, 105-172.
Киллин, PR, Холл, СС, Рейли, член парламента, и Чайник, LC (2002). «Молекулярный анализ основных компонентов силы отклика». Журнал экспериментального анализа поведения, 78, 127-160.
Киллин, П.Р., Хэнсон, С.Дж., и Осборн, С.Р. (1978). «Возбуждение: его происхождение и проявление как скорость реакции». Психологический обзор. Том 85 №6. п. 571-81
Киллин, PR и Ситомер, MT (2003). «МНР». Поведенческие процессы, 62, 49-64