Обучение временной разнице

Разница во времени (TD) обучение относится к классу безмодельные методы обучения с подкреплением, которые обучаются посредством начальной загрузки из текущей оценки функции ценности. Эти методы выбирают из среды, как методы Монте-Карло, и выполняют обновления на основе текущих оценок, как методы динамического программирования.

В то время как методы Монте-Карло только корректируют свои оценивает, как только окончательный результат известен, методы TD корректируют прогнозы для соответствия более поздним, более точным прогнозам о будущем до того, как станет известен окончательный результат. Это форма начальной загрузки, как показано в следующем примере:

«Предположим, вы хотите спрогнозировать погоду на субботу, и у вас есть некая модель, которая предсказывает погоду в субботу с учетом погоды каждого дня. в неделю. В стандартном случае вы должны подождать до субботы, а затем настроить все свои модели. Однако, когда это, например, пятница, вы должны иметь довольно хорошее представление о погоде в субботу - и, следовательно, иметь возможность изменить, скажем, субботнюю модель до наступления субботы. "

Методы временной разницы связаны с временной разностной моделью обучения животных.

• 1 Математическая формулировка
• 2 TD-Lambda
• 3 Алгоритм TD в нейробиологии
• 4 См. Также
• 5 Примечания
• 6 Библиография
• 7 Внешние ссылки

Табличный метод TD (0) является одним из простейшие методы TD. Это частный случай более общих методов стохастической аппроксимации. Он оценивает функцию значения состояния конечного состояния марковского процесса принятия решения (MDP) в соответствии с политикой $\pi \; \{\backslash \; displaystyle\; \backslash \; pi\}$. Пусть $V\; \pi \; \{\backslash \; displaystyle\; V\; ^\; \{\backslash \; pi\}\}$обозначает функцию значения состояния MDP с состояниями $(st)\; t\; \in \; N\; \{\backslash \; displaystyle\; (s\_\; \{t\})\; \_\; \{t\; \backslash \; in\; \backslash \; mathbb\; \{N\}\}\}$, награды $(rt)\; t\; \in \; N\; \{\backslash \; displaystyle\; (r\_\; \{t\})\; \_\; \{t\; \backslash \; in\; \backslash \; mathbb\; \{N\}\}\}$и ставка дисконтирования $\gamma \; \{\backslash \; displaystyle\; \backslash \; gamma\}$в соответствии с политикой $\pi \; \{\backslash \; displaystyle\; \backslash \; pi\}$:

$V\; \pi \; (s)\; =\; E\; a\; \sim \; \pi \; \{\sum \; t\; =\; 0\; \infty \; \gamma \; trt\; (at)\; |\; s\; 0\; =\; s\}.\; \{\backslash \; displaystyle\; V\; ^\; \{\backslash \; pi\}\; (s)\; =\; E\_\; \{a\; \backslash \; sim\; \backslash \; pi\}\; \backslash \; left\; \backslash \; \{\backslash \; sum\; \_\; \{t\; =\; 0\}\; ^\; \{\backslash \; infty\}\; \backslash \; gamma\; ^\; \{t\}\; r\_\; \{t\}\; (a\_\; \{t\})\; \{\backslash \; Bigg\; |\}\; s\_\; \{0\}\; =\; s\; \backslash \; right\; \backslash \}.\}$

Для удобства мы опускаем действие из понятия. $V\; \pi \; \{\backslash \; displaystyle\; V\; ^\; \{\backslash \; pi\}\}$удовлетворяет уравнению Гамильтона-Якоби-Беллмана :

$V\; \pi \; (s)\; =\; E\; \pi \; \{r\; 0\; +\; \gamma \; V\; \pi \; (s\; 1)\; |\; s\; 0\; =\; s\},\; \{\backslash \; displaystyle\; V\; ^\; \{\backslash \; pi\}\; (s)\; =\; E\; \_\; \{\backslash \; pi\}\; \backslash \; \{r\_\; \{0\}\; +\; \backslash \; gamma\; V\; ^\; \{\backslash \; pi\}\; (s\_\; \{1\})\; |\; s\_\; \{0\}\; =\; s\; \backslash \},\}$

поэтому $r\; 0\; +\; \gamma \; V\; \pi \; (s\; 1)\; \{\backslash \; displaystyle\; r\_\; \{0\}\; +\; \backslash \; gamma\; V\; ^\; \{\backslash \; pi\}\; (s\_\; \{1\})\}$- это несмещенная оценка для $V\; \pi \; (s)\; \{\backslash \; displaystyle\; V\; ^\; \{\backslash \; pi\}\; (s)\}$. Это наблюдение мотивирует следующий алгоритм для оценки $V\; \pi \; \{\backslash \; displaystyle\; V\; ^\; \{\backslash \; pi\}\}$.

Алгоритм начинается с инициализации таблицы $V\; (s)\; \{\backslash \; displaystyle\; V\; (s)\}$произвольно, с одним значением для каждого состояния MDP. Выбрана положительная скорость обучения $\alpha \; \{\backslash \; displaystyle\; \backslash \; alpha\}$.

Затем мы повторно оцениваем политику $\pi \; \{\backslash \; displaystyle\; \backslash \; pi\}$, получаем вознаграждение $r\; \{\backslash \; displaystyle\; r\}$и обновляем функция значения для старого состояния с использованием правила:

$V\; (s)\; \leftarrow \; V\; (s)\; +\; \alpha \; (r\; +\; \gamma \; V\; (s\; \text{'})\; ⏞\; Цель\; TD\; -\; V\; (s))\; \{\backslash \; displaystyle\; V\; (s)\; \backslash \; leftarrow\; V\; (s)\; +\; \backslash \; alpha\; (\backslash \; overbrace\; \{r\; +\; \backslash \; gamma\; V\; (s\; \text{'})\}\; ^\; \{\backslash \; text\; \{The\; TD\; target\}\}\; -\; V\; (s))\}$

где $s\; \{\backslash \; displaystyle\; s\}$и $s\; \prime \; \{\backslash \; displaystyle\; s\; \text{'}\}$- старое и новое состояния соответственно. Значение $r\; +\; \gamma \; V\; (s\; \text{'})\; \{\backslash \; displaystyle\; r\; +\; \backslash \; gamma\; V\; (s\text{'})\}$известно как цель TD.

TD-Lambda - алгоритм обучения, изобретенный Ричардом С. Саттоном на основе более ранней работы Артура Самуэля <168 по изучению временной разницы.>. Этот алгоритм был широко использован для создания TD-Gammon, программы, которая научилась играть в нарды на уровне опытных игроков.

Лямбда ($\lambda \; \{\backslash \; displaystyle\; \backslash \; lambda\}$) параметр относится к параметру распада следа, с $0\; ⩽\; \lambda \; ⩽\; 1\; \{\backslash \; displaystyle\; 0\; \backslash \; leqslant\; \backslash \; lambda\; \backslash \; leqslant\; 1\}$. Более высокие настройки приводят к более длительным следам; то есть, большая часть вознаграждения может быть отдана более отдаленным состояниям и действиям, когда $\lambda \; \{\backslash \; displaystyle\; \backslash \; lambda\}$больше, при $\lambda \; =\; 1\; \{\backslash \; displaystyle\; \backslash \; lambda\; =\; 1\}$параллельное обучение алгоритмам Монте-Карло RL.

Алгоритм TD также привлек внимание в области нейробиологии. Исследователи обнаружили, что частота возбуждения дофамина нейронов в вентральной тегментальной области (VTA) и черной субстанции (SNc), похоже, имитирует функция ошибок в алгоритме. Функция ошибок сообщает о разнице между предполагаемым вознаграждением в любом заданном состоянии или на любом временном шаге и фактическим полученным вознаграждением. Чем больше функция ошибки, тем больше разница между ожидаемым и фактическим вознаграждением. Когда это сочетается со стимулом, который точно отражает будущее вознаграждение, ошибку можно использовать для связывания стимула с будущим вознаграждением.

Допаминовые клетки, по-видимому, ведут себя аналогичным образом. В одном эксперименте измерения дофаминовых клеток были сделаны во время обучения обезьяны ассоциировать стимул с вознаграждением соком. Первоначально дофаминовые клетки увеличивали скорость возбуждения, когда обезьяна получала сок, что указывает на разницу в ожидаемой и фактической награде. Со временем это увеличение ответной реакции распространилось на самый ранний надежный стимул для вознаграждения. После того, как обезьяна была полностью обучена, после предъявления прогнозируемой награды скорость стрельбы не увеличивалась. Постоянно скорость активации дофаминовых клеток снижалась ниже нормальной активации, когда ожидаемое вознаграждение не производилось. Это очень похоже на то, как функция ошибок в TD используется для обучения с подкреплением.

Взаимосвязь между моделью и потенциальной неврологической функцией привела к исследованию, в котором пытались использовать TD для объяснения многих аспектов поведенческих исследований. Он также использовался для изучения таких состояний, как шизофрения или последствий фармакологических манипуляций с допамином для обучения.

• Q-обучение
• SARSA
• Rescorla -Модель Вагнера
• PVLV

1. ^ Ричард Саттон и Эндрю Барто (1998). Обучение с подкреплением. MIT Press. ISBN 978-0-585-02445-5. Архивировано из оригинала 30.03.2017.
2. ^ Ричард Саттон (1988). «Учимся предсказывать методами временных разностей». Машинное обучение. 3 (1): 9–44. doi : 10.1007 / BF00115009.(пересмотренная версия доступна на странице публикации Ричарда Саттона Архивировано 30 марта 2017 г. на Wayback Machine )
3. ^ Шульц, У., Даян, Пи и Монтегю, ПР. (1997). «Нейронный субстрат предсказания и награды». Наука. 275 (5306): 1593–1599. CiteSeerX 10.1.1.133.6176. doi : 10.1126 / science.275.5306.1593. PMID 9054347. CS1 maint: несколько имен: список авторов (ссылка )
4. ^ Montague, PR; Dayan, P.; Sejnowski, TJ (1996-03-01). «Структура для мезэнцефальных дофаминовых систем на основе прогнозирующего обучения Хебба » (PDF). The Journal of Neuroscience. 16 (5): 1936–1947. doi : 10.1523 / JNEUROSCI.16-05-01936.1996. ISSN 0270-6474. PMC 6578666. PMID 8774460.
5. ^ Montague, PR; Dayan, P.; Nowlan, SJ; Pouget, A.; Sejnowski, TJ (1993). «Использование апериодического подкрепления для направленного самоорганизация » (PDF). Достижения в системах обработки нейронной информации. 5 : 969–976.
6. ^ Montague, P.R.; Сейновски, Т. J. (1994). «Прогнозирующий мозг: временное совпадение и временной порядок в механизмах синаптического обучения». Обучение и память. 1 (1): 1–33. ISSN 1072-0502. PMID 10467583.
7. ^ Sejnowski, T.J.; Dayan, P.; Монтегю, П.Р. (1995). «Прогнозирующее обучение хебби» (PDF). Труды восьмой конференции ACM по вычислительной теории обучения: 15–18. doi : 10.1145 / 225298.225300.
8. ^Параметр ставки дисконтирования позволяет установить временное предпочтение в сторону более немедленных вознаграждений и вдали от вознаграждений в отдаленном будущем
9. ^Обучение с подкреплением: введение (PDF). п. 130. Архивировано из оригинала (PDF) 12.07.2017.
10. ^Тесауро, Джеральд (март 1995). "Изучение временной разницы и TD-Gammon". Коммуникации ACM. 38 (3): 58–68. DOI : 10.1145 / 203330.203343. Проверено 8 февраля 2010 г.
11. ^Schultz, W. (1998). «Прогнозирующий сигнал вознаграждения дофаминовых нейронов». Журнал нейрофизиологии. 80 (1): 1-27. CiteSeerX 10.1.1.408.5994. doi : 10.1152 / jn.1998.80.1.1. PMID 9658025.
12. ^Даян, П. (2001). «Мотивированное обучение с подкреплением» (PDF). Достижения в системах обработки нейронной информации. MIT Press. 14 : 11–18.
13. ^Смит, А., Ли, М., Беккер, С. и Капур, С. (2006). «Допамин, ошибка предсказания и ассоциативное обучение: учет на основе модели». Сеть: вычисления в нейронных системах. 17 (1): 61–84. doi : 10.1080 / 09548980500361624. PMID 16613795. CS1 maint: несколько имен: список авторов (ссылка )

• Sutton, RS, Barto AG (1990). «Производные по времени модели Павловского подкрепления» (PDF). Обучение и вычислительная нейробиология: основы адаптивных сетей: 497–537. CS1 maint: несколько имен: список авторов (ссылка )
• Джеральд Тесауро (март 1995 г.). «Изучение разницы во времени и TD-Gammon». Сообщения ACM. 38 (3): 58–68. doi : 10.1145 / 203330.203343.
• Имран Гори. Обучение с подкреплением в настольных играх.
• С.П. Мейн, 2007. Методы управления сложными сетями, Cambridge University Press, 2007. См. Последнюю главу, и приложение с сокращенным содержанием Meyn Tweedie.

• Scholarpedia Временные различия Обучение
• TD-Gammon
• TD-Networks Research Group
• Connect Four TDGravity Applet (+ мобильный телефон версия) - самообучение с использованием метода TD-Leaf (комбинация TD-Lambda с поиск по мелкому дереву)
• Самообучающийся мета-крестики-нолики Пример веб-приложения, показывающий, как обучение временной разнице может быть использовано для изучения констант оценки состояния минимаксного ИИ, играющего в простую настольную игру.
• Обучение с подкреплением Задача, документ, объясняющий, как можно использовать обучение временной разнице для ускорения Q-Learning
• TD-Simulator Симулятор временной разницы для классического кондиционирования