Уравнение Гамильтона – Якоби – Беллмана

В теории оптимального управления Гамильтон – Якоби – Беллман (HJB ) уравнение дает необходимое и достаточное условие для оптимальности контроля по отношению к функция потерь. В общем, это нелинейное уравнение в частных производных в функции значения , что означает, что его решением является сама функция значения. Как только это решение известно, его можно использовать для получения оптимального управления, взяв максимизатор (или минимизатор) гамильтониана, входящего в уравнение HJB.

Уравнение является результатом теория динамического программирования, впервые предложенная в 1950-х годах Ричардом Беллманом и его сотрудниками. Связь с уравнением Гамильтона – Якоби из классической физики впервые была проведена Рудольфом Кальманом. В задачах с дискретным временем соответствующее разностное уравнение обычно называется уравнением Беллмана.

, тогда как классические вариационные задачи, такие как задача о брахистохроне, может быть решена с помощью уравнения Гамильтона – Якоби – Беллмана, метод может быть применен к более широкому спектру задач. Кроме того, его можно обобщить на стохастические системы, и в этом случае уравнение HJB является эллиптическим уравнением в частных производных второго порядка. Однако главный недостаток состоит в том, что уравнение HJB допускает классические решения только для достаточно гладкой функции значений, что не гарантируется в большинстве ситуаций. Вместо этого требуется понятие решения вязкости, в котором обычные производные заменены (многозначными) подчиненными.

Содержание

• 1 Задачи оптимального управления
• 2 Частные дифференциальное уравнение
• 3 Получение уравнения
• 4 Решение уравнения
• 5 Расширение для стохастических задач
  • 5.1 Применение к LQG Control
• 6 См. также
• 7 Ссылки
• 8 Дополнительная литература

Задачи оптимального управления

Рассмотрим следующую задачу в детерминированном оптимальном управлении за период времени $[0,\; T]\; \{\backslash \; displaystyle\; [0,\; T]\}$:

$VT\; (x\; (0),\; 0)\; знак\; равно\; мин\; и\; \{\int \; 0\; ТС\; [Икс\; (Т),\; и\; (Т)]\; dt\; +\; D\; [Икс\; (Т)]\}\; \{\backslash \; Displaystyle\; V\_\; \{T\}\; (х\; (0),\; 0)\; =\; \backslash \; мин\; \_\; \{\; u\}\; \backslash \; left\; \backslash \; \{\backslash \; int\; \_\; \{0\}\; ^\; \{T\}\; C\; [x\; (t),\; u\; (t)]\; \backslash ,\; dt\; +\; D\; [x\; (T)]\; \backslash \; right\; \backslash \}\}$

где $C\; [\cdot ]\; \{\backslash \; displaystyle\; C\; [\backslash \; cdot]\}$- это скалярная функция ставки стоимости, а $D\; [\cdot ]\; \{\backslash \; displaystyle\; D\; [\backslash \; cdot]\}$- функция, которая возвращает значение завещания в конечном состоянии, $x\; (t)\; \{\backslash \; displaystyle\; x\; (t)\}$- вектор состояния системы, $x\; (0)\; \{\backslash \; displaystyle\; x\; (0)\}$предполагается заданным, а $u\; (t)\; \{\backslash \; displaystyle\; u\; (\; t)\}$для $0\; \le \; t\; \le \; T\; \{\backslash \; displaystyle\; 0\; \backslash \; leq\; t\; \backslash \; leq\; T\}$- вектор управления, который мы пытаемся найти.

Система также должна подчиняться

$x\; \dot{}\; (t)\; =\; F\; [x\; (t),\; u\; (t)]\; \{\backslash \; displaystyle\; \{\backslash \; dot\; \{x\}\}\; (t)\; =\; F\; [\; x\; (t),\; u\; (t)]\; \backslash ,\}$

где $F\; [\cdot ]\; \{\backslash \; displaystyle\; F\; [\backslash \; cdot]\}$дает вектор, определяющий физическую эволюцию вектора состояния в время.

Уравнение в частных производных

Для этой простой системы (с учетом $V\; =\; VT\; \{\backslash \; displaystyle\; V\; =\; V\_\; \{T\}\}$) уравнение Гамильтона – Якоби –Уравнение в частных производных Беллмана:

$V\; \dot{}\; (x,\; t)\; +\; min\; u\; \{\nabla \; V\; (x,\; t)\; \cdot \; F\; (x,\; u)\; +\; C\; (x,\; u)\}\; =\; 0\; \{\backslash \; displaystyle\; \{\backslash \; dot\; \{V\}\}\; (x,\; t)\; +\; \backslash \; min\; \_\; \{u\}\; \backslash \; left\; \backslash \; \{\backslash \; nabla\; V\; (x,\; t)\; \backslash \; cdot\; F\; (x,\; u)\; +\; C\; (x,\; u)\; \backslash \; right\; \backslash \}\; =\; 0\}$

с соблюдением конечного условия

$V\; (x,\; T)\; =\; D\; (x),\; \{\backslash \; displaystyle\; V\; (x,\; T)\; =\; D\; (x),\; \backslash ,\}$

где $V\; \dot{}\; (x,\; t)\; \{\backslash \; displaystyle\; \{\backslash \; dot\; \{V\}\}\; (x,\; t)\}$обозначает частную производную от $V\; \{\backslash \; displaystyle\; V\}$по отношению к переменная времени $t\; \{\backslash \; displaystyle\; t\}$. Здесь $a\; \cdot \; b\; \{\backslash \; displaystyle\; a\; \backslash \; cdot\; b\}$обозначает скалярное произведение векторов $a\; \{\backslash \; displaystyle\; a\}$и $b\; \{\backslash \; displaystyle\; b\}$и $\nabla \; V\; (x,\; t)\; \{\backslash \; displaystyle\; \backslash \; nabla\; V\; (x,\; t)\}$градиент из $V\; \{\backslash \; displaystyle\; V\}$относительно переменных $x\; \{\backslash \; displaystyle\; x\}$.

Неизвестный скаляр $V\; (x,\; t)\; \{\backslash \; displaystyle\; V\; (x,\; t)\}$в приведенном выше уравнении с частными производными - это функция значения Беллмана , которая представляет затраты, понесенные при запуске в состоянии $x\; \{\backslash \; displaystyle\; x\}$в момент $t\; \{\backslash \; displaystyle\; t\}$и оптимальное управление системой с этого момента до времени $T\; \{\backslash \; displaystyle\; T\}$.

Получение уравнения

Интуитивно уравнение HJB можно вывести следующим образом. Если $V\; (x\; (t),\; t)\; \{\backslash \; displaystyle\; V\; (x\; (t),\; t)\}$является оптимальной функцией затрат до конца (также называемой «функцией ценности»), то по принципу оптимальности Ричарда Беллмана, переходя от времени t к t + dt, мы имеем

$V\; (x\; (t),\; t)\; =\; min\; u\; \{V\; (x\; (t\; +\; dt),\; t\; +\; dt)\; +\; \int \; tt\; +\; dt\; C\; (x\; (s),\; u\; (s))\; ds\}.\; \{\backslash \; Displaystyle\; V\; (Икс\; (T),\; T)\; =\; \backslash \; min\; \_\; \{u\}\; \backslash \; left\; \backslash \; \{V\; (x\; (t\; +\; dt),\; t\; +\; dt)\; +\; \backslash \; int\; \_\; \{t\}\; ^\; \{t\; +\; dt\}\; C\; (x\; (s),\; u\; (s))\; \backslash ,\; ds\; \backslash \; right\; \backslash \}.\}$

Обратите внимание, что разложение Тейлора первого члена в правой части равно

$V\; (\; x\; (t\; +\; dt),\; t\; +\; dt)\; =\; V\; (x\; (t),\; t)\; +\; V\; \dot{}\; (x\; (t),\; t)\; dt\; +\; \nabla \; V\; (x\; (t),\; t)\; \cdot \; x\; \dot{}\; (t).\; dt\; +\; о\; (dt),\; \{\backslash \; displaystyle\; V\; (x\; (t\; +\; dt),\; t\; +\; dt)\; =\; V\; (x\; (t),\; t)\; +\; \{\backslash \; dot\; \{V\}\}\; (x\; (t),\; t)\; \backslash ,\; dt\; +\; \backslash \; nabla\; V\; (x\; (t),\; t)\; \backslash \; cdot\; \{\backslash \; dot\; \{x\}\}\; (t)\; \backslash ,\; dt\; +\; \{\backslash \; mathcal\; \{o\}\}\; (dt),\}$

где $o\; (dt)\; \{\backslash \; displaystyle\; \{\backslash \; mathcal\; \{o\}\}\; (dt)\}$обозначает термины в разложении Тейлора более высокого порядка, чем один в небольшой нотации. Затем, если мы вычтем $V\; (x\; (t),\; t)\; \{\backslash \; displaystyle\; V\; (x\; (t),\; t)\}$с обеих сторон, разделим на dt и возьмем предел по мере приближения dt нуля, мы получаем уравнение HJB, определенное выше.

Решение уравнения

Уравнение HJB обычно решается в обратном направлении во времени, начиная с $t\; =\; T\; \{\backslash \; displaystyle\; t\; =\; T\}$и оканчивается на $t\; =\; 0\; \{\backslash \; displaystyle\; t\; =\; 0\}$.

При решении по всему пространству состояний и $V\; (x)\; \{\backslash \; displaystyle\; V\; (x)\}$является непрерывно дифференцируемым, уравнение HJB является необходимым и достаточным условием для оптимума, когда конечное состояние не ограничено. Если мы сможем найти для $V\; \{\backslash \; displaystyle\; V\}$, тогда мы сможем найти из него элемент управления $u\; \{\backslash \; displaystyle\; u\}$, который обеспечивает минимальную стоимость.

В общем случае уравнение HJB не имеет классического (гладкого) решения. Для таких ситуаций было разработано несколько понятий обобщенных решений, включая вязкостный раствор (Пьер-Луи Лионс и Майкл Крэндалл ), минимаксное решение ([ru ]) и другие.

Расширение на стохастические задачи

Идея решения задачи управления путем применения принципа оптимальности Беллмана и последующей разработки стратегии оптимизации в обратном направлении может быть обобщена на задачи стохастического управления. Рассмотрим аналогичный приведенному выше

$min\; u\; E\; \{\int \; 0\; TC\; (t,\; X\; t,\; ut)\; dt\; +\; D\; (XT)\}\; \{\backslash \; displaystyle\; \backslash \; min\; \_\; \{u\}\; \backslash \; mathbb\; \{E\}\; \backslash \; left\; \backslash \; \{\backslash \; int\; \_\; \{0\}\; ^\; \{T\}\; C\; (t,\; X\_\; \{t\},\; u\_\; \{t\})\; \backslash ,\; dt\; +\; D\; (X\_\; \{T\})\; \backslash \; right\; \backslash \}\}$

теперь с $(X\; t)\; t\; \in \; [0,\; T]\; \{\backslash \; displaystyle\; (X\_\; \{t\})\; \_\; \{t\; \backslash \; in\; [0,\; T]\}\; \backslash ,\; \backslash !\}$стохастический процесс для оптимизации и $(ut)\; t\; \in \; [0,\; T]\; \{\backslash \; displaystyle\; (u\_\; \{t\})\; \_\; \{t\; \backslash \; in\; [0,\; T]\}\; \backslash ,\; \backslash !\}$рулевое управление. Сначала используя Беллмана, а затем раскрывая $V\; (X\; t,\; t)\; \{\backslash \; displaystyle\; V\; (X\_\; \{t\},\; t)\}$с помощью правила Ито, можно найти стохастический Уравнение HJB

$min\; u\; \{AV\; (x,\; t)\; +\; C\; (t,\; x,\; u)\}\; =\; 0,\; \{\backslash \; displaystyle\; \backslash \; min\; \_\; \{u\}\; \backslash \; left\; \backslash \; \{\{\backslash \; mathcal\; \{A\}\}\; V\; (x,\; t)\; +\; C\; (t,\; x,\; u)\; \backslash \; right\; \backslash \}\; =\; 0,\}$

где $A\; \{\backslash \; displaystyle\; \{\backslash \; mathcal\; \{A\}\}\}$представляет оператор стохастического дифференцирования и с учетом конечного условия

$V\; (x,\; T)\; =\; D\; (x).\; \{\backslash \; displaystyle\; V\; (x,\; T)\; =\; D\; (x)\; \backslash ,\; \backslash \; !.\}$

Обратите внимание, что случайность исчезла. В этом случае решение $V\; \{\backslash \; displaystyle\; V\; \backslash ,\; \backslash !\}$последнего не обязательно решает основную проблему, это только кандидат, и требуется дополнительный проверяющий аргумент. Этот метод широко используется в финансовой математике для определения оптимальных инвестиционных стратегий на рынке (см., Например, портфельная задача Мертона ).

Применение в LQG Control

В качестве примера мы можем взглянуть на систему с линейной стохастической динамикой и квадратичной стоимостью. Если динамика системы задается как

$dxt\; =\; (axt\; +\; but)\; dt\; +\; \sigma \; dwt,\; \{\backslash \; displaystyle\; dx\_\; \{t\}\; =\; (ax\_\; \{t\}\; +\; bu\_\; \{t\})\; dt\; +\; \backslash \; sigma\; dw\_\; \{t\},\}$

и стоимость накапливается по ставке $C\; (xt,\; ut)\; =\; r\; (t)\; ut\; 2/2\; +\; q\; (t)\; xt\; 2/2\; \{\backslash \; displaystyle\; C\; (x\_\; \{t\},\; u\_\; \{t\}))\; =\; r\; (t)\; u\_\; \{t\}\; ^\; \{2\}\; /\; 2\; +\; q\; (t)\; x\_\; \{t\}\; ^\; \{2\}\; /\; 2\}$, уравнение HJB задается как

$-\; \partial \; V\; (x,\; t)\; \partial \; t\; =\; 1\; 2\; q\; (t)\; x\; 2\; +\; \partial \; V\; (x,\; t)\; \partial \; xax\; -\; b\; 2\; 2\; r\; (t)\; (\partial \; V\; (x,\; t)\; \partial \; x)\; 2\; +\; \sigma \; 2\; 2\; \partial \; 2\; V\; (x,\; t)\; \partial \; x\; 2.\; \{\backslash \; displaystyle\; -\; \{\backslash \; frac\; \{\backslash \; partial\; V\; (x,\; t)\}\; \{\backslash \; partial\; t\}\}\; =\; \{\backslash \; frac\; \{1\}\; \{2\}\}\; q\; (t)\; x\; ^\; \{2\}\; +\; \{\backslash \; frac\; \{\backslash \; partial\; V\; (x,\; t)\}\; \{\backslash \; partial\; x\}\}\; ax\; -\; \{\backslash \; frac\; \{b\; ^\; \{2\}\}\; \{2r\; (t)\}\}\; \backslash \; left\; (\{\backslash \; frac\; \{\backslash \; partial\; V\; (x,\; t)\}\; \{\backslash \; partial\; x\}\}\; \backslash \; right)\; ^\; \{2\}\; +\; \{\backslash \; frac\; \{\backslash \; sigma\; ^\; \{2\}\}\; \{2\}\}\; \{\backslash \; frac\; \{\backslash \; partial\; ^\; \{2\}\; V\; (x,\; t)\}\; \{\backslash \; partial\; x\; ^\; \{\; 2\}\}\}.\}$

с оптимальным действием, заданным как

$ut\; =\; -\; br\; (t)\; \partial \; V\; (x,\; t)\; \partial \; x\; \{\backslash \; displaystyle\; u\_\; \{t\}\; =\; -\; \{\backslash \; frac\; \{b\}\; \{r\; (t)\}\}\; \{\backslash \; frac\; \{\backslash \; partial\; V\; (x,\; t)\}\; \{\backslash \; partial\; x\}\}\}$

Предполагая квадратичную форму для функции цены, мы получаем обычное уравнение Риккати для гессиан функции цены, как обычно для линейно-квадратично-гауссовского управления.

См. также

• уравнение Беллмана, аналог уравнения Гамильтона – Якоби – Беллмана в дискретном времени.
• Понтрягина. принцип максимума, необходимое, но не достаточное условие для оптимума, путем максимизации гамильтониана, но это имеет преимущество перед HJB, состоящее в том, что его нужно только удовлетворять по сравнению с одной рассматриваемой траекторией.

Ссылки

Читать далее ing

• Берцекас, Дмитрий П. (2005). Динамическое программирование и оптимальное управление. Athena Scientific.
• Фам, Хуйен (2009). «Классический подход к динамическому программированию с УЧП». Стохастический контроль и оптимизация в непрерывном времени с финансовыми приложениями. Springer. С. 37–60. ISBN 978-3-540-89499-5.
• Стенгель, Роберт Ф. (1994). «Условия оптимальности». Оптимальное управление и оценка. Нью-Йорк: Дувр. С. 201–222. ISBN 0-486-68200-5.