Функция значения

Функция значения задачи оптимизации дает значение достигается с помощью целевой функции в решении, при этом только в зависимости от параметров задачи. В управляемой динамической системе функция значения представляет оптимальную отдачу системы в интервале [t, T]при запуске в момент времени- tпеременная состояния x (t) = x. Если целевая функция представляет собой некоторую стоимость, которая должна быть минимизирована, функция ценности может интерпретироваться как стоимость завершения оптимальной программы и, таким образом, называется «функцией текущих затрат». В экономическом контексте, где целевая функция обычно представляет полезность, функция ценности концептуально эквивалентна косвенной функции полезности.

. В задаче оптимального управления Функция значения определяется как верхняя грань целевой функции, взятой по множеству допустимых управлений. Учитывая $(t\; 0,\; x\; 0)\; \in \; [0,\; t\; 1]\; \times \; R\; d\; \{\backslash \; displaystyle\; (t\_\; \{0\},\; x\_\; \{0\})\; \backslash \; in\; [0,\; t\_\; \{1\}]\; \backslash \; times\; \backslash \; mathbb\; \{\; R\}\; ^\; \{d\}\}$, типичная задача оптимального управления -

$максимизировать\; J\; (t\; 0,\; x\; 0;\; u)\; =\; \int \; t\; 0\; t\; 1\; I\; (t,\; x\; (t),\; u\; (t))\; dt\; +\; \varphi \; (x\; (t\; 1))\; \{\backslash \; displaystyle\; \{\backslash \; text\; \{maximize\}\}\; \backslash \; quad\; J\; (t\_\; \{0\},\; x\_\; \{0\};\; u)\; =\; \backslash \; int\; \_\; \{t\_\; \{0\}\; \}\; ^\; \{t\_\; \{1\}\}\; I\; (t,\; x\; (t),\; u\; (t))\; \backslash ,\; \backslash \; mathrm\; \{d\}\; t\; +\; \backslash \; phi\; (x\; (t\_\; \{1\}))\}$

с учетом

$dx\; (t)\; dt\; знак\; равно\; е\; (t,\; x\; (t),\; u\; (t))\; \{\backslash \; displaystyle\; \{\backslash \; frac\; \{\backslash \; mathrm\; \{d\}\; x\; (t)\}\; \{\backslash \; mathrm\; \{d\}\; t\}\}\; =\; f\; (t,\; x\; (t),\; u\; (t))\}$

с переменной начального состояния $x\; (t\; 0)\; =\; x\; 0\; \{\backslash \; displaystyle\; x\; (t\_\; \{0\})\; =\; x\_\; \{0\}\}$. Целевая функция $J\; (t\; 0,\; x\; 0;\; u)\; \{\backslash \; displaystyle\; J\; (t\_\; \{0\},\; x\_\; \{0\};\; u)\}$должна быть максимизирована по всем допустимым элементам управления $u\; \in \; U\; [t\; 0,\; t\; 1]\; \{\backslash \; displaystyle\; u\; \backslash \; in\; U\; [t\_\; \{0\},\; t\_\; \{1\}]\}$, где $u\; \{\backslash \; displaystyle\; u\}$- это измеримая функция по Лебегу от $[t\; 0,\; t\; 1]\; \{\backslash \; displaystyle\; [t\_\; \{0\},\; t\_\; \{1\}]\}$до некоторого заданного произвольного задано в $R\; m\; \{\backslash \; displaystyle\; \backslash \; mathbb\; \{R\}\; ^\; \{m\}\}$. Тогда функция значения определяется как

$V\; (t\; 0,\; x\; 0)\; =\; sup\; u\; \in \; UJ\; (t\; 0,\; x\; 0;\; u)\; \{\backslash \; displaystyle\; V\; (t\_\; \{0\},\; x\_\; \{0\})\; =\; \backslash \; sup\; \_\; \{u\; \backslash \; in\; U\}\; J\; (t\_\; \{0\},\; x\_\; \{0\};\; u)\}$

Если оптимальная пара траекторий управления и состояния равна $(x\; \ast ,\; u\; \ast )\; \{\backslash \; displaystyle\; (x\; ^\; \{\backslash \; ast\},\; u\; ^\; \{\backslash \; ast\})\}$, затем $V\; (t\; 0,\; x\; 0)\; =\; J\; (t\; 0,\; x\; 0;\; u\; \ast )\; \{\backslash \; displaystyle\; V\; (\; t\_\; \{0\},\; x\_\; \{0\})\; =\; J\; (t\_\; \{0\},\; x\_\; \{0\};\; u\; ^\; \{\backslash \; ast\})\}$. Функция $h\; \{\backslash \; displaystyle\; h\}$, которая дает оптимальное управление $u\; \ast \; \{\backslash \; displaystyle\; u\; ^\; \{\backslash \; ast\}\}$на основе текущего состояния $x\; \{\backslash \; displaystyle\; x\}$называется политикой управления с обратной связью или просто функцией политики.

Принцип оптимальности Беллмана примерно утверждает, что любая оптимальная политика в момент $t\; \{\backslash \; displaystyle\; t\}$, $t\; 0\; \le \; t\; \le \; t\; 1\; \{\backslash \; displaystyle\; t\_\; \{0\}\; \backslash \; leq\; t\; \backslash \; leq\; t\_\; \{1\}\}$принятие текущего состояния $x\; (t)\; \{\backslash \; displaystyle\; x\; (t)\}$как «новое» начальное условие должно быть оптимальным для оставшейся проблемы. Если функция цены оказывается непрерывно дифференцируемой, это приводит к важному уравнению в частных производных, известному как уравнение Гамильтона – Якоби – Беллмана,

$-\; \partial \; V\; (t,\; Икс)\; \partial \; T\; знак\; равно\; макс\; u\; \{I\; (t,\; x,\; u)\; +\; \partial \; V\; (t,\; x)\; \partial \; xf\; (t,\; x,\; u)\}\; \{\backslash \; displaystyle\; -\; \{\backslash \; frac\; \{\backslash \; partial\; V\; (t,\; x)\}\; \{\backslash \; partial\; t\}\}\; =\; \backslash \; max\; \_\; \{u\}\; \backslash \; left\; \backslash \; \{I\; (t,\; x,\; u)\; +\; \{\backslash \; frac\; \{\backslash \; partial\; V\; (t,\; x)\}\; \{\backslash \; partial\; x\}\}\; f\; (t,\; x,\; u)\; \backslash \; right\; \backslash \}\}$

где максимальное значение и в правой части также можно переписать как гамильтониан, $H\; (t,\; Икс,\; U,\; \lambda )\; знак\; равно\; я\; (T,\; Икс,\; U)\; +\; \lambda \; е\; (T,\; Икс,\; U)\; \{\backslash \; Displaystyle\; Н\; \backslash \; влево\; (т,\; х,\; и,\; \backslash \; лямбда\; \backslash \; вправо)\; =\; I\; (т,\; х,\; u)\; +\; \backslash \; lambda\; f\; (t,\; x,\; u)\}$, поскольку

$-\; \partial \; V\; (t,\; x)\; \partial \; t\; =\; max\; u\; H\; (t,\; x,\; u,\; \lambda )\; \{\; \backslash \; Displaystyle\; -\; \{\backslash \; frac\; \{\backslash \; partial\; V\; (t,\; x)\}\; \{\backslash \; partial\; t\}\}\; =\; \backslash \; max\; \_\; \{u\}\; H\; (t,\; x,\; u,\; \backslash \; lambda)\}$

с $\partial \; V\; (t,\; x)\; /\; \partial \; x\; =\; \lambda \; (t)\; \{\backslash \; displaystyle\; \backslash \; partial\; V\; (t,\; x)\; /\; \backslash \; partial\; x\; =\; \backslash \; lambda\; (t)\}$, играя роль стоимости переменные. Учитывая это определение, мы далее имеем $d\; \lambda \; (t)\; /\; dt\; =\; \partial \; 2\; V\; (t,\; x)\; /\; \partial \; x\; \partial \; t\; +\; \partial \; 2\; V\; (t,\; x)\; /\; \partial \; x\; 2\; \cdot \; f\; (x)\; \{\; \backslash \; Displaystyle\; \backslash \; mathrm\; \{d\}\; \backslash \; lambda\; (t)\; /\; \backslash \; mathrm\; \{d\}\; t\; =\; \backslash \; partial\; ^\; \{2\}\; V\; (t,\; x)\; /\; \backslash \; partial\; x\; \backslash \; partial\; t\; +\; \backslash \; partial\; ^\; \{2\}\; V\; (t,\; x)\; /\; \backslash \; partial\; x\; ^\; \{2\}\; \backslash \; cdot\; f\; (x)\}$, и после дифференцирования обеих сторон уравнения HJB относительно $x\; \{\backslash \; displaystyle\; x\}$,

$-\; \partial \; 2\; V\; (t,\; x)\; \partial \; t\; \partial \; x\; =\; \partial \; I\; \partial \; x\; +\; \partial \; 2\; V\; (t,\; x)\; \partial \; x\; 2\; f\; (x)\; +\; \partial \; V\; (t,\; x)\; \partial \; x\; \partial \; f\; (x)\; \partial \; x\; \{\backslash \; displaystyle\; -\; \{\backslash \; frac\; \{\backslash \; partial\; ^\; \{2\}\; V\; (t,\; x)\}\; \{\backslash \; partial\; t\; \backslash \; partial\; x\}\}\; =\; \{\backslash \; frac\; \{\backslash \; partial\; I\}\; \{\backslash \; partial\; x\}\}\; +\; \{\backslash \; frac\; \{\backslash \; partial\; ^\; \{2\}\; V\; (t,\; x)\}\; \{\backslash \; partial\; x\; ^\; \{2\}\}\}\; f\; (x)\; +\; \{\backslash \; frac\; \{\backslash \; partial\; V\; (t,\; x)\}\; \{\backslash \; partial\; x\}\}\; \{\backslash \; frac\; \{\backslash \; частичное\; f\; (x)\}\; \{\backslash \; partial\; x\}\}\}$

, которое после замены соответствующих членов восстанавливает уравнение стоимости

$-\; \lambda \; \dot{}\; (t)\; =\; \partial \; I\; \partial \; x\; +\; \lambda \; (t)\; \partial \; f\; (Икс)\; \partial \; Икс\; знак\; равно\; \partial \; ЧАС\; \partial \; Икс\; \{\backslash \; Displaystyle\; -\; \{\backslash \; точка\; \{\backslash \; lambda\}\}\; (t)\; =\; \{\backslash \; frac\; \{\backslash \; partial\; I\}\; \{\backslash \; partial\; x\}\}\; +\; \backslash \; lambda\; (t)\; \{\backslash \; frac\; \{\; \backslash \; partial\; f\; (x)\}\; \{\backslash \; partial\; x\}\}\; =\; \{\backslash \; frac\; \{\backslash \; partial\; H\}\; \{\backslash \; partial\; x\}\}\}$

где $\lambda \; \dot{}\; (t)\; \{\backslash \; displaystyle\; \{\backslash \; dot\; \{\backslash \; lambda\}\}\; (t)\}$- ньютоновская нотация для производной по времени.

Функция цены - это вязкостное решение уравнения Гамильтона – Якоби – Беллмана. В оперативном приближенном оптимальном управлении с обратной связью функция ценности также является функцией Ляпунова, которая устанавливает глобальную асимптотическую устойчивость замкнутой системы.

• Капуто, Майкл Р. (2005). «Необходимые и достаточные условия для изопериметрических задач». Основы динамического экономического анализа: теория оптимального управления и приложения. Нью-Йорк: Издательство Кембриджского университета. С. 174–210. ISBN 0-521-60368-4.
• Clarke, Frank H.; Лёвен, Филип Д. (1986). «Ценностная функция в оптимальном управлении: чувствительность, управляемость и оптимальность по времени». Журнал SIAM по управлению и оптимизации. 24 (2): 243–263. doi : 10.1137 / 0324014.
• ЛаФранс, Джеффри Т..; Барни, Л. Дуэйн (1991). «Теорема конверта в динамической оптимизации» (PDF). Журнал экономической динамики и управления. 15 (2): 355–385. doi : 10.1016 / 0165-1889 (91) 90018-V.
• Стенгель, Роберт Ф. (1994). «Условия оптимальности». Оптимальное управление и оценка. Нью-Йорк: Дувр. С. 201–222. ISBN 0-486-68200-5.