Гамильтониан (теория управления)

Гамильтониан - это функция, используемая для решения проблемы оптимальное управление для динамической системы. Его можно понимать как мгновенное приращение выражения Лагранжа проблемы, которое должно быть оптимизировано в течение определенного периода времени. Вдохновленный гамильтонианом классической механики, но отличный от него, гамильтониан теории оптимального управления был разработан Львом Понтрягиным как часть его принципа максимума. Понтрягин доказал, что необходимым условием для решения задачи оптимального управления является выбор управления таким образом, чтобы оптимизировать гамильтониан.

• 1 Постановка задачи и определение гамильтониана
  • 1.1 Вывод из лагранжиана
• 2 Гамильтониан в дискретном времени
• 3 Поведение гамильтониана во времени
• 4 Гамильтониан управления по сравнению с гамильтонианом механики
• 5 Текущее значение и приведенное значение Гамильтониан
• 6 Пример: Ramsey– Модель Касса – Купманса
• 7 Ссылки
• 8 Дополнительная литература

Рассмотрим динамическую систему из $n\; \{\backslash \; displaystyle\; n\; \}$дифференциальные уравнения первого порядка

$x\; \dot{}\; (t)\; =\; f\; (x\; (t),\; u\; (t),\; t)\; \{\backslash \; displaystyle\; \{\backslash \; dot\; \{\backslash \; mathbf\; \{x\})\; \}\}\; (t)\; =\; \backslash \; mathbf\; \{f\}\; (\backslash \; mathbf\; \{x\}\; (t),\; \backslash \; mathbf\; \{u\}\; (t),\; t)\}$

где $x\; (t)\; =\; [x\; 1\; (t),\; Икс\; 2\; (T),\dots ,\; XN\; (T)]\; T\; \{\backslash \; Displaystyle\; \backslash \; mathbf\; \{x\}\; (t)\; =\; \backslash \; left\; [x\_\; \{1\}\; (t),\; x\_\; \{2\}\; (t),\; \backslash \; ldots,\; x\_\; \{n\}\; (t)\; \backslash \; right]\; ^\; \{\backslash \; mathsf\; \{T\}\}\}$обозначает вектор переменных состояния, а $u\; (t)\; =\; [u\; 1\; (t),\; u\; 2\; (т),\dots \; ур\; (т)]\; T\; \{\backslash \; Displaystyle\; \backslash \; mathbf\; \{u\}\; (t)\; =\; \backslash \; left\; [u\_\; \{1\}\; (t),\; u\_\; \{2\}\; (t),\; \backslash \; ldots,\; u\_\; \{r\; \}\; (t)\; \backslash \; right]\; ^\; \{\backslash \; mathsf\; \{T\}\}\}$вектор управляющих переменных. После начальных условий $x\; (t\; 0)\; =\; x\; 0\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{x\}\; (t\_\; \{0\})\; =\; \backslash \; mathbf\; \{x\}\; \_\; \{0\}\}$и элементы управления $u\; (t)\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{u\}\; (t)\}$определены, решение дифференциальных уравнений, называемое траекторией $x\; (t;\; x\; 0,\; t\; 0)\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{x\}\; (t;\; \backslash \; mathbf\; \{x\}\; \_\; \{0\},\; t\_\; \{0\})\}$, можно найти. Задача оптимального управления состоит в том, чтобы выбрать $u\; (t)\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{u\}\; (t)\}$(из некоторого компактного и выпуклого множества $U\; \subseteq \; R\; r\; \{\backslash \; displaystyle\; \{\backslash \; mathcal\; \{U\}\}\; \backslash \; substeq\; \backslash \; mathbb\; \{R\}\; ^\; \{r\}\}$), так что $x\; (t)\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{x\}\; (t)\}$максимизирует или минимизирует определенную целевую функцию между начальным временем $t\; =\; t\; 0\; \{\backslash \; displaystyle\; t\; =\; t\_\; \{0\}\}$и конечное время $t\; =\; t\; 1\; \{\backslash \; displaystyle\; t\; =\; t\_\; \{1\}\}$(где $t\; 1\; \{\backslash \; displaystyle\; t\_\; \{1\}\}$может быть бесконечностью ). В частности, цель - оптимизировать индекс производительности $I\; (x\; (t),\; u\; (t),\; t)\; \{\backslash \; displaystyle\; I\; (\backslash \; mathbf\; \{x\}\; (t),\; \backslash \; mathbf\; \{u\}\; (t),\; t)\}$в каждый момент времени

$max\; u\; (t)\; J\; =\; \int \; t\; 0\; t\; 1\; I\; (x\; (t),\; u\; (t),\; t)\; dt\; \{\backslash \; displaystyle\; \backslash \; max\; \_\; \{\backslash \; mathbf\; \{u\}\; (t)\}\; J\; =\; \backslash \; int\; \_\; \{t\_\; \{0\}\}\; ^\; \{t\_\; \{1\}\}\; I\; (\backslash \; mathbf\; \{x\}\; (t),\; \backslash \; mathbf\; \{u\}\; (t),\; t)\; \backslash ,\; \backslash \; mathrm\; \{d\}\; t\}$

с учетом приведенных выше уравнений движения переменных состояния. Метод решения включает определение вспомогательной функции, известной как гамильтониан

$H\; (x\; (t),\; u\; (t),\; \lambda \; (t),\; t)\; \equiv \; I\; (x\; (t),\; u\; (t),\; t)\; +\; \lambda \; T\; (T)\; е\; (Икс\; (T),\; U\; (T),\; T)\; \{\backslash \; Displaystyle\; H\; (\backslash \; mathbf\; \{x\}\; (t),\; \backslash \; mathbf\; \{u\}\; (t),\; \backslash \; mathbf\; \{\backslash \; lambda\}\; (т),\; t)\; \backslash \; Equiv\; I\; (\backslash \; mathbf\; \{x\}\; (t),\; \backslash \; mathbf\; \{u\}\; (t),\; t)\; +\; \backslash \; mathbf\; \{\backslash \; lambda\}\; ^\; \{\backslash \; mathsf\; \{T\}\}\; (t)\; \backslash \; mathbf\; \{f\; \}\; (\backslash \; mathbf\; \{x\}\; (t),\; \backslash \; mathbf\; \{u\}\; (t),\; t)\}$

, который объединяет целевую функцию и уравнения состояния так же, как лагранжиан в задаче статической оптимизации., только то, что множители $\lambda \; (t)\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{\backslash \; lambda\}\; (t)\}$, называемые переменными стоимости, являются функциями времени, а не константами.

Цель состоит в том, чтобы найти оптимальную функцию политики управления $u\; \ast \; (t)\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{u\}\; ^\; \{\backslash \; ast\}\; (t)\}$и с это оптимальная траектория переменной состояния $x\; \ast \; (t)\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{x\}\; ^\; \{\backslash \; ast\}\; (t)\}$, которая согласно принципу максимума Понтрягина являются аргументами, максимизирующими гамильтониан,

$H\; (x\; \ast \; (t),\; u\; \ast \; (t),\; \lambda \; (t),\; t)\; \ge \; H\; (x\; (t),\; u\; (t),\; \lambda \; (t)),\; т)\; \{\backslash \; Displaystyle\; Н\; (\backslash \; mathbf\; \{x\}\; ^\; \{\backslash \; ast\}\; (т),\; \backslash \; mathbf\; \{u\}\; ^\; \{\backslash \; ast\}\; (т),\; \backslash \; mathbf\; \{\backslash \; lambda\}\; (т),\; т)\; \backslash \; geq\; H\; (\backslash \; mathbf\; \{x\}\; (t),\; \backslash \; mathbf\; \{u\}\; (t),\; \backslash \; mathbf\; \{\backslash \; lambda\}\; (t),\; t)\}$для всех $u\; (t)\; \in \; U\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{u\}\; (t)\; \backslash \; in\; \{\backslash \; mathcal\; \{U\}\}\}$

Необходимые условия первого порядка для максимума задаются как

$\partial \; H\; (x\; (t),\; u\; (\; т),\; \lambda \; (T),\; T)\; \partial \; U\; знак\; равно\; 0\; \{\backslash \; displaystyle\; \{\backslash \; frac\; \{\backslash \; partial\; H\; (\backslash \; mathbf\; \{x\}\; (t),\; \backslash \; mathbf\; \{u\}\; (t),\; \backslash \; mathbf\; \{\backslash \; lambda\}\; (\; t),\; t)\}\; \{\backslash \; partial\; \backslash \; mathbf\; \{u\}\}\}\; =\; 0\}$который порождает $I\; u\; (x\; (t),\; u\; (t),\; t)\; +\; \lambda \; T\; (t)\; фу\; (\; Икс\; (T),\; U\; (T),\; T)\; знак\; равно\; 0\; \{\backslash \; Displaystyle\; I\; \_\; \{\backslash \; mathbf\; \{u\}\}\; (\backslash \; mathbf\; \{x\}\; (t),\; \backslash \; mathbf\; \{u\}\; (t),\; t)\; +\; \backslash \; mathbf\; \{\; \backslash \; lambda\}\; ^\; \{\backslash \; mathsf\; \{T\}\}\; (t)\; \backslash \; mathbf\; \{f\}\; \_\; \{\backslash \; mathbf\; \{u\}\}\; (\backslash \; mathbf\; \{x\}\; (t),\; \backslash \; mathbf\; \{u\}\; (t),\; t)\; =\; 0\; \}$,

$\partial \; ЧАС\; (Икс\; (т),\; и\; (т),\; \lambda \; (т),\; т)\; \partial \; Икс\; =\; -\; \lambda \; \dot{}\; (т)\; \{\backslash \; Displaystyle\; \{\backslash \; frac\; \{\backslash \; partial\; H\; (\backslash \; mathbf\; \{x\}\; (\; t),\; \backslash \; mathbf\; \{u\}\; (t),\; \backslash \; mathbf\; \{\backslash \; lambda\}\; (t),\; t)\}\; \{\backslash \; partial\; \backslash \; mathbf\; \{x\}\}\}\; =\; -\; \{\backslash \; dot\; \{\backslash \; mathbf\; \{\backslash \; lambda\}\}\}\; (\; t)\}$который порождает $\lambda \; \dot{}\; (t)\; =\; -\; [I\; x\; (x\; (t),\; u\; (t),\; t)\; +\; \lambda \; T\; (t)\; fx\; (x\; (t),\; u\; (t),\; t)]\; \{\backslash \; displaystyle\; \{\backslash \; dot\; \{\backslash \; mathbf\; \{\backslash \; lambda\}\}\}\; (t)\; =\; -\; \backslash \; left\; [I\; \_\; \{\backslash \; mathbf\; \{x\}\}\; (\backslash \; mathbf\; \{x\}\; (t),\; \backslash \; mathbf\; \{u\}\; (t),\; t)\; +\; \backslash \; mathbf\; \{\backslash \; lambda\}\; ^\; \{\backslash \; mathsf\; \{T\}\}\; (t)\; \backslash \; mathbf\; \{f\}\; \_\; \{\backslash \; mathbf\; \{x\}\}\; (\backslash \; mathbf\; \{x\}\; (t),\; \backslash \; mathbf\; \{u\}\; (t),\; t)\; \backslash \; right]\}$

последние из которых называются уравнениями сопряжения. Вместе, уравнения состояния и уравнения состояния описывают гамильтонову динамическую систему (снова аналогичную, но отличную от гамильтоновой системы в физике), решение которой включает двухточечную краевую задачу, учитывая, что существуют $2\; n\; \{\backslash \; displaystyle\; 2n\}$граничные условия, включающие два разных момента времени, начальное время ($n\; \{\backslash \; displaystyle\; n\}$дифференциальные уравнения для переменных состояния) и конечное время ($n\; \{\backslash \; displaystyle\; n\}$дифференциальные уравнения для стоимостных переменных; если не указана конечная функция, граничные условия будут $\lambda \; (t\; 1)\; знак\; равно\; 0\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{\backslash \; lambda\}\; (t\_\; \{1\})\; =\; 0\}$или $lim\; t\; 1\; \to \; \infty \; \lambda \; (t\; 1)\; =\; 0\; \{\backslash \; displaystyle\; \backslash \; lim\; \_\; \{t\_\; \{1\}\; \backslash \; to\; \backslash \; infty\}\; \backslash \; mathbf\; \{\backslash \; lambda\}\; (t\_\; \{1\})\; =\; 0\}$для бесконечных временных горизонтов.

Достаточное условие для максимума - это вогнутость гамильтониана, вычисленная в решении, т.е.

$H\; uu\; (x\; \ast \; (t)\; U\; *\; (T),\; \lambda \; (T),\; T)\; \le \; 0\; \{\backslash \; Displaystyle\; H\; \_\; \{\backslash \; mathbf\; \{uu\}\}\; (\backslash \; mathbf\; \{x\}\; ^\; \{\backslash \; ast\}\; (т),\; \backslash \; mathbf\; \{u\}\; ^\; \{\backslash \; ast\}\; (t),\; \backslash \; mathbf\; \{\backslash \; lambda\}\; (t),\; t)\; \backslash \; leq\; 0\}$

где $u\; \ast \; (t)\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{u\}\; ^\; \{\backslash \; ast\}\; (t)\; \}$- оптимальное управление, а $x\; \ast \; (t)\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{x\}\; ^\; \{\backslash \; ast\}\; (t)\}$- оптимальная траектория для переменная состояния. В качестве альтернативы, по результату Ольви Л. Мангасарян, необходимые условия являются достаточными, если функции $I\; (x\; (t),\; u\; (t),\; t)\; \{\backslash \; displaystyle\; I\; (\backslash \; mathbf\; \{x\}\; (t),\; \backslash \; mathbf\; \{u\}\; (t),\; t)\}$и $f\; (x\; (t),\; u\; (t),\; t)\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{f\; \}\; (\backslash \; mathbf\; \{x\}\; (t),\; \backslash \; mathbf\; \{u\}\; (t),\; t)\}$оба вогнуты по $x\; (t)\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{x\}\; (t)\}$и $u\; (t)\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{u\}\; (t)\}$.

Вывод из лагранжевой

A ограниченной оптимизации задачи, как обычно указано выше предлагает лагранжево выражение, а именно

$L\; =\; \int \; t\; 0\; t\; 1\; I\; (x\; (t),\; u\; (t),\; t)\; +\; \lambda \; T\; (t)\; [f\; (x\; (t),\; u\; (t),\; t)\; -\; Икс\; \dot{}\; (T)]\; dt\; \{\backslash \; Displaystyle\; L\; =\; \backslash \; int\; \_\; \{t\_\; \{0\}\}\; ^\; \{t\_\; \{1\}\}\; I\; (\backslash \; mathbf\; \{x\}\; (t),\; \backslash \; mathbf\; \{u\}\; (t),\; t)\; +\; \backslash \; mathbf\; \{\backslash \; lambda\}\; ^\; \{\backslash \; mathsf\; \{T\}\}\; (t)\; \backslash \; left\; [\backslash \; mathbf\; \{f\}\; (\backslash \; mathbf\; \{x\}\; (t),\; \backslash \; mathbf\; \{u\}\; (t),\; t)\; -\; \{\backslash \; точка\; \{\backslash \; mathbf\; \{x\}\}\}\; (t)\; \backslash \; right]\; \backslash ,\; \backslash \; mathrm\; \{d\}\; t\}$

, где $\lambda \; (t)\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{\backslash \; lambda\}\; (t)\; \}$сравнить с множителем Лагранжа в задаче статической оптимизации, но теперь, как отмечалось выше, он является функцией времени. Продолжая преобразование Лежандра, последний член в правой части можно переписать, используя интегрирование по частям, так что

$-\; \int \; t\; 0\; t\; 1\; \lambda \; T\; (t)\; x\; \dot{}\; (t)\; dt\; =\; -\; \lambda \; T\; (t\; 1)\; x\; (t\; 1)\; +\; \lambda \; T\; (t\; 0)\; x\; (t\; 0)\; +\; \int \; t\; 0\; t\; 1\; \lambda \; \dot{}\; T\; (t)\; x\; (t)\; dt\; \{\; \backslash \; displaystyle\; -\; \backslash \; int\; \_\; \{t\_\; \{0\}\}\; ^\; \{t\_\; \{1\}\}\; \backslash \; mathbf\; \{\backslash \; lambda\}\; ^\; \{\backslash \; mathsf\; \{T\}\}\; (t)\; \{\backslash \; dot\; \{\backslash \; mathbf\; \{x\}\}\}\; (т)\; \backslash ,\; \backslash \; mathrm\; \{d\}\; t\; =\; -\; \backslash \; mathbf\; \{\backslash \; lambda\}\; ^\; \{\backslash \; mathsf\; \{T\}\}\; (t\_\; \{1\})\; \backslash \; mathbf\; \{x\}\; (t\_\; \{1\})\; +\; \backslash \; mathbf\; \{\backslash \; lambda\}\; ^\; \{\; \backslash \; mathsf\; \{T\}\}\; (t\_\; \{0\})\; \backslash \; mathbf\; \{x\}\; (t\_\; \{0\})\; +\; \backslash \; int\; \_\; \{t\_\; \{0\}\}\; ^\; \{t\_\; \{1\}\}\; \{\backslash \; dot\; \{\backslash \; mathbf\; \{\backslash \; lambda\}\; \}\}\; ^\; \{\backslash \; mathsf\; \{T\}\}\; (t)\; \backslash \; mathbf\; \{x\}\; (t)\; \backslash ,\; \backslash \; mathrm\; \{d\}\; t\}$

который можно подставить обратно в выражение Лагранжа, чтобы получить

$L\; =\; \int \; t\; 0\; t\; 1\; [I\; (x\; (t),\; u\; (t),\; t)\; +\; \lambda \; T\; (t)\; f\; (x\; (t),\; u\; (t),\; t)\; +\; \lambda \; \dot{}\; T\; (t)\; x\; (t)\; ]\; dt\; -\; \lambda \; T\; (T\; 1)\; Икс\; (T\; 1)\; +\; \lambda \; T\; (T\; 0)\; x\; (T\; 0)\; \{\backslash \; displaystyle\; L\; =\; \backslash \; int\; \_\; \{t\_\; \{0\}\}\; ^\; \{t\_\; \{1\}\}\; \backslash \; left\; [\; I\; (\backslash \; mathbf\; \{x\}\; (t),\; \backslash \; mathbf\; \{u\}\; (t),\; t)\; +\; \backslash \; mathbf\; \{\backslash \; lambda\}\; ^\; \{\backslash \; mathsf\; \{T\}\}\; (t)\; \backslash \; mathbf\; \{f\}\; (\backslash \; mathbf\; \{x\; \}\; (t),\; \backslash \; ma\; thbf\; \{u\}\; (t),\; t)\; +\; \{\backslash \; dot\; \{\backslash \; mathbf\; \{\backslash \; lambda\}\}\}\; ^\; \{\backslash \; mathsf\; \{T\}\}\; (t)\; \backslash \; mathbf\; \{x\}\; (t)\; \backslash \; right]\; \backslash ,\; \backslash \; mathrm\; \{\; d\}\; t-\; \backslash \; mathbf\; \{\backslash \; lambda\}\; ^\; \{\backslash \; mathsf\; \{T\}\}\; (t\_\; \{1\})\; \backslash \; mathbf\; \{x\}\; (t\_\; \{1\})\; +\; \backslash \; mathbf\; \{\backslash \; lambda\}\; ^\; \{\backslash \; mathsf\; \{T\}\}\; (t\_\; \{0\})\; \backslash \; mathbf\; \{x\}\; (t\_\; \{0\})\}$

Чтобы вывести условия первого порядка для оптимума, предположим, что решение найдено и лагранжиан максимален. Затем любое изменение в $x\; (t)\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{x\}\; (t)\}$или $u\; (t)\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{u\}\; (t)\}$должно привести к снижению значения лагранжиана. В частности, полная производная от $L\; \{\backslash \; displaystyle\; L\}$подчиняется

$d\; L\; =\; \int \; t\; 0\; t\; 1\; [(I\; u\; (x\; (t),\; u\; (t),\; t)\; +\; \lambda \; T\; (t)\; fu\; (x\; (t),\; u\; (t),\; t))\; du\; (t)\; +\; (I\; x\; (x\; (t),\; u\; (t),\; t)\; +\; \lambda \; T\; (t)\; fx\; (x\; (t),\; u\; (t),\; t)\; +\; \lambda \; \dot{}\; (t))\; dx\; (t)]\; dt\; -\; \lambda \; T\; (t\; 1)\; dx\; (t\; 1)\; +\; \lambda \; T\; (t\; 0)\; dx\; (t\; 0)\; \le \; 0\; \{\backslash \; displaystyle\; \backslash \; mathrm\; \{d\}\; L\; =\; \backslash \; int\; \_\; \{t\_\; \{0\}\}\; ^\; \{t\_\; \{1\}\}\; \backslash \; left\; [\backslash \; left\; (I\; \_\; \{\backslash \; mathbf\; \{u\}\}\; (\backslash \; mathbf\; \{x\}\; (t),\; \backslash \; mathbf\; \{u\}\; (t),\; t)\; +\; \backslash \; mathbf\; \{\backslash \; lambda\}\; ^\; \{\backslash \; mathsf\; \{T\}\}\; (t)\; \backslash \; mathbf\; \{f\}\; \_\; \{\backslash \; mathbf\; \{u\}\}\; (\; \backslash \; mathbf\; \{x\}\; (t),\; \backslash \; mathbf\; \{u\}\; (t),\; t)\; \backslash \; right)\; \backslash \; mathrm\; \{d\}\; \backslash \; mathbf\; \{u\}\; (t)\; +\; \backslash \; left\; (I\; \_\; \{\backslash \; mathbf\; \{x\}\}\; (\backslash \; mathbf\; \{x\}\; (t),\; \backslash \; mathbf\; \{u\}\; (t),\; t)\; +\; \backslash \; mathbf\; \{\backslash \; lambda\}\; ^\; \{\backslash \; mathsf\; \{T\}\}\; (t)\; \backslash \; mathbf\; \{f\}\; \_\; \{\backslash \; mathbf\; \{x\}\}\; (\backslash \; mathbf\; \{x\}\; (t),\; \backslash \; mathbf\; \{u\}\; (t),\; t)\; +\; \{\backslash \; dot\; \{\backslash \; mathbf\; \{\backslash \; lambda\}\}\}\; (t)\; \backslash \; right)\; \backslash \; mathrm\; \{d\}\; \backslash \; mathbf\; \{x\}\; (t)\; \backslash \; right]\; \backslash \; mathrm\; \{d\}\; t-\; \backslash \; mathbf\; \{\backslash \; lambda\}\; ^\; \{\backslash \; mathsf\; \{T\}\}\; (t\_\; \{1\})\; \backslash \; mathrm\; \{d\}\; \backslash \; mathbf\; \{x\}\; (t\_\; \{1\})\; +\; \backslash \; mathbf\; \{\backslash \; lambda\}\; ^\; \{\backslash \; mathsf\; \{T\}\}\; (t\_\; \{0\})\; \backslash \; mathrm\; \{d\}\; \backslash \; mathbf\; \{x\}\; (t\_\; \{0\})\; \backslash \; leq\; 0\}$

Для того чтобы это выражение было равно нулю, необходимы следующие условия оптимизации:

$I\; u\; (x\; (t),\; u\; (t),\; t)\; +\; \lambda \; T\; (t)\; fu\; (x\; (t),\; u\; (t),\; T)\; знак\; равно\; 0\; я\; Икс\; (Икс\; (T),\; U\; (T),\; T)\; +\; \lambda \; T\; (T)\; FX\; (X\; (T),\; u\; (T),\; T)\; +\; \lambda \; (T)\; \dot{}\; =\; 0\; \{\backslash \; Displaystyle\; \{\backslash \; begin\; \{align\}\; I\; \_\; \{\backslash \; mathbf\; \{u\}\}\; (\backslash \; mathbf\; \{x\}\; (t),\; \backslash \; mathbf\; \{u\}\; (t),\; t)\; +\; \backslash \; mathbf\; \{\backslash \; lambda\}\; ^\; \{\backslash \; mathsf\; \{T\}\}\; (t)\; \backslash \; mathbf\; \{f\}\; \_\; \{\backslash \; mathbf\; \{u\}\}\; (\backslash \; mathbf\; \{x\}\; (t),\; \backslash \; mathbf\; \{u\}\; (t),\; t)\; =\; 0\; \backslash \backslash \; I\; \_\; \{\backslash \; mathbf\; \{x\}\}\; (\backslash \; mathbf\; \{x\}\; (t),\; \backslash \; mathbf\; \{u\}\; (t),\; t)\; +\; \backslash \; mathbf\; \{\backslash \; lambda\}\; ^\; \{\backslash \; mathsf\; \{T\}\}\; (t)\; \backslash \; mathbf\; \{f\}\; \_\; \{\backslash \; mathbf\; \{x\; \}\}\; (\backslash \; mathbf\; \{x\}\; (t),\; \backslash \; mathbf\; \{u\}\; (t),\; t)\; +\; \{\backslash \; dot\; \{\backslash \; mathbf\; \{\backslash \; lambda\}\; (t)\}\}\; =\; 0\; \backslash \; end\; \{align\}\}\}$

Если и начальное значение $x\; (t\; 0)\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{x\}\; (t\_\; \{0\})\}$, и конечное значение $x\; (t\; 1)\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{x\}\; (t\_\; \{1\})\}$фиксированы, то есть $dx\; (t\; 0)\; =\; dx\; (t\; 1)\; =\; 0\; \{\backslash \; displaystyle\; \backslash \; mathrm\; \{d\}\; \backslash \; mathbf\; \{x\; \}\; (t\_\; \{0\})\; =\; \backslash \; mathrm\; \{d\}\; \backslash \; mathbf\; \{x\}\; (t\_\; \{1\})\; =\; 0\}$, нет условий на $\lambda \; (t\; 0)\; \{\backslash \; dis\; playstyle\; \backslash \; mathbf\; \{\backslash \; lambda\}\; (t\_\; \{0\})\}$и $\lambda \; (t\; 1)\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{\backslash \; lambda\}\; (t\_\; \{1\})\}$нужны. Если конечное значение свободно, как это часто бывает, дополнительное условие $\lambda \; (t\; 1)\; =\; 0\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{\backslash \; lambda\}\; (t\_\; \{1\})\; =\; 0\}$необходимо для оптимальности. Последнее называется условием трансверсальности для задачи с фиксированным горизонтом.

Видно, что необходимые условия идентичны условиям, указанным выше для гамильтониана. Таким образом, гамильтониан можно понимать как устройство для создания необходимых условий первого порядка.

Когда задача формулируется в дискретном времени, гамильтониан определяется как:

$ЧАС\; (xt,\; ut,\; \lambda \; t,\; t)\; =\; \lambda \; t\; +\; 1\; T\; f\; (xt,\; ut,\; t)\; +\; I\; (xt,\; ut,\; t)\; \{\backslash \; displaystyle\; H\; (x\_\; \{t\},\; u\_\; \{t)\; \},\; \backslash \; lambda\; \_\; \{t\},\; t)\; =\; \backslash \; lambda\; \_\; \{t\; +\; 1\}\; ^\; \{T\}\; f\; (x\_\; \{t\},\; u\_\; \{t\},\; t)\; +\; I\; (x\_\; \{t\},\; u\_\; \{t\},\; t)\; \backslash ,\}$

и уравнения сопутствующего элемента :

$\lambda \; t\; +\; 1\; \top \; =\; -\; \partial \; H\; \partial \; xt\; +\; \lambda \; t\; \top \; \{\backslash \; displaystyle\; \backslash \; lambda\; \_\; \{t\; +\; 1\}\; ^\; \{\backslash \; top\}\; =\; -\; \{\backslash \; frac\; \{\backslash \; partial\; H\}\; \{\backslash \; partial\; x\_\; \{t\}\}\}\; +\; \backslash \; lambda\; \_\; \{t\}\; ^\; \{\backslash \; top\}\}$

(Обратите внимание, что гамильтониан дискретного времени в момент времени $t\; \{\backslash \; displaystyle\; t\}$включает переменную costate во время $t\; +\; 1.\; \{\backslash \; displaystyle\; t\; +\; 1.\}$Эта небольшая деталь важна, чтобы при различении относительно $x\; \{\backslash \; displaystyle\; x\}$мы получаем термин, включающий $\lambda \; (t\; +\; 1)\; \{\backslash \; displaystyle\; \backslash \; lambda\; (t\; +\; 1)\}$на правая часть costate equ действия. Использование здесь неправильного соглашения может привести к неверным результатам, то есть к уравнению стоимости, которое не является уравнением обратной разности).

Из принципа максимума Понтрягина можно вывести специальные условия для гамильтониана. Когда конечное время $t\; 1\; \{\backslash \; displaystyle\; t\_\; \{1\}\}$фиксировано и гамильтониан не зависит явно от времени $(\partial \; H\; \partial \; t\; =\; 0)\; \{\backslash \; displaystyle\; \backslash \; left\; (\{\backslash \; tfrac\; \{\backslash \; partial\; H\}\; \{\backslash \; partial\; t\}\}\; =\; 0\; \backslash \; right)\}$, тогда:

$H\; (x\; \ast \; (t),\; u\; \ast \; (t),\; \lambda \; \ast \; (\; t))\; =\; константа\; \{\backslash \; displaystyle\; H\; (x\; ^\; \{*\}\; (t),\; u\; ^\; \{*\}\; (t),\; \backslash \; lambda\; ^\; \{*\}\; (t))\; =\; \backslash \; mathrm\; \{constant\}\; \backslash ,\}$

или если конечное время является свободным, то:

$H\; (x\; \ast \; (t),\; u\; \ast \; (t),\; \lambda \; \ast \; (t))\; =\; 0.\; \{\backslash \; displaystyle\; H\; (x\; ^\; \{*\}\; (t),\; u\; ^\; \{*\}\; (t),\; \backslash \; lambda\; ^\; \{*\}\; (t))\; =\; 0.\; \backslash ,\}$

Далее, если конечное время стремится к бесконечности, условие трансверсальности применяется по гамильтониану.

$lim\; t\; \to \; \infty \; H\; (t)\; =\; 0\; \{\backslash \; displaystyle\; \backslash \; lim\; \_\; \{t\; \backslash \; to\; \backslash \; infty\}\; H\; (t)\; =\; 0\}$

Уильям Роуэн Гамильтон определил гамильтониан для описания механики системы. Это функция трех переменных:

$H\; =\; H\; (p,\; q,\; t)\; =\; ⟨p,\; q\; \dot{}⟩\; -\; L\; (q,\; q\; \dot{},\; t)\; \{\backslash \; displaystyle\; \{\backslash \; mathcal\; \{H\}\}\; =\; \{\; \backslash \; mathcal\; \{H\}\}\; (p,\; q,\; t)\; =\; \backslash \; langle\; p,\; \{\backslash \; dot\; \{q\}\}\; \backslash \; rangle\; -L\; (q,\; \{\backslash \; dot\; \{q\}\},\; t)\}$

где $L\; \{\backslash \; displaystyle\; L\}$- лагранжиан, экстремизация которого определяет динамику (а не лагранжиан, определенный выше), $q\; \{\backslash \; displaystyle\; q\}$- это переменная состояния, а $q\; \dot{}\; \{\backslash \; displaystyle\; \{\backslash \; dot\; \{q\}\}\}$- ее производная по времени.

$p\; \{\backslash \; displaystyle\; p\}$- так называемый «сопряженный импульс », определяемый как

$p\; =\; \partial \; L\; \partial \; q\; \dot{}\; \{\backslash \; displaystyle\; p\; =\; \{\backslash \; frac\; \{\backslash \; partial\; L\}\; \{\backslash \; partial\; \{\backslash \; dot\; \{q\}\}\}\}\}$

Затем Гамильтон сформулировал свои уравнения для описания динамики системы как

$ddtp\; (t)\; =\; -\; \partial \; \partial \; q\; H\; \{\backslash \; displaystyle\; \{\backslash \; frac\; \{d\}\; \{dt\}\}\; p\; (t)\; =\; -\; \{\backslash \; frac\; \{\backslash \; partial\}\; \{\backslash \; partial\; q\}\}\; \{\backslash \; mathcal\; \{H\}\}\}$

$ddtq\; (t)\; =\; \partial \; \partial \; p\; H\; \{\backslash \; displaystyle\; \{\backslash \; frac\; \{d\}\; \{dt\}\}\; q\; (t)\; =\; ~~\; \{\backslash \; frac\; \{\backslash \; partial\}\; \{\backslash \; partial\; p\}\}\; \{\backslash \; mathcal\; \{H\}\}\}$

Гамильтониан теории управления описывает не динамику системы, а условия для экстремума ее скалярной функции (лагранжиана) по отношению к управляющей переменной $u\; \{\backslash \; displaystyle\; u\}$. Как обычно определяется, это функция четырех переменных

$H\; (q,\; u,\; p,\; t)\; =\; ⟨p,\; q\; \dot{}⟩\; -\; L\; (q,\; u,\; t)\; \{\backslash \; displaystyle\; H\; (q,\; u,\; p,\; t)\; =\; \backslash \; langle\; p,\; \{\backslash \; dot\; \{q\}\}\; \backslash \; rangle\; -L\; (q,\; u,\; t)\}$

где $q\; \{\backslash \; displaystyle\; q\}$- переменная состояния и $u\; \{\backslash \; displaystyle\; u\}$- управляющая переменная по отношению к тому, что мы экстремизируем.

Соответствующие условия для максимума:

$dpdt\; =\; -\; \partial \; H\; \partial \; q\; \{\backslash \; displaystyle\; \{\backslash \; frac\; \{dp\}\; \{dt\}\}\; =\; -\; \{\backslash \; frac\; \{\backslash \; partial\; H\}\; \{\backslash \; partial\; q\; \}\}\}$

$dqdt\; =\; \partial \; H\; \partial \; p\; \{\backslash \; displaystyle\; \{\backslash \; frac\; \{dq\}\; \{dt\}\}\; =\; ~~\; \{\backslash \; frac\; \{\backslash \; partial\; H\}\; \{\backslash \; partial\; p\}\}\}$

$\partial \; H\; \partial \; u\; =\; 0\; \{\backslash \; displaystyle\; \{\backslash \; frac\; \{\backslash \; partial\; H\}\; \{\backslash \; partial\; u\}\}\; =\; 0\}$

Это определение согласуется с определением, данным в статье Суссманна и Виллемса. (см. стр. 39, уравнение 14). Суссманн и Виллемс показывают, как гамильтониан управления может использоваться в динамике, например для проблемы брахистохрона, но не упоминайте предыдущую работу Каратеодори по этому подходу.

In экономика, целевая функция в задачах динамической оптимизации часто напрямую зависит от времени только посредством экспоненциального дисконтирования, так что она принимает форму

$I\; (x\; (t),\; u\; (t),\; т)\; знак\; равно\; е\; -\; \rho \; T\; \nu \; (Икс\; (T),\; U\; (T))\; \{\backslash \; Displaystyle\; I\; (\backslash \; mathbf\; \{x\}\; (т),\; \backslash \; mathbf\; \{u\}\; (т),\; т)\; =\; е\; ^\; \{-\; \backslash \; rho\; t\}\; \backslash \; nu\; (\backslash \; mathbf\; \{x\}\; (t),\; \backslash \; mathbf\; \{u\}\; (t))\}$

где $\nu \; (x\; (t),\; u\; (t))\; \{\backslash \; displaystyle\; \backslash \; nu\; (\backslash \; mathbf\; \{x\}\; (t),\; \backslash \; mathbf\; \{u\}\; (t))\}$называется мгновенной функцией полезности , или. Это позволяет переопределить гамильтониан как $H\; (x\; (t),\; u\; (t),\; \lambda \; (t),\; t)\; =\; e\; -\; \rho \; t\; H\; ¯\; (x\; (t),\; u\; (t),\; \lambda \; (\; t))\; \{\backslash \; displaystyle\; H\; (\backslash \; mathbf\; \{x\}\; (t),\; \backslash \; mathbf\; \{u\}\; (t),\; \backslash \; mathbf\; \{\backslash \; lambda\}\; (t),\; t)\; =\; e\; ^\; \{-\; \backslash \; rho\; t\}\; \{\backslash \; bar\; \{H\}\}\; (\backslash \; mathbf\; \{x\}\; (t),\; \backslash \; mathbf\; \{u\}\; (t),\; \backslash \; mathbf\; \{\backslash \; lambda\}\; (t))\}$где

$H\; ¯\; (x\; (t),\; u\; (t),\; \lambda \; (t))\; \equiv \; e\; \rho \; t\; [I\; (x\; (t),\; u\; (t),\; t)\; +\; \lambda \; T\; (t)\; f\; (x\; (t),\; u\; (t),\; t)]\; знак\; равно\; \nu \; (Икс\; (T),\; U\; (T),\; T)\; +\; \mu \; T\; (T)\; F\; (X\; (T),\; U\; (T),\; T)\; \{\backslash \; Displaystyle\; \{\backslash \; begin\; \{выровнено\}\; \{\backslash \; bar\; \{\; H\}\}\; (\backslash \; mathbf\; \{x\}\; (t),\; \backslash \; mathbf\; \{u\}\; (t),\; \backslash \; mathbf\; \{\backslash \; lambda\}\; (t))\; \backslash \; Equiv\; \backslash ,\; e\; ^\; \{\backslash \; rho\; t\}\; \backslash \; left\; [I\; (\backslash \; mathbf\; \{x\}\; (t),\; \backslash \; mathbf\; \{u\}\; (t),\; t)\; +\; \backslash \; mathbf\; \{\backslash \; lambda\}\; ^\; \{\backslash \; mathsf\; \{T\}\}\; (t)\; \backslash \; mathbf\; \{f\}\; (\backslash \; mathbf\; \{x\}\; (t),\; \backslash \; mathbf\; \{u\}\; (t),\; t)\; \backslash \; right]\; \backslash \backslash \; =\; \backslash ,\; \backslash \; nu\; (\backslash \; mathbf\; \{x\}\; (t),\; \backslash \; mathbf\; \{u\}\; (t),\; t)\; +\; \backslash \; mathbf\; \{\backslash \; mu\}\; ^\; \{\backslash \; mathsf\; \{T\}\}\; (t)\; \backslash \; mathbf\; \{f\}\; (\backslash \; mathbf\; \{x\}\; (t),\; \backslash \; mathbf\; \{u\}\; (t),\; t)\; \backslash \; end\; \{align\}\}\}$

который называется гамильтонианом текущего значения, в отличие от гамильтониана текущего значения $ЧАС\; (Икс\; (T),\; U\; (T),\; \lambda \; (T),\; T)\; \{\backslash \; Displaystyle\; H\; (\backslash \; mathbf\; \{x\}\; (t),\; \backslash \; mathbf\; \{u\}\; (t),\; \backslash \; mathbf\; \{\backslash \; lambda\}\; (т),\; t)\}$, определенный в первом разделе. В частности, сопутствующие переменные переопределяются как $\mu \; (t)\; =\; e\; \rho \; t\; \lambda \; (t)\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{\backslash \; mu\}\; (t)\; =\; e\; ^\; \{\backslash \; rho\; t\}\; \backslash \; mathbf\; \{\backslash \; lambda\}\; (\; t)\}$, что приводит к измененным условиям первого порядка.

$\partial \; ЧАС\; ¯\; (Икс\; (T),\; U\; (T),\; \lambda \; (T))\; \partial \; U\; =\; 0\; \{\backslash \; Displaystyle\; \{\backslash \; frac\; \{\backslash \; partial\; \{\backslash \; bar\; \{H\}\}\; (\backslash \; mathbf\; \{x\}\; (т),\; \backslash \; mathbf\; \{u\}\; (t),\; \backslash \; mathbf\; \{\backslash \; lambda\}\; (t))\}\; \{\backslash \; partial\; \backslash \; mathbf\; \{u\}\}\}\; =\; 0\}$,

$\partial \; H\; ¯\; (x\; (t),\; u\; (t),\; \lambda \; (T))\; \partial \; Икс\; знак\; равно\; -\; \mu \; \dot{}\; (T)\; +\; \rho \; \mu \; (T)\; \{\backslash \; Displaystyle\; \{\backslash \; frac\; \{\backslash \; partial\; \{\backslash \; bar\; \{H\}\}\; (\backslash \; mathbf\; \{x\}\; (t),\; \backslash \; mathbf\; \{u\}\; (t),\; \backslash \; mathbf\; \{\backslash \; lambda\}\; (t))\}\; \{\backslash \; partial\; \backslash \; mathbf\; \{x\}\}\}\; =\; -\; \{\backslash \; dot\; \{\backslash \; mathbf\; \{\backslash \; mu\}\}\}\; (t)\; +\; \backslash \; rho\; \backslash \; mathbf\; \{\backslash \; mu\}\; (t)\}$

, которое непосредственно следует из правила продукта. С экономической точки зрения $\mu \; (t)\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{\backslash \; mu\}\; (t)\}$представляет текущую стоимость теневых цен на капитальные товары $x\; (t)\; \{\backslash \; displaystyle\; \backslash \; mathbf\; \{x\}\; (t)\}$.

В экономике используется модель Рамси – Касса – Купманса используется для определения оптимального поведения сбережений для экономики. Целевая функция $J\; (c)\; \{\backslash \; displaystyle\; J\; (c)\}$- это функция общественного благосостояния,

$J\; (c)\; =\; \int \; 0\; T\; e\; -\; \rho \; tu\; (c\; (\; t))\; dt\; \{\backslash \; displaystyle\; J\; (c)\; =\; \backslash \; int\; \_\; \{0\}\; ^\; \{T\}\; e\; ^\; \{-\; \backslash \; rho\; t\}\; u\; (c\; (t))\; dt\}$

для максимизации путем выбора оптимального путь потребления $c\; (t)\; \{\backslash \; displaystyle\; c\; (t)\}$. Функция $u\; (c\; (t))\; \{\backslash \; displaystyle\; u\; (c\; (t))\}$указывает полезность репрезентативного агента потребления $c\; \{\backslash \; displaystyle\; c\}$в любой момент времени. Фактор $e\; -\; \rho \; t\; \{\backslash \; displaystyle\; e\; ^\; \{-\; \backslash \; rho\; t\}\}$представляет собой дисконтирование. Задача максимизации подчиняется следующему дифференциальному уравнению для капиталоемкости, описывающему временную эволюцию капитала на эффективного работника:

$k\; \dot{}\; =\; \partial \; k\; \partial \; t\; =\; f\; (k\; (t))\; -\; (\; n\; +\; \delta )\; К\; (T)\; -\; с\; (T)\; \{\backslash \; Displaystyle\; \{\backslash \; точка\; \{k\}\}\; =\; \{\backslash \; frac\; \{\backslash \; partial\; k\}\; \{\backslash \; partial\; t\}\}\; =\; f\; (k\; (t))\; -\; (n\; +\; \backslash \; дельта)\; k\; (t)\; -c\; (t)\}$

где $c\; (t)\; \{\backslash \; displaystyle\; c\; (t)\}$- потребление за период t, $k\; (t)\; \{\; \backslash \; displaystyle\; k\; (t)\}$- капитал периода t на одного работника (с $k\; (0)\; =\; k\; 0>0\; \{\backslash \; displaystyle\; k\; (0)\; =\; k\_\; \{0\}>0\}$), $f\; (k\; (t))\; \{\backslash \; displaystyle\; f\; (k\; (t))\}$- производство за период t, $n\; \{\backslash \; displaystyle\; n\}$- рост населения ставка, $\delta \; \{\backslash \; displaystyle\; \backslash \; delta\}$- норма амортизации капитала, агент дисконтирует будущую полезность по ставке $\rho \; \{\backslash \; displaystyle\; \backslash \; rho\}$, wi th $u\; \prime >0\; \{\backslash \; displaystyle\; u\; \text{'}>0\}$и .

Здесь $k\; (t)\; \{\backslash \; displaystyle\; k\; (t)\}$- состояние переменная, которая изменяется в соответствии с приведенным выше уравнением, а $c\; (t)\; \{\backslash \; displaystyle\; c\; (t)\}$является управляющей переменной. Гамильтониан принимает вид

$H\; (k,\; c,\; \mu ,\; t)\; =\; e\; -\; \rho \; tu\; (c\; (t))\; +\; \mu \; (t)\; k\; \dot{}\; =\; e\; -\; \rho \; tu\; (c\; (t))\; +\; \mu \; (t).\; [е\; (К\; (т))\; -\; (N\; +\; \delta )\; К\; (т)\; -\; с\; (т)]\; \{\backslash \; Displaystyle\; Н\; (к,\; с,\; \backslash \; му,\; т)\; =\; е\; ^\; \{-\; \backslash \; rho\; t\}\; и\; (с\; (t))\; +\; \backslash \; mu\; (t)\; \{\backslash \; dot\; \{k\}\}\; =\; e\; ^\; \{-\; \backslash \; rho\; t\}\; u\; (c\; (t))\; +\; \backslash \; mu\; (t)\; [f\; (k\; (t))\; -\; (n\; +\; \backslash \; delta)\; k\; (t)\; -c\; (t)]\}$

Условия оптимальности:

$\partial \; H\; \partial \; c\; =\; 0\; \Rightarrow \; e\; -\; \rho \; tu\; \prime \; (c)\; =\; \mu \; (t)\; \{\backslash \; displaystyle\; \{\backslash \; frac\; \{\backslash \; partial\; H\}\; \{\backslash \; partial\; c\}\}\; =\; 0\; \backslash \; Rightarrow\; e\; ^\; \{-\; \backslash \; rho\; t\}\; u\; \text{'}(c)\; =\; \backslash \; mu\; (t)\}$

$\partial \; H\; \partial \; k\; =\; -\; \partial \; \mu \; \partial \; t\; =\; -\; \mu \; \dot{}\; \Rightarrow \; \mu \; (t)\; [е\; \text{'}(к)\; -\; (n\; +\; \delta )]\; =\; -\; \mu \; \dot{}\; \{\backslash \; displaystyle\; \{\backslash \; frac\; \{\backslash \; partial\; H\}\; \{\backslash \; partial\; k\}\}\; =\; -\; \{\backslash \; frac\; \{\backslash \; partial\; \backslash \; mu\}\; \{\backslash \; partial\; t\}\}\; =\; -\; \{\backslash \; dot\; \{\backslash \; mu\}\}\; \backslash \; Rightarrow\; \backslash \; mu\; (t)\; [f\; \text{'}(k)\; -\; (n\; +\; \backslash \; delta)]\; =\; -\; \{\backslash \; dot\; \{\backslash \; mu\}\}\}$

в дополнение к условию трансверсальности $\mu \; (T)\; k\; (T)\; =\; 0\; \{\backslash \; displaystyle\; \backslash \; mu\; (T)\; k\; (T)\; =\; 0\}$. Если мы допустим $u\; (c)\; =\; log\; \; (c)\; \{\backslash \; displaystyle\; u\; (c)\; =\; \backslash \; log\; (c)\}$, то log-дифференцирующий первая оптимальность условие относительно $t\; \{\backslash \; displaystyle\; t\}$дает

$-\; \rho \; -\; c\; \dot{}\; c\; (t)\; =\; \mu \; \dot{}\; \mu \; (t)\; \{\backslash \; displaystyle\; -\; \backslash \; rho\; -\; \{\backslash \; frac\; \{\; \backslash \; dot\; \{c\}\}\; \{c\; (t)\}\}\; =\; \{\backslash \; frac\; \{\backslash \; dot\; \{\backslash \; mu\}\}\; \{\backslash \; mu\; (t)\}\}\}$

Подставляя это уравнение во второе условие оптимальности, получаем

$\rho \; +\; с\; \dot{}\; с\; (T)\; знак\; равно\; е\; \text{'}(к)\; -\; (N\; +\; \delta )\; \{\backslash \; displaystyle\; \backslash \; rho\; +\; \{\backslash \; frac\; \{\backslash \; dot\; \{c\}\}\; \{c\; (t)\}\}\; =\; f\text{'}\; (k)\; -\; (\; n\; +\; \backslash \; delta)\}$

, которое известно как правило Кейнса – Рамсея, которое дает условие потребления в каждом периоде, которое, если следовать ему, обеспечивает максимальную полезность в течение всего срока службы.

• Léonard, Daniel; Лонг, Нго Ван (1992). «Принцип максимума». Теория оптимального управления и статическая оптимизация в экономике. Нью-Йорк: Издательство Кембриджского университета. С. 127–168. ISBN 0-521-33158-7.
• Такаяма, Акира (1985). «Развитие теории оптимального управления и ее приложения». Математическая экономика (2-е изд.). Нью-Йорк: Издательство Кембриджского университета. С. 600–719. ISBN 0-521-31498-4.
• Вулвик, Нэнси (1995). «Гамильтонов формализм и теория оптимального роста». В Риме, И. Х. (ред.). Измерение, количественная оценка и экономический анализ. Лондон: Рутледж. ISBN 978-0-415-08915-9.