Оптимальная остановка

редактировать

В математике теория оптимальной остановки или ранней остановки касается проблемы выбора времени для выполнения определенного действия, чтобы максимизировать ожидаемое вознаграждение или минимизировать ожидаемые затраты. Проблемы оптимальной остановки могут быть найдены в областях статистики, экономики и математических финансов (связанных с ценообразованием американских опционов ). Ключевым примером оптимальной задачи остановки является проблема секретаря. Задачи оптимальной остановки часто могут быть записаны в форме уравнения Беллмана и поэтому часто решаются с использованием динамического программирования.

Содержание
  • 1 Определение
    • 1.1 Случай дискретного времени
    • 1.2 Случай непрерывного времени
  • 2 Методы решения
  • 3 Результат скачкообразного распространения
  • 4 Примеры
    • 4.1 Подбрасывание монеты
    • 4.2 Продажа дома
    • 4.3 Секретарская проблема
    • 4.4 Теория поиска
    • 4.5 Проблема с парковкой
    • 4.6 Торговля опционами
  • 5 См. Также
  • 6 Ссылки
Определение

Случай дискретного времени

Проблемы правила остановки связаны с двумя объектами:

  1. Последовательность случайных величин X 1, X 2,… {\ displaystyle X_ {1}, X_ {2}, \ ldots}X_ {1}, X_ {2}, \ ldots , совместное распределение которых считается известным
  2. Последовательность функций "вознаграждения" (yi) i ≥ 1 {\ displaystyle (y_ {i}) _ {i \ geq 1}}(y_ {i}) _ {{i \ geq 1}} , которые зависят от наблюдаемых значений случайных величин в 1:
    yi = yi (x 1,…, xi) {\ displaystyle y_ {i} = y_ {i} (x_ {1}, \ ldots, x_ {i})}y_ {i} = y_ {i} (x_ {1}, \ ldots, x_ {i})

Для этих объектов проблема заключается в следующем:

  • Вы наблюдаете за последовательностью случайных величин, и на каждом шаге i {\ displaystyle i}i вы можете выбрать либо прекратить наблюдение или продолжить
  • Если вы прекратите наблюдение на шаге i {\ displaystyle i}i , вы получите награду yi {\ displaystyle y_ {i}}y_ {i}
  • Вы хотите выбрать правило остановки, чтобы максимизировать ожидаемое вознаграждение (или, что эквивалентно, минимизировать ожидаемые убытки)

Непрерывный временной случай

Рассмотрим процессы получения прибыли G = ( G t) t ≥ 0 {\ displaystyle G = (G_ {t}) _ {t \ geq 0}}G = (G_ {t}) _ {{t \ geq 0}} определено в фильтрованном вероятностном пространстве (Ω, F, (F t) t ≥ 0, P) {\ displaystyle (\ Omega, {\ mathcal {F}}, ({\ mathcal {F}} _ {t}) _ {t \ geq 0}, \ mathbb { P})}(\ Omega, { \ mathcal {F}}, ({\ mathcal {F}} _ {t}) _ {{t \ geq 0}}, {\ mathbb {P}}) и предположим, что G {\ displaystyle G}G адаптирован к фильтрации. Оптимальная задача остановки - найти время остановки τ ∗ {\ displaystyle \ tau ^ {*}}\ tau ^ {*} , которое максимизирует ожидаемый выигрыш

V t T = EG τ ∗ = sup t ≤ τ ≤ TEG τ {\ displaystyle V_ {t} ^ {T} = \ mathbb {E} G _ {\ tau ^ {*}} = \ sup _ {t \ leq \ tau \ leq T} \ mathbb {E} G _ {\ tau}}V_ {t} ^ {T} = {\ mathbb {E} } G _ {{\ tau ^ {*}}} = \ sup _ {{t \ leq \ tau \ leq T}} {\ mathbb {E}} G _ {\ tau}

где V t T {\ displaystyle V_ {t} ^ {T}}V_ {t} ^ {T} называется функцией значения . Здесь T {\ displaystyle T}T может принимать значение ∞ {\ displaystyle \ infty}\ infty .

Более конкретная формулировка выглядит следующим образом. Мы рассматриваем адаптированный сильный марковский процесс X = (X t) t ≥ 0 {\ displaystyle X = (X_ {t}) _ {t \ geq 0}}X = (X_ {t}) _ {{t \ geq 0}} определено на фильтрованном вероятностном пространстве (Ω, F, (F t) t ≥ 0, P x) {\ displaystyle (\ Omega, {\ mathcal {F}}, ({\ mathcal {F}} _ { t}) _ {t \ geq 0}, \ mathbb {P} _ {x})}(\ Omega, {\ mathcal {F}}, ({\ mathcal {F}} _ {t}) _ {{t \ geq 0}}, {\ mathbb {P}} _ {x}) где P x {\ displaystyle \ mathbb {P} _ {x}}{\ mathbb {P}} _ {x} обозначает показатель вероятности, где стохастический процесс начинается в x {\ displaystyle x}x . Для непрерывных функций M, L {\ displaystyle M, L}M, L и K {\ displaystyle K}K оптимальной задачей остановки является

V ( x) = sup 0 ≤ τ ≤ TE x (M (X τ) + ∫ 0 τ L (X t) dt + sup 0 ≤ t ≤ τ K (X t)). {\ Displaystyle V (х) = \ sup _ {0 \ leq \ tau \ leq T} \ mathbb {E} _ {x} \ left (M (X _ {\ tau}) + \ int _ {0} ^ { \ tau} L (X_ {t}) dt + \ sup _ {0 \ leq t \ leq \ tau} K (X_ {t}) \ right).}V (x) = \ sup _ {{0 \ leq \ tau \ leq T}} {\ mathbb {E}} _ {x} \ left (M (X _ {\ tau}) + \ int _ {0} ^ {\ tau} L (X_ {t}) dt + \ sup _ {{0 \ leq t \ leq \ tau}} K (X_ {t}) \ right).

Иногда его называют MLS (что означает Майер, Лагранжа и supremum соответственно).

Методы решения

Обычно существует два подхода к решению задач оптимальной остановки. Когда базовый процесс (или процесс усиления) описывается его безусловными конечномерными распределениями, подходящим методом решения является подход мартингейла, названный так потому, что он использует теорию мартингейла, наиболее важной концепцией является конверт Снеллиуса. В случае дискретного времени, если горизонт планирования T {\ displaystyle T}T конечен, проблема также может быть легко решена с помощью динамического программирования.

Когда определен базовый процесс Благодаря семейству (условных) функций перехода, ведущих к марковскому семейству переходных вероятностей, часто можно использовать мощные аналитические инструменты, предоставляемые теорией марковских процессов, и этот подход называется методом Маркова. Решение обычно получают путем решения связанных задач со свободными границами (задач Стефана ).

Результат диффузии скачка

Пусть Y t {\ displaystyle Y_ {t}}Y_ {t} будет диффузией Леви в R К {\ Displaystyle \ mathbb {R} ^ {k}}\ mathbb {R} ^ { k} , заданный SDE

d Y t = b (Y t) dt + σ (Y t) d B t + ∫ р К γ (Y t -, z) N ¯ (dt, dz), Y 0 = y {\ displaystyle dY_ {t} = b (Y_ {t}) dt + \ sigma (Y_ {t}) dB_ { t} + \ int _ {\ mathbb {R} ^ {k}} \ gamma (Y_ {t -}, z) {\ bar {N}} (dt, dz), \ quad Y_ {0} = y}dY_ {t} = b (Y_ {t}) dt + \ sigma (Y_ {t}) dB_ {t} + \ int _ {{{\ mathbb {R}} ^ {k}} } \ gamma (Y _ {{t -}}, z) {\ bar {N}} (dt, dz), \ quad Y_ {0} = y

где B {\ displaystyle B}B - это m {\ displaystyle m}m -размерное броуновское движение, N ¯ {\ displaystyle {\ bar {N}}}{\ bar {N}} является l {\ displaystyle l}l -мерной компенсированной случайной мерой Пуассона, b: р К → р К {\ Displaystyle B: \ mathbb {R} ^ {k} \ to \ mathbb {R} ^ {k}}b: {\ mathbb {R}} ^ {k} \ to {\ mathbb {R}} ^ {k} , σ: R k → R k × m {\ Displaystyle \ sigma: \ mathbb {R} ^ {k} \ to \ mathbb {R} ^ {k \ times m}}\ sigma: {\ mathbb {R}} ^ {k} \ to {\ mathbb {R}} ^ {{k \ times m}} и γ: R k × R k → R k × l {\ displaystyle \ gamma: \ mathbb {R} ^ {k} \ times \ mathbb {R} ^ {k} \ to \ mathbb {R} ^ {k \ times l}}\ gamma: {\ mathbb {R}} ^ {k } \ times {\ mathbb {R}} ^ {k} \ to {\ mathbb {R}} ^ {{k \ times l}} заданы такие функции, что существует уникальное решение (Y t) {\ displaystyle (Y_ {t})}(Y_ {t}) . Пусть S ⊂ R k {\ displaystyle {\ mathcal {S}} \ subset \ mathbb {R} ^ {k}}{\ mathcal {S}} \ подмножество {\ mathbb {R}} ^ {k} будет открытым множеством (область платежеспособности) и

τ S = inf {t>0: Y t ∉ S} {\ displaystyle \ tau _ {\ mathcal {S}} = \ inf \ {t>0: Y_ {t} \ notin {\ mathcal {S}} \} }\tau _{{\mathcal {S}}}=\inf\{t>0: Y_ {t} \ notin {\ mathcal {S}} \}

- время банкротства. Оптимальная задача остановки:

V (y) = sup τ ≤ τ SJ τ (y) = sup τ ≤ τ SE Y [M (Y τ) + ∫ 0 τ L (Y t) dt], {\ Displaystyle V (y) = \ sup _ {\ tau \ leq \ tau _ {\ mathcal {S}}} J ^ {\ tau} (y) = \ sup _ {\ tau \ leq \ tau _ {\ mathcal {S}}} \ mathbb {E} _ {y} \ left [M (Y _ {\ tau}) + \ int _ {0} ^ {\ tau} L (Y_ {t}) dt \ right].}V (y) = \ sup _ {{\ tau \ leq \ tau _ {{\ mathcal {S}}}}} Дж ^ {\ tau} (y) = \ sup _ {{\ tau \ leq \ tau _ {{\ mathcal {S}}}}} {\ mathbb {E}} _ {y} \ left [M (Y_ { \ tau}) + \ int _ {0} ^ {\ tau} L (Y_ {t}) dt \ right].

Оказывается, при некоторых условиях регулярности справедлива следующая теорема проверки:

Если функция ϕ: S ¯ → R {\ displaystyle \ phi: {\ bar {\ mathcal {S}}} \ to \ mathbb {R}}\ phi: {\ bar {{\ mathcal {S}}}} \ to {\ mathbb {R}} удовлетворяет

  • ϕ ∈ C (S ¯) ∩ C 1 ( S) ∩ С 2 (S ∖ ∂ D) {\ displaystyle \ phi \ in C ({\ bar {\ mathcal {S}}}) \ cap C ^ {1} ({\ mathcal {S}}) \ cap C ^ {2} ({\ mathcal {S}} \ setminus \ partial D)}\ phi \ in C ({\ bar {{\ mathcal {S}}}}) \ cap C ^ {1} ({\ mathcal { S}}) \ cap C ^ {2} ({\ mathcal {S}} \ setminus \ partial D) , где область продолжения D = {y ∈ S: ϕ (y)>M (y) } {\ displaystyle D = \ {y \ in {\ mathcal {S}}: \ phi (y)>M (y) \}}D=\{y\in {\mathcal {S}}:\phi (y)>M (y) \} ,
  • ϕ ≥ M {\ displaystyle \ phi }\ phi \ geq M на S {\ displaystyle {\ mathcal {S}}}{\ mathcal {S}} и
  • A ϕ + L ≤ 0 {\ displaystyle {\ mathcal {A}} \ phi + L \ leq 0}{\ mathcal {A}} \ phi + L \ leq 0 на S ∖ ∂ D {\ displaystyle {\ mathcal {S}} \ setminus \ partial D}{\ mathcal {S}} \ setminus \ partial D , где A {\ displaystyle {\ mathcal {A}}}{\ mathcal {A}} - это генератор бесконечно малых из (Y t) {\ displaystyle (Y_ {t})}(Y_ {t})

, затем ϕ (y) ≥ V (y) {\ displaystyle \ phi (y) \ geq V (y)}\ phi (y) \ geq V (y) для всех y ∈ S ¯ {\ displaystyle y \ in {\ bar {\ mathcal {S}}}}y \ in {\ bar {{\ mathcal {S}}}} . Более того, если

  • A ϕ + L = 0 {\ displaystyle {\ mathcal {A}} \ phi + L = 0}{\ mat hcal {A}} \ phi + L = 0 на D {\ displaystyle D}D

Тогда ϕ (y) = V (y) {\ displaystyle \ phi (y) = V (y)}\ phi (y) = V (y) для всех y ∈ S ¯ {\ displaystyle y \ in {\ bar { \ mathcal {S}}}}y \ in {\ bar {{\ mathcal {S}}}} и τ ∗ = inf {t>0: Y t ∉ D} {\ displaystyle \ tau ^ {*} = \ inf \ {t>0: Y_ {t} \ notin D \}}\tau ^{*}=\inf\{t>0: Y_ {t} \ notin D \} - оптимальное время остановки.

Эти условия также можно записать в более компактной форме (интегро-вариационное неравенство ):

  • макс {A ϕ + L, M - ϕ} = 0 {\ displaystyle \ max \ left \ {{\ mathcal {A}} \ phi + L, M- \ phi \ right \} = 0}\ max \ left \ {{\ mathcal {A }} \ phi + L, M- \ phi \ right \} = 0 на S ∖ ∂ D. {\ Displaystyle {\ mathcal {S}} \ setminus \ partial D.}{\ mathcal { S}} \ setminus \ partial D.
Примеры

Подбрасывание монет

(Пример, где E (yi) {\ displaystyle \ mathbb {E} (y_ {i})}{\ mathbb {E}} (y_ {i}) сходится)

У вас есть честная монета и неоднократно подбрасывает ее. Каждый раз, прежде чем он будет брошен, вы можете прекратить его бросать и получить оплату (например, в долларах) за среднее количество наблюдаемых голов.

Вы хотите максимизировать получаемую вами сумму, выбрав правило остановки. Если X i (для i ≥ 1) образует последовательность независимых одинаково распределенных случайных величин с распределением Бернулли

Берн (1 2), {\ displaystyle {\ text {Bern}} \ left ({\ frac {1} {2}} \ right),}{\ text {Bern}} \ left ({\ frac {1} {2}} \ right),

и если

yi = 1 i ∑ k = 1 i X k {\ displaystyle y_ {i} = {\ frac {1 } {i}} \ sum _ {k = 1} ^ {i} X_ {k}}y_ {i} = {\ frac 1i} \ sum _ {{k = 1}} ^ {{i}} X_ {k}

, затем последовательности (X i) i ≥ 1 {\ displaystyle (X_ {i}) _ {i \ geq 1}}(X_ {i }) _ {{i \ geq 1}} и (yi) i ≥ 1 {\ displaystyle (y_ {i}) _ {i \ geq 1}}(y_ {i}) _ {{i \ geq 1}} - объекты, связанные с Эта проблема.

Продажа дома

(Пример, где E (yi) {\ displaystyle \ mathbb {E} (y_ {i})}{\ mathbb {E}} (y_ {i}) не обязательно сходится)

У вас есть дом, и вы хотите его продать. Каждый день вам предлагают X n {\ displaystyle X_ {n}}X_{n}за ваш дом и платите k {\ displaystyle k}k , чтобы продолжить рекламу. Если вы продадите свой дом в день n {\ displaystyle n}n , вы заработаете yn {\ displaystyle y_ {n}}y_ {n} , где yn = (X n - nk) {\ displaystyle y_ {n} = (X_ {n} -nk)}y_ {n} = (X_ {n} -nk) .

Вы хотите максимизировать сумму, которую вы зарабатываете, выбирая правило остановки.

В этом примере последовательность (X i {\ displaystyle X_ {i}}X_ {i} ) - это последовательность предложений для вашего дома, а последовательность функций вознаграждения показывает, как много заработаешь.

Задача секретаря

(Пример, где (X i) {\ displaystyle (X_ {i})}(X_ {i}) - конечная последовательность)

Вы наблюдаете последовательность объектов, которые можно отсортировать от лучших к худшим. Вы хотите выбрать правило остановки, которое максимизирует ваши шансы выбрать лучший объект.

Здесь, если R 1,…, R n {\ displaystyle R_ {1}, \ ldots, R_ {n}}R_ {1}, \ ldots, R_ {n} (n - некоторое большое число), являются ранги объектов, а yi {\ displaystyle y_ {i}}y_ {i} - это шанс выбрать лучший объект, если вы перестанете намеренно отклонять объекты на шаге i, затем (R i) {\ displaystyle (R_ {i})}(R_ {i}) и (yi) {\ displaystyle (y_ {i})}(y_ {i}) - это последовательности, связанные с этой проблемой. Эта проблема была решена в начале 1960-х несколькими людьми. Элегантное решение проблемы секретаря и несколько модификаций этой проблемы обеспечивается более поздним алгоритмом шансов оптимальной остановки (алгоритм Брюсса).

Теория поиска

Экономисты изучили ряд задач оптимального останова, подобных «проблеме секретаря», и обычно называют этот тип анализа «теорией поиска». Теория поиска особенно сосредоточена на поиске работником высокооплачиваемой работы или поиске потребителем недорогого товара.

Проблема с парковкой

Частным примером применения теории поиска является задача оптимального выбора парковочного места водителем, идущим в оперу (театр, магазины и т. Д.). Подъезжая к месту назначения, водитель идет по улице, вдоль которой есть парковочные места - обычно только некоторые места на парковке свободны. Цель хорошо видна, поэтому расстояние до цели легко оценить. Задача водителя - выбрать свободное место для парковки как можно ближе к месту назначения, не разворачиваясь, чтобы расстояние от этого места до места назначения было кратчайшим.

Торговля опционами

В торговля опционами на финансовых рынках, держателю американского опциона разрешено реализовать право на покупку (или продажу) базового актива по заранее определенной цене в любое время до или в день истечения срока годности. Следовательно, оценка американских опционов, по сути, является оптимальной задачей для остановки. Рассмотрим классическую схему Блэка-Шоулза и пусть r {\ displaystyle r}r будет безрисковой процентной ставкой и δ {\ displaystyle \ delta}\ delta и σ {\ displaystyle \ sigma}\ sigma - ставка дивидендов и волатильность акции. Цена акции S {\ displaystyle S}S следует геометрическому броуновскому движению

S t = S 0 exp ⁡ {(r - δ - σ 2 2) t + σ B t} {\ displaystyle S_ {t} = S_ {0} \ exp \ left \ {\ left (r- \ delta - {\ frac {\ sigma ^ {2}} {2}} \ right) t + \ sigma B_ {t} \ right \}}S_ {t} = S_ {0} \ exp \ left \ {\ left (r- \ дельта - {\ frac {\ sigma ^ {2}} {2}} \ right) t + \ sigma B_ {t} \ right \}

в рамках меры, нейтральной к риску.

Когда опция бессрочная, оптимальная задача остановки:

V (x) = sup τ E x [e - r τ g (S τ)] {\ displaystyle V (x) = \ sup _ {\ tau} \ mathbb {E} _ {x} \ left [e ^ {- r \ tau} g (S _ {\ tau}) \ right]}V (x) = \ sup _ {{\ tau}} {\ mathbb {E}} _ {x} \ left [e ^ {{- r \ tau}} g (S _ {\ tau}) \ right]

где функция выплаты g ( x) = (x - K) + {\ displaystyle g (x) = (xK) ^ {+}}g (x) = (xK) ^ {+} для опциона колл и g (x) = (K - x) + {\ displaystyle g (x) = (Kx) ^ {+}}g(x)=(Kx)^{+}для пут-опциона. Вариационное неравенство

max {1 2 σ 2 x 2 V ″ (x) + (r - δ) x V ′ (x) - r V (x), g (x) - V (x)} = 0 {\ displaystyle \ max \ left \ {{\ frac {1} {2}} \ sigma ^ {2} x ^ {2} V '' (x) + (r- \ delta) xV '(x) - rV (x), g (x) -V (x) \ right \} = 0}\max \left\{{\frac {1}{2}}\sigma ^{2}x^{2}V''(x)+(r-\delta)xV'(x)-rV(x),g(x)-V(x)\right\}=0

для всех x ∈ (0, ∞) ∖ {b} {\ displaystyle x \ in (0, \ infty) \ setminus \ {b \}}х \ в (0, \ infty) \ setmi nus \ {b \} где b {\ displaystyle b}b - граница упражнения. Известно, что решение имеет вид

  • (вечный вызов) V (x) = {(b - K) (x / b) γ x ∈ (0, b) x - K x ∈ [b, ∞) {\ Displaystyle V (x) = {\ begin {case} (bK) (x / b) ^ {\ gamma} x \ in (0, b) \\ x-K x \ in [b, \ infty) \ end {case}}}V ( x) = {\ begin {cases} (bK) (x / b) ^ {\ gamma} x \ in (0, b) \\ x-K x \ in [b, \ infty) \ end {cases}} где γ = (ν 2 + 2 r - ν) / σ {\ displaystyle \ gamma = ({\ sqrt {\ nu ^ {2} + 2r}} - \ nu) / \ sigma}\ gamma = ({\ sqrt {\ nu ^ {2} + 2r}} - \ nu) / \ sigma и ν = (r - δ) / σ - σ / 2, b = γ K / (γ - 1). {\ displaystyle \ nu = (r- \ delta) / \ sigma - \ sigma / 2, \ quad b = \ gamma K / (\ gamma -1).}\ nu = (r- \ delta) / \ sigma - \ sigma / 2, \ quad b = \ gamma K / (\ gamma -1).
  • (Perpetual put) V (x) = {К - xx ∈ (0, c] (K - c) (x / c) γ ~ x ∈ (c, ∞) {\ displaystyle V (x) = {\ begin {cases} K-x x \ in (0, c] \\ (Kc) (x / c) ^ {\ tilde {\ gamma}} x \ in (c, \ infty) \ end {cases}}}V (x) = {\ begin {cases} K-x x \ in (0, c] \\ (Kc) (x / c) ^ {{\ tilde {\ gamma}}} x \ in (c, \ infty) \ end {cases}} где γ ~ знак равно - (ν 2 + 2 р + ν) / σ {\ displaystyle {\ tilde {\ gamma}} = - ({\ sqrt {\ nu ^ {2} + 2r}} + \ nu) / \ sigma }{\ tilde {\ gamma}} = - ({\ sqrt {\ nu ^ {2} + 2r}} + \ nu) / \ sigma и ν = (r - δ) / σ - σ / 2, c = γ ~ K / (γ ~ - 1). {\ Displaystyle \ nu = (r- \ delta) / \ sigma - \ sigma / 2, \ quad c = {\ tilde {\ gamma}} K / ({\ tilde {\ gamma}} - 1).}\ nu = (r- \ delta) / \ sigma - \ sigma / 2, \ quad c = {\ tilde {\ gamma}} K / ( {\ tilde {\ gamma}} - 1).

С другой стороны, когда срок годности Конечно, проблема связана с двумерной задачей со свободной границей без известного решения в замкнутой форме. Однако можно использовать различные численные методы. См. модель Блэка – Шоулза # Американские варианты для различных оценок методы здесь, а также Fugit для дискретного, дерева на основе, расчет оптимального времени для тренировки.

См. Также
Ссылки
Последняя правка сделана 2021-06-01 13:36:00
Содержание доступно по лицензии CC BY-SA 3.0 (если не указано иное).
Обратная связь: support@alphapedia.ru
Соглашение
О проекте