Вероятностное распределение экстремальных точек винеровского случайного процесса

редактировать

В математической теории вероятностей винеровский процесс, названный в честь Норберт Винер - это случайный процесс, используемый при моделировании различных явлений, включая броуновское движение и колебания финансовых рынков. Формула для условного распределения вероятностей экстремума винеровского процесса и набросок ее доказательства появляются в работе HJ Kusher (приложение 3, стр. 106), опубликованной в 1964 году. Подробное конструктивное доказательство появляется в работе Дарио Баллабио в 1978 году. Этот результат был разработан в рамках исследовательского проекта по алгоритмам байесовской оптимизации.

В некоторых задачах глобальной оптимизации аналитическое определение целевой функции неизвестно, и можно получить значения только в фиксированных точках. Существуют объективные функции, в которых стоимость оценки очень высока, например, когда оценка является результатом эксперимента или особенно обременительного измерения. В этих случаях поиск глобального экстремума (максимума или минимума) может выполняться с использованием методологии под названием «Байесовская оптимизация », которая стремится получить априори наилучший возможный результат с заранее определенным количеством оценок.. Таким образом, предполагается, что за пределами точек, в которых она уже была оценена, целевая функция имеет шаблон, который может быть представлен случайным процессом с соответствующими характеристиками. Случайный процесс берется в качестве модели целевой функции, предполагая, что распределение вероятностей его экстремумов дает лучшее представление об экстремумах целевой функции. В простейшем случае одномерной оптимизации, учитывая, что целевая функция была оценена в нескольких точках, возникает проблема выбора, в какой из идентифицированных таким образом интервалов более целесообразно инвестировать в дальнейшую оценку. Если в качестве модели целевой функции выбран винеровский случайный процесс, можно рассчитать распределение вероятностей экстремальных точек модели внутри каждого интервала, обусловленное известными значениями на границах интервала. Сравнение полученных распределений дает критерий выбора интервала, в котором процесс должен быть повторен. Значение вероятности определения интервала, в который попадает точка глобального экстремума целевой функции, может использоваться в качестве критерия остановки. Байесовская оптимизация не является эффективным методом точного поиска локальных экстремумов, поэтому после ограничения диапазона поиска, в зависимости от характеристик проблемы, можно использовать конкретный метод локальной оптимизации.

Содержание

1 Предложение
2 Конструктивное доказательство
3 Библиография
4 См. Также
5 Примечания
6 Ссылки

Предложение

Пусть $X (t) {\ displaystyle X (t)}$ $X (t)$ быть винеровским случайным процессом на интервале $[a, b] {\ displaystyle [a, b]}$ $[a, b]$ с начальным значением $X (a) = X a. {\ displaystyle X (a) = X_ {a}.}$ ${\ displaystyle X (a) = X_ {a}.}$

По определению винеровского процесса приращения имеют нормальное распределение:

для a ≤ t 1 < t 2 ≤ b, X ( t 2) − X ( t 1) ∼ N ( 0, σ 2 ( t 2 − t 1)). {\displaystyle {\text{for }}a\leq t_{1}

{\ displaystyle {\ text {for}} a \ leq t_ {1} <t_ {2} \ leq b, \ qquad X (t_ {2}) - Икс (t_ {1}) \ sim N (0, \ sigma ^ {2} (t_ {2} -t_ {1})).}

Пусть

F (Z) знак равно Pr (min a ≤ t ≤ b X (t) ≤ z ∣ X (b) = X b) {\ displaystyle F (z) = \ Pr (\ min _ {a \ leq t \ leq b) } X (t) \ leq z \ mid X (b) = X_ {b})}

{\ displaystyle F (z) = \ Pr (\ min _ {a \ leq t \ leq b} X (t) \ leq z \ mid X (b) = X_ {b}) }

быть кумулятивной функцией распределения вероятностей минимального значения $X (t) { \ displaystyle X (t)}$ ${\ displaystyle X (t)}$ функция на интервале $[a, b] {\ displaystyle [a, b]}$ ${\ displaystyle [a, b]}$ , обусловленная значением $X (b) = Х б. {\ displaystyle X (b) = X_ {b}.}$ ${\ displaystyle X (b) = X_ {b}.}$

Показано, что:

F (z) = {1 для z ≥ min {X a, X b}, exp ⁡ (- 2 ( z - Икс b) (z - Икс a) σ 2 (b - a)) для z < min ( X a, X b). {\displaystyle F(z)={\begin{cases}1{\text{for }}z\geq \min\{X_{a},X_{b}\},\\\exp \left(-2{\dfrac {(z-X_{b})(z-X_{a})}{\sigma ^{2}(b-a)}}\right){\text{for }}z<\min(X_{a},X_{b}).\end{cases}}}

{\ displaystyle F (z) = {\ begin {cases} 1 { \ text {for}} z \ geq \ min \ {X_ {a}, X_ {b} \}, \\\ exp \ left (-2 {\ dfrac {(z-X_ {b}) (z-X_ {a})} {\ sigma ^ {2} (ba)}} \ right) {\ text {for}} z <\ min (X_ {a}, X_ {b}). \ end {cases}} }

Конструктивное доказательство

Случай $z ≥ min (X a, X b) {\ displaystyle z \ geq \ min (X_ {a}, X_ {b})}$ ${\ displaystyle z \ geq \ min (X_ {a}, X_ {b})}$ является непосредственным следствием минимального определения, в дальнейшем он всегда будет предполагаться $z < min ( X a, X b) {\displaystyle z<\min(X_{a},X_{b})}$ ${\ displaystyle z <\ min (X_ {a}, X_ {b})}$ .

Предположим, $X (t) {\ displaystyle X (t)}$ $X (t)$ определяется конечным числом точек $tk ∈ [a, b], 0 ≤ k ≤ n, t 0 = a {\ displaystyle t_ { k} \ in [a, b], \ \ 0 \ leq k \ leq n, \ \ t_ {0} = a}$ ${\ displaystyle t_ {k} \ in [a, b], \ \ 0 \ leq k \ leq n, \ \ t_ {0} = a}$ .

Пусть $T n = def {tk, 0 ≤ k ≤ n,} {\ Displaystyle T_ {n} \ \ {\ overset {\ underset {\ mathrm {def}} {}} {=}} \ \ \ {t_ {k}, \ \ 0 \ leq k \ leq n, \} }$ ${\ displaystyle T_ {n} \ \ {\ overset {\ underset {\ mathrm {def}} {}} {=}} \ \ \ {t_ {k}, \ \ 0 \ leq k \ leq n, \}}$ путем изменения целого числа $n {\ displaystyle n}$ $n$ быть последовательностью наборов ${T n} {\ displaystyle \ {T_ {n} \}}$ ${\ displaystyle \ {T_ {n} \}}$ такая, что $T n ⊂ T n + 1 {\ displaystyle T_ {n} \ subset T_ {n + 1}}$ ${\ displaystyle T_ {n} \ subset T_ {n + 1}}$ и $⋃ n = 0 + ∞ Т N {\ Displaystyle \ bigcup _ {п = 0} ^ {+ \ infty } T_ {n}}$ ${\ displaystyle \ bigcup _ {n = 0} ^ {+ \ infty} T_ {n}}$ быть плотным множеством в $[a, b] {\ displaystyle [a, b]}$ $[a, b]$ ,

, следовательно, каждая окрестность каждой точки в $[a, b] {\ displaystyle [a, b]}$ $[a, b]$ содержит элемент одного из наборов $T n {\ displaystyle T_ {n}}$ $T_ {n}$ .

Пусть s $Δ z {\ displaystyle \ Delta z}$ ${\ displaystyle \ Delta z}$ будет действительным положительным числом такое, что $z + Δ z < min ( X a, X b). {\displaystyle z+\Delta z<\min(X_{a},X_{b}).}$ ${\ displaystyle z + \ Delta z <\ min (X_ {a}, X_ {b}).}$

Пусть событие $E {\ displaystyle E}$ $E$ определяется как: $E = def (min a ≤ t ≤ b X (t) < z + Δ z) {\displaystyle E\ \ {\overset {\underset {\mathrm {def} }{}}{=}}\ \ (\min _{a\leq t\leq b}X(t)$ ${\ displaystyle E \ \ {\ overset {\ underset {\ mathrm {def}} {}} {=}} \ \ (\ min _ {a \ leq t \ leq b} X (t) <z + \ Delta z)}$ $⟺ {\ displaystyle \ Longleftrightarrow}$ ${\ displaystyle \ Longleftrightarrow}$ $( ∃ t ∈ [a, b]: X (t) < z + Δ z) {\displaystyle (\exists \,t\in [a,b]:X(t)$ ${\ displaystyle (\ exists \, t \ in [a, b]: X (t) <z + \ Delta z)}$ .

Пусть $E n, n = 0, 1, 2,… {\ displaystyle E_ {n}, \ \ n = 0,1,2, \ ldots}$ ${\ displaystyle E_ {n}, \ \ n = 0,1,2, \ ldots}$ быть событиями, определенными как: $E n = def (∃ tk ∈ T n: z < X ( t k) < z + Δ z) {\displaystyle E_{n}\ \ {\overset {\underset {\mathrm {def} }{}}{=}}\ \ (\exists \,t_{k}\in T_{n}:z$ ${\ displaystyle E_ {n} \ \ {\ overset {\ underset {\ mathrm {def}} {}} {=}} \ \ (\ exists \, t_ {k} \ in T_ {n}: z <X (t_ {k}) <z + \ Delta z)}$ и пусть $ν {\ displaystyle \ nu}$ $\ nu$ быть первым k среди $tk ∈ T n {\ displaystyle t_ {k} \ in T_ {n}}$ ${\ displaystyle t_ {k} \ in T_ {n}}$ , которые определяют $E n {\ displaystyle E_ {n}}$ ${\ displaystyle E_ {n}}$ .

Поскольку $T n ⊂ T n + 1 {\ displaystyle T_ {n} \ subset T_ {n + 1}}$ ${\ displaystyle T_ {n} \ subset T_ {n + 1}}$ , очевидно, что $E n ⊂ E n + 1 {\ дис стиль игры E_ {n} \ subset E_ {n + 1}}$ ${\ displaystyle E_ {n} \ subset E_ {n + 1}}$ . Теперь равенство (2.1) будет доказано.

(2.1) $E = ⋃ n = 0 + ∞ E n {\ displaystyle \ \ \ \ E = \ bigcup _ {n = 0} ^ {+ \ infty} E_ {n}}$ ${\ displaystyle \ \ \ \ E = \ bigcup _ {n = 0} ^ {+ \ infty} E_ {n}}$

По $E n {\ displaystyle E_ {n}}$ ${\ displaystyle E_ {n}}$ определение событий, $∀ n E n ⇒ E {\ displaystyle \ forall \, n \ \ E_ {n} \ Rightarrow E}$ ${\ displaystyle \ forall \, n \ \ E_ {n} \ Rightarrow E}$ , следовательно, $⋃ n = 0 + ∞ E n ⊂ E {\ displaystyle \ bigcup _ {n = 0} ^ {+ \ infty} E_ {n} \ subset E}$ ${\ displaystyle \ bigcup _ {n = 0} ^ {+ \ infty} E_ {n} \ subset E}$ . Теперь будет проверено соотношение $E ⊂ ⋃ n = 0 + ∞ E n {\ displaystyle E \ subset \ bigcup _ {n = 0} ^ {+ \ infty} E_ {n}}$ ${\ displaystyle E \ subset \ bigcup _ {n = 0} ^ {+ \ infty} E_ {n}}$ следовательно, (2.1) будет доказано.

Определение $E {\ displaystyle E}$ $E$ , непрерывность $X (t) {\ displaystyle X (t)}$ $X (t)$ и из гипотезы $z < X a = X ( a) {\displaystyle z$ ${\ displaystyle z <X_ {a} = X (a)}$ следует, согласно теореме о промежуточном значении, $(∃ t ¯ ∈ [a, b]: z < X ( t ¯) < z + Δ z) {\displaystyle (\exists \,{\bar {t}}\in [a,b]:z$ ${\ displaystyle (\ exists \, {\ bar {t}} \ in [a, b]: z <X ({\ bar {t}}) <z + \ Delta z)}$ .

По непрерывности $X (t) {\ displaystyle X (t)}$ $X (t)$ и гипотеза о том, что $⋃ n = 0 + ∞ T n {\ displaystyle \ bigcup _ {n = 0} ^ {+ \ infty} T_ {n}}$ ${\ displaystyle \ bigcup _ {n = 0} ^ {+ \ infty} T_ {n}}$ плотно в $[a, b] {\ displaystyle [a, b]}$ $[a, b]$ , вычитается, что $∃ n ¯ {\ displaystyle \ exists \, {\ bar {n}}}$ ${\ displaystyle \ exists \, {\ bar {n}}}$ такой, что для $t ν ∈ T n ¯ {\ displaystyle t _ {\ nu} \ in T _ {\ bar {n}}}$ ${\ displaystyle t _ {\ nu} \ in T _ {\ bar {n}}}$ он должно быть $z < X ( t ν) < z + Δ z {\displaystyle z$ ${\ displaystyle z <X (t _ {\ nu}) <z + \ Delta z}$ ,

, следовательно, $E ⊂ E n ¯ ⊂ ⋃ n = 0 + ∞ E n {\ displaystyle E \ subset E _ {\ bar {n}} \ subset \ bigcup _ {n = 0} ^ {+ \ infty} E_ {n}}$ ${\ displaystyle E \ subset E _ {\ bar {n}} \ subset \ bigcup _ {n = 0} ^ {+ \ infty} E_ {n}}$ что означает (2.1).

(2.2) $P (E) = lim n → + ∞ P (E n) { \ Displaystyle \ \ \ \ P (E) = \ lim _ {n \ rightarrow + \ infty} P (E_ {n})}$ ${ \ Displaystyle \ \ \ \ P (E) = \ lim _ {n \ rightarrow + \ infty} P (E_ {n})}$

(2.2) вычитается из (2.1), учитывая, что $E n ⇒ E n + 1 {\ displa ystyle E_ {n} \ Rightarrow E_ {n + 1}}$ ${\ displaystyle E_ {n} \ Rightarrow E_ {n + 1}}$ подразумевает, что последовательность вероятностей $P (E n) {\ displaystyle P (E_ {n})}$ ${\ displaystyle P (E_ {n})}$ является монотонным неубывающим и, следовательно, сходится к своему верхнему пределу. Определение событий $E n {\ displaystyle E_ {n}}$ ${\ displaystyle E_ {n}}$ подразумевает $∀ n P (E n)>0 ⇒ P (E n) = P (E ν) {\ displaystyle \ forall n \ \ P (E_ {n})>0 \ Rightarrow P (E_ {n}) = P (E _ {\ nu})}$ $\forall n\ \ P(E_{n})>0 \ Rightarrow P (E_ {n}) = P (E _ {\ nu})$ и (2.2) подразумевает $P (E) = P (E ν) {\ displaystyle P (E) = P (E _ {\ nu})}$ ${\ displaystyle P (E) = P (E _ {\ nu})}$ .

Поскольку $X (t) {\ displaystyle X (t)}$ $X (t)$ имеет нормальное распределение, это, безусловно, $P (E)>0 {\ displaystyle P (E)>0}$ $P(E)>0$ . В дальнейшем всегда предполагается, что $n ≥ ν {\ displaystyle n \ geq \ nu}$ ${\ displa ystyle п \ geq \ nu}$ , поэтому $t ν {\ displaystyle t _ {\ nu}}$ ${\ displaystyle t _ {\ nu}}$ хорошо определено.

(2.3) $P (X (b) ⩽ - X b + 2 z) ⩽ P (X (b) - X (t ν) < − X b + z) {\displaystyle \ \ \ \ P(X(b)\leqslant -X_{b}+2z)\leqslant P(X(b)-X(t_{\nu })<-X_{b}+z)}$ ${\ displaystyle \ \ \ \ P (X (b) \ leqslant -X_ {b} + 2z) \ leqslant P (X (b) -X (t _ {\ nu}) <- X_ {b} + z)}$

Фактически, по определению $E n {\ displaystyle E_ {n}}$ ${\ displaystyle E_ {n}}$ это $z < X ( t ν) {\displaystyle z$ ${\ displaystyle z <X (t _ {\ nu})}$ , поэтому $(X (b) ⩽ - X b + 2 z) ⇒ (X (b) - X (t ν) < − X b + z) {\displaystyle (X(b)\leqslant -X_{b}+2z)\Rightarrow (X(b)-X(t_{\nu })<-X_{b}+z)}$ ${\ displaystyle (X (b) \ leqslant -X_ {b} + 2z) \ Rightarrow (X (b) -X (t _ {\ nu}) <- X_ {b} + z)}$ .

Аналогичным образом, поскольку по определению $E n {\ displaystyle E_ {n}}$ ${\ displaystyle E_ {n}}$ это $z < X ( t ν) {\displaystyle z$ ${\ displaystyle z <X (t _ {\ nu})}$ , (2.4) действительно:

(2,4) $п (Икс (b) - Икс (t ν)>Икс b - z) ⩽ P (X (b)>X b) {\ Displaystyle \ \ \ \ P (X (b) -X (t _ {\ nu})>X_ {b} -z) \ leqslant P (X (b)>X_ {b})}$ $\ \ \ \ P(X(b)-X(t_{\nu })>X_ {b} -z) \ leqslant P ( X (b)>X_ {b})$

(2.5) $P (X (b) - X (t ν) < − X b + z) = P ( X ( b) − X ( t ν)>X b - z) {\ displaystyle \ \ \ \ P (X (b) -X ( t _ {\ nu}) <-X_{b}+z)=P(X(b)-X(t_{\nu })>X_ {b} -z)}$ $\ \ \ \ P(X(b)-X(t_{\nu })<-X_{b}+z)=P(X(b)-X(t_{\nu })>X_ {b} -z)$

Вышесказанное объясняется тем, что случайная величина $(X (b) - X (t ν)) ∼ N (∅; σ 2 (б - t ν)) {\ Displaystyle (X (b) -X (t _ {\ nu})) \ Thicksim N (\ varnothing; \ \ \ sigma ^ {2} (b-t _ {\ nu}))}$ ${\ displaystyle ( Икс (б) -Х (т _ {\ ню})) \ толстый N (\ varnothing; \ \ \ sigma ^ {2} (б-т _ {\ ню}))}$ имеет симметричную плотность вероятности по сравнению со своим средним значением, равным нулю.

Применяя последовательно отношения (2.3), (2.5) и (2.4), мы получаем (2.6) :

(2,6) $п (Икс (b) ⩽ - Икс b + 2 z) ⩽ п (X (b)>Икс b) {\ Displaystyle \ \ \ \ P (X (b) \ leqslant -X_ {b} + 2z) \ leqslant P (X (b)>X_ {b})}$ $\ \ \ \ P(X(b)\leqslant -X_{b}+2z)\leqslant P(X(b)>X_ {b})$

С помощью той же процедуры, что и для получения (2.3), (2.4) и (2.5), воспользовавшись на этот раз соотношением $X (t ν) < z + Δ z {\displaystyle X(t_{\nu })$ ${\ displaystyle X (t_ {\ nu}) <z + \ Delta z}$ , мы получим (2.7) :

(2.7) $п (Икс (b)>Икс b) ⩽ п (Икс (b) - Икс (t ν)>Икс b - z - Δ z) {\ Displaystyle \ \ \ \ P (X (b)>X_ {b}) \ leqslant P (X (b) -X (t _ {\ nu})>X_ {b} -z- \ Delta z) \ \}$ $\ \ \ \ P(X(b)>X_ {b}) \ leqslant P (X (b) -X (t _ {\ nu})>X_ {b} -z- \ Delta z) \ \$ $= P (X (b) - X (t ν) < − X b + z + Δ z) ⩽ P ( X ( b) < − X b + 2 z + 2 Δ z) {\displaystyle =\ \ P(X(b)-X(t_{\nu })<-X_{b}+z+\Delta z)\leqslant P(X(b)<-X_{b}+2z+2\Delta z)}$ ${\ displaystyle = \ \ P (X (b) -X (t _ {\ nu}) <- X_ {b} + z + \ Delta z) \ leqslant P (Икс (b) <- X_ {b} + 2z + 2 \ Delta z)}$

Применяя последовательно (2.6) и (2.7), получаем:

(2.8) $П (Икс (b) ⩽ - Икс b + 2 z) ⩽ п (Икс (b)>Икс b) {\ displaystyle P (X (b) \ leqslant -X_ {b} + 2z) \ leqslant P (X ( б)>X_ {b})}$ $P(X(b)\leqslant -X_{b}+2z)\leqslant P(X(b)>X_ {b})$ $⩽ P (X (b) < − X b + 2 z + 2 Δ z) {\displaystyle \leqslant P(X(b)<-X_{b}+2z+2\Delta z)}$ ${\ displaystyle \ leqslant P ( Икс (b) <- X_ {b} + 2z + 2 \ Delta z)}$

Из $X b>z + Δ z>z {\ displaystyle X_ {b}>z + \ Delta z>z}$ $X_{b}>z + \ Delta z>z$ , учитывая непрерывность $X (t) {\ displaystyle X (t)}$ ${\ displaystyle X (t)}$ и теорему о промежуточном значении, мы получаем $X (b)>Икс b>z + Δ z>z ⇒ E n {\ displaystyle X (b)>X_ {b}>z + \ Delta z>z \ Rightarrow E_ {n}}$ $X(b)>X_ { b}>z + \ Delta z>z \ Rightarrow E_ {n}$ ,

, что означает $P (X (b)>X b) = P (E n, X (b)>X b) {\ displaystyle P (X (b)>X_ {b}) = P (E_ {n}, X (b)>X_ {b})}$ $P(X(b)>X_ {b}) = P (E_ {n}, X (b)>X_ {b})$ .

Замена вышеуказанного в (2.8) и переход к пределам: $lim n → + ∞ E n (Δ z) → E (Δ z) {\ displaystyle \ lim _ {n \ rightarrow + \ \ infty} \ \ E_ {n} (\ Delta z) \ rightarrow E (\ Delta z)}$ ${\ displaystyle \ lim _ {n \ rightarrow + \ \ infty} \ \ E_ {n} (\ Delta z) \ rightarrow E (\ Delta z)}$ и для $Δ z → 0 {\ displaystyle \ Delta z \ rightarrow 0}$ ${\ displaystyle \ Delta z \ rightarrow 0}$ , событие $E (Δ z) {\ displaystyle E (\ Delta z)}$ ${\ displaystyle E (\ Delta z)}$ сходится к $min a ≤ t ≤ b X ( t) ⩽ z {\ displaystyle \ min _ {a \ leq t \ leq b} X (t) \ leqslant z}$ ${\ displaystyle \ min _ { a \ leq t \ leq b} Икс (t) \ leqslant z}$

(2.9) $P (X (b) ⩽ - X b + 2 Z) знак равно {\ Displaystyle \ \ \ \ P (X (b) \ leqslant -X_ {b} + 2z) =}$ ${\ Displaystyle \ \ \ \ P (X (b) \ leqslant -X_ {b} + 2z) =}$ $P (min a ≤ t ≤ b X (t) ⩽ z, X (b)>Икс б) {\ Displaystyle Р (\ мин _ {а \ Leq t \ Leq b} Икс (т) \ leqslant z, \ \ X (b)>X_ {b})}$ $P(\min _{a\leq t\leq b}X(t)\leqslant z,\ \ X(b)>X_ {b})$

$∀ d X b>0 {\ displaystyle \ forall \, dX_ {b}>0}$ $\forall \,dX_{b}>0$ , заменив $(X b) {\ displaystyle (X_ {b})}$ ${\ displaystyle (X_ {b})}$ на $(X b - d X b) {\ displaystyle (X_ {b}) -dX_ {b})}$ ${\ displaystyle (X_ {b} -dX_ {b})}$ в (2.9) мы получаем эквивалентное соотношение:

(2.10) $P (X (b) ⩽ - X б + 2 Z + d Икс б) знак равно {\ Displaystyle \ \ \ \ P (X (b) \ leqslant -X_ {b} + 2z + dX_ {b}) =}$ ${\ displaystyle \ \ \ \ P (X (b) \ leqslant -X_ {b} + 2z + dX_ {b) }) =}$ $P (минимум a ≤ t ≤ б Икс (T) ⩽ Z, Икс (б)>Икс б - d Икс б) {\ Displaystyle Р (\ мин _ {а \ Leq т \ Leq б} Х (т) \ leqslant г, \ \ X (б)>X_ {b} -dX_ {b})}$ $P(\min _{a\leq t\leq b}X(t)\leqslant z,\ \ X(b)>X_ {b} -dX_ {b})$

Применение теоремы Байеса к совместному событию $(min a ≤ t ≤ b X (t) ⩽ z, X b - d X b < X ( b) ⩽ X b) {\displaystyle (\min _{a\leq t\leq b}X(t)\leqslant z,\ \ X_{b}-dX_{b}$ ${\ displaystyle (\ min _ {a \ leq t \ leq b} X (t) \ leqslant z, \ \ X_ {b} -dX_ {b} <X (b) \ leqslant X_ {b})}$

(2.11) $P (min a ≤ t ≤ b X (t) ⩽ z ∣ X b - d X b < X ( b) ⩽ X b) = {\displaystyle \ \ \ \ P(\min _{a\leq t\leq b}X(t)\leqslant z\mid X_{b}-dX_{b}$ ${\ displaystyle \ \ \ \ P (\ min _ {a \ leq t \ leq b} X (t) \ leqslant z \ mid X_ {b} -dX_ {b} <Икс (b) \ leqslant X_ {b}) =}$ $P (min a ≤ t ≤ b X (t) ⩽ z, X b - d X b < X ( b) ⩽ X b) {\displaystyle P(\min _{a\leq t\leq b}X(t)\leqslant z,\ \ X_{b}-dX_{b}$ ${\ displaystyle P (\ min _ {a \ leq t \ leq b} X (t) \ leqslant z, \ \ X_ {b} -dX_ {b} <X (b) \ leqslant X_ {b})}$ $/ P (X b - d X b < X ( b) ⩽ X b) {\displaystyle /\ \ P(X_{b}-dX_{b}$ ${\ displaystyle / \ \ P (X_ {b} -dX_ {b} <X (b) \ leqslant X_ {b})}$

) Пусть $B = def {X (b) ≤ X b}, C = def {X b - d X b < X ( b) ≤ X b }, D = d e f { X ( b)>X b}, A = def {min a ≤ t ≤ б Икс (t) ⩽ z} {\ Displaystyle B \ {\ overset {\ underset {\ mathrm {def}} {}} {=}} \ \ {X (b) \ leq X_ {b} \}, \ C \ {\ overset {\ underset {\ mathrm {def}} {}} {=}} \ \ {X_ {b} -dX_ {b} X_ {b} \}, \ A \ { \ overset {\ underset {\ mathrm {def}} {}} {=}} \ \ \ {\ min _ {a \ leq t \ leq b} X (t) \ leqslant z \}}$ $B\ {\overset {\underset {\mathrm {def} }{}}{=}}\ \{X(b)\leq X_{b}\},\ C\ {\overset {\underset {\mathrm {def} }{}}{=}}\ \{X_{b}-dX_{b}<X(b)\leq X_{b}\},\ D\ {\overset {\underset {\mathrm {def} }{}}{=}}\ \{X(b)>X_ { b} \}, \ A \ {\ overset {\ underset {\ mathrm {def}} {}} {=}} \ \ \ {\ min _ {a \ leq t \ leq b} X (t) \ leqslant z \}$ ; из этих определений следует:

$∁ D = B ∪ C ⇒ P (A, ∁ D) = P (A, B ∪ C) = P (A, B) + P (A, C) ⇒ P (A, С) знак равно п (A, ∁ D) - п (A, B) {\ Displaystyle \ дополнение D = B \ чашка C \ Rightarrow \ P (A, \ дополнение D) = P (A, B \ чашка C) = P (A, B) + P (A, C) \ Rightarrow P (A, C) = P (A, \ дополнение D) -P (A, B)}$ ${\ displaystyle \ complement D = B \ cup C \ Rightarrow \ P (A, \ complement D) = P (A, B \ cup C) = P (A, В) + п (A, C) \ Rightarrow P (A, C) = P (A, \ дополнение D) -P (A, B)}$

(2.12) $П (A, C) знак равно п (A, ∁ D) - п (A, B) {\ Displaystyle \ \ \ \ P (A, C) = P (A, \ дополнение D) -P (A, B)}$ ${\ displaystyle \ \ \ \ P (A, C) = P (A, \ дополнение D) -P (A, B)}$

Подставляя (2.12) в (2.11), мы получаем эквивалент:

(2.13) $P (min a ≤ t ≤ b X (t) ⩽ z ∣ X b - d X b < X ( b) ⩽ X b) = ( P ( min a ⩽ t ⩽ b X ( t) ≤ z, X ( b)>X b - d X b) - P (min a ⩽ t ⩽ b X (t) ≤ z, X (b)>X b)) / P (X b - d X b < X ( b) ⩽ X b) {\displaystyle P(\min _{a\leq t\leq b}X(t)\leqslant z\mid X_{b}-dX_{b} X_ {b} -dX_ {b}) - P (\ min _ {a \ leqslant t \ leqslant b} X (t) \ leq z, \ \ X (b)>X_ {b})) \ \ / \ \ P (X_ {b} -dX_ {b}$ $P(\min _{a\leq t\leq b}X(t)\leqslant z\mid X_{b}-dX_{b}<X(b)\leqslant X_{b})=(P(\min _{a\leqslant t\leqslant b}X(t)\leq z,\ \ X(b)>X_ {b} -dX_ {b}) - P (\ min _ {a \ leqslant t \ leqslant b} X (t) \ leq z, \ \ X (b)>X_ {b})) \ \ / \ \ P (X_ {b} -dX_ {b} <X(b)\leqslant X_{b})$

Подстановка (2.9) и (2.10) в (2.13):

(2.14) $P (min a ≤ t ≤ b X (t) ⩽ z ∣ X б - г X б < X ( b) ⩽ X b) = {\displaystyle \ \ \ \ P(\min _{a\leq t\leq b}X(t)\leqslant z\mid X_{b}-dX_{b}$ ${\ displaystyle \ \ \ \ P (\ min _ {a \ leq t \ leq b} X (t) \ leqslant z \ mid X_ {b} -dX_ {b} <Икс (b) \ leqslant X_ {b}) =}$ $(П (Икс (b) ⩽ - Икс b + 2 z + d Икс б) - п (X (b) ⩽ - X b + 2 z) {\ displaystyle (P (X (b) \ leqslant -X_ { b} + 2z + dX_ {b}) - P (X (b) \ leqslant -X_ {b} + 2z)}$ ${\ displaystyle (P (X (b) \ leqslant -X_ {b} + 2z + dX_ {b}) - P (X (b) \ leqslant -X_ {b} + 2z)}$ $/ P (X b - d X b < X ( b) ⩽ X b) {\displaystyle /\ \ P(X_{b}-dX_{b}$ ${\ displaystyle / \ \ P (X_ {b} -dX_ {b} <X (b) \ leqslant X_ {b})}$

Можно заметить, что в второй член (2.14) представляет собой распределение вероятностей случайной величины $X (b) {\ displaystyle X (b)}$ ${\ displaystyle X (b)}$ , нормальное со средним значением $X a {\ displaystyle X_ {a}}$ $X_ {a}$ e variance $σ 2 (b - a) {\ displaystyle \ sigma ^ {2} (ba)}$ ${\ displaystyle \ sigma ^ {2} (ba)}$ .

Реализации $X b { \ displaystyle X_ {b}}$ ${\ displaystyle X_ {b}}$ и $- X b + 2 z {\ displaystyle -X_ {b} + 2z}$ ${\ displaystyle -X_ {b} + 2z}$ случайной величины $X (b) {\ displaystyle X (b)}$ ${\ displaystyle X (b)}$ соответствуют соответственно плотностям вероятности:

(2.15) $P (X b) d X b = 1 σ 2 π (b - a) ехр ⁡ (- 1 2 (Икс б - Икс a) 2 σ 2 (b - a)) d Икс b {\ displaystyle \ \ \ \ P (X_ {b}) \, dX_ {b} = {\ frac {1} {\ sigma {\ sqrt {2 \ pi (ba)}}}} \ exp {\ biggl (} - {\ frac {1} {2}} {\ frac {(X_ {b} -X_ { a}) ^ {2}} {\ sigma ^ {2} (ba)}} {\ biggr)} \, dX_ {b}}$ ${\ Displaystyle \ \ \ \ P (X_ {b}) \, dX_ {b} = {\ frac {1} {\ sigma {\ sqrt {2 \ pi (ba)}}}} \ exp {\ biggl (} - {\ frac {1} {2}} {\ frac {(X_ {b} -X_ {a}) ^ {2}} {\ sigma ^ {2} (ba)}} {\ biggr)} \, dX_ {b}}$

(2.16) $P (- X b + 2 z) d X b = 1 σ 2 π (b - a) exp ⁡ (- 1 2 (- X b + 2 z - X a) 2 σ 2 (b - a)) d Икс б {\ Displaystyle \ \ \ \ P (-X_ {b} + 2z) \, dX_ {b} = {\ frac {1} {\ sigma {\ sqrt {2 \ pi (ba)}}}} \ exp {\ biggl (} - {\ frac {1} {2}} {\ frac {(-X_ {b} + 2z-X_ {a}) ^ {2}} {\ sigma ^ {2} (ba)}} {\ biggr)} \, dX_ {b}}$ ${\ displaystyle \ \ \ \ P (-X_ {b} + 2z) \, dX_ {b} = {\ frac {1} {\ сигма {\ sqrt {2 \ pi (ba)}}}} \ exp {\ biggl (} - {\ frac {1} {2}} {\ frac {(-X_ {b} + 2z-X_ {a}) ^ {2}} { \ sigma ^ {2} (ba)}} {\ biggr)} \, dX_ {b}}$

Подставляя (2.15) e (2.16) в (2.14) и принимая предел для $d X b → 0 {\ displaystyle dX_ {b} \ rightarrow 0}$ ${\ displaystyle dX_ {b} \ rightarrow 0}$ тезис доказан:

$F (z) = P (min a ≤ t ≤ b X (t) ≤ z | Икс (б) знак равно Икс б) знак равно {\ Displaystyle F (г) = п (\ мин _ {а \ Leq т \ Leq b} Х (т) \ Leq г \ \ | \ \ X (b) = X_ { b}) =}$ ${\ displaystyle F (z) = P (\ min _ {a \ leq t \ leq b} X (t) \ Leq Z \ \ | \ \ X (b) = X_ {b}) =}$

$= 1 σ 2 π (b - a) exp ⁡ (- 1 2 (- X b + 2 z - X a) 2 σ 2 (b - a)) d X b {\ displaystyle = {\ frac {1} {\ sigma {\ sqrt {2 \ pi (ba)}}}} \ exp {\ biggl (} - {\ frac {1} {2}} {\ frac {(-X_ { b} + 2z-X_ {a}) ^ {2}} {\ sigma ^ {2} (ba)}} {\ biggr)} \, dX_ {b}}$ ${\ displaystyle = {\ frac {1} {\ sigma {\ sqrt {2 \ pi (ba)}}}} \ exp {\ biggl (} - {\ frac {1} {2}} {\ frac {(-X_ {b} + 2z-X_ {a}) ^ {2}} {\ sigma ^ {2} (ba)}} {\ biggr)} \, dX_ {b}}$ $╱ 1 σ 2 π (b - а) ехр ⁡ (- 1 2 (Икс б - Икс а) 2 σ 2 (б - а)) d Икс б = {\ Displaystyle \ \ \ diagup \ \ {\ frac {1} {\ sigma {\ sqrt { 2 \ pi (ba)}}}} \ exp {\ biggl (} - {\ frac {1} {2}} {\ frac {(X_ {b} -X_ {a}) ^ {2}} {\ сигма ^ {2} (ba)}} {\ biggr)} \, dX_ {b} =}$ ${\ displaystyle \ \ \ diagup \ \ {\ frac {1} {\ sigma {\ sqrt {2 \ pi (ba)}}}} \ exp {\ biggl (} - {\ frac {1} {2}} {\ frac { (X_ {b} -X_ {a}) ^ {2}} {\ sigma ^ {2} (ba)}} {\ biggr)} \, dX_ {b} =}$

$= exp ⁡ (- 1 2 (- X b + 2 z - X a) 2 - (X b - Икс a) 2 σ 2 (b - a)) = {\ displaystyle = \ exp {\ biggl (} - {\ frac {1} {2}} {\ frac {(-X_ {b} + 2z-X_ { a}) ^ {2} - (X_ {b} -X_ {a}) ^ {2}} {\ sigma ^ {2} (ba)}} {\ biggr)} =}$ ${\ displaystyle = \ exp {\ biggl (} - {\ frac {1} {2}} {\ frac {(-X_ {b} + 2z-X_ { a}) ^ {2} - (X_ {b} -X_ {a}) ^ {2}} {\ sigma ^ {2} (ba)}} {\ biggr)} =}$ $exp ⁡ (- 2 (г - Икс б) (г - Икс а) σ 2 (б - а)) {\ Displaystyle \ \ \ ехр {\ biggl (} -2 \ \ {\ гидроразрыва {(г-Х_ {Ь}) ( z-X_ {a})} {\ sigma ^ {2} (ba)}} {\ biggr)}}$ ${\ displaystyle \ \ \ exp {\ biggl (} -2 \ \ {\ frac {(z-X_ {b}) ( z-X_ {a})} {\ sigma ^ {2} (ba)}} {\ biggr)}}$

Библиография

Универсальная стохастическая модель af Функция неизвестной и изменяющейся во времени формы - Гарольд Дж. Кушнер - Журнал математического анализа и приложений Том 5, выпуск 1, август 1962 г., страницы 150-167.
Применение байесовских методов для поиска экстремума - Дж. Моцкус, Дж. Тиесис, А. Зилинскас - Конгресс ИФИП 1977 г., 8–12 августа, Торонто

См. Также

Примечания

Ссылки

^ H. Дж. Кушнер, "Новый метод определения точки максимума произвольной многопиковой кривой в присутствии шума", J. Basic Eng 86 (1), 97–106 (1 марта 1964 г.).
^Дарио Баллабио, «Una nuova classe di algoritmi stocastici per l'ottimizzazione globale» (Новый класс стохастических алгоритмов для глобальной оптимизации), Миланский университет, Институт математики, докторская диссертация представлена 12 июля 1978 г., стр. 29 –33.
^Янош Д. Пинтер, Глобальная оптимизация в действии: непрерывная и липшицевая оптимизация, Springer Science Business Media 1996, стр. 57.