Выпуклая функция

Выпуклая функция на интервале. вещественная функция с секущей линией между точками над самим графиком Функция (в черный) является выпуклым, если и только если область над его графиком (зеленым) является выпуклым множеством. График двумерной выпуклой функции x + xy + y.

В математике, вещественная функция, определенная на n-мерном интервале, называется выпуклой, если отрезок линии между любыми двумя точками на графике функции лежит над графиком между двумя точками. Эквивалентно функция является выпуклой, если ее эпиграф (набор точек на графике функции или над ним) является выпуклым множеством. Дважды дифференцируемая функция одной переменной является выпуклой тогда и только тогда, когда ее вторая производная неотрицательна на всей ее области определения. Хорошо известные примеры выпуклых функций одной переменной включают функцию возведения в квадрат $x\; 2\; \{\backslash \; displaystyle\; x\; ^\; \{2\}\}$и экспоненциальную функцию $пример\; \{\backslash \; displaystyle\; e\; ^\; \{x\}\}$. Проще говоря, выпуклая функция относится к функции, которая имеет форму чашки $\cup \; \{\backslash \; displaystyle\; \backslash \; cup\}$, а вогнутая функция имеет форму of a cap $\cap \; \{\backslash \; displaystyle\; \backslash \; cap\}$.

Выпуклые функции играют важную роль во многих областях математики. Они особенно важны при изучении задач оптимизации, где они отличаются рядом удобных свойств. Например, строго выпуклая функция на открытом множестве имеет не более одного минимума. Даже в бесконечномерных пространствах при подходящих дополнительных гипотезах выпуклые функции продолжают удовлетворять таким свойствам, и в результате они являются наиболее хорошо понятыми функционалами в вариационном исчислении. В теории вероятностей выпуклая функция, применяемая к ожидаемому значению случайной величины, всегда ограничена сверху ожидаемым значением выпуклой функции случайной величины.. Этот результат, известный как неравенство Йенсена, может использоваться для вывода неравенств, таких как неравенство среднего арифметического и геометрического и неравенство Гёльдера.

Содержание

• 1 Выпуклость вниз Выпуклость вверх
• 2 Определение
• 3 Свойства
  • 3.1 Функции одной переменной
  • 3.2 Функции нескольких переменных
• 4 Операции, сохраняющие выпуклость
• 5 Сильно выпуклые функции
  • 5.1 Равномерно выпуклые функции
• 6 Примеры
  • 6.1 Функции одной переменной
  • 6.2 Функции n переменных
• 7 См. также
• 8 Примечания
• 9 Ссылки
• 10 Внешние ссылки

Выпуклость вниз Выпуклость вверх

В учебниках по математике начального уровня термин «выпуклый» часто объединяется с противоположным термином вогнутый, называя «вогнутую функцию» «выпуклой вниз». Точно так же «вогнутая» функция называется «выпуклой вверх», чтобы отличать ее от «выпуклой вниз». Однако использование модификаторов ключевых слов «вверх» и «вниз» не повсеместно используется в области математики и в основном существует для того, чтобы не запутать учащихся дополнительным термином для обозначения вогнутости.

Если термин «выпуклый» используется без ключевого слова «вверх» или «вниз», то он относится строго к чашеобразной диаграмме $\cup \; \{\backslash \; displaystyle\; \backslash \; cup\}$. (Например, неравенство Дженсена относится к неравенству, включающему выпуклую функцию, и не упоминает слова «выпуклый вверх» или «выпуклый вниз».)

Определение

Пусть $X\; \{\backslash \; displaystyle\; X\}$будет выпуклым множеством в реальном векторном пространстве и пусть $f:\; X\; \to \; R\; \{\backslash \; displaystyle\; f:\; X\; \backslash \; rightarrow\; \backslash \; mathbb\; \{R\}\}$- функция.

• $f\; \{\backslash \; displaystyle\; f\}$называется выпуклым, если:

$\forall \; x\; 1,\; x\; 2\; \in \; X,\; \forall \; t\; \in \; [0,\; 1]:\; f\; (tx\; 1\; +\; (1\; -\; T)\; Икс\; 2)\; \le \; TF\; (Икс\; 1)\; +\; (1\; -\; T)\; F\; (Икс\; 2)\; \{\backslash \; Displaystyle\; \backslash \; forall\; x\_\; \{1\},\; x\_\; \{2\}\; \backslash \; in\; X,\; \backslash \; forall\; t\; \backslash \; in\; [0,1]:\; \backslash \; qquad\; f\; (tx\_\; \{1\}\; +\; (1-t)\; x\_\; \{2\})\; \backslash \; leq\; tf\; (x\_\; \{1\})\; +\; (1-t)\; f\; (x\_\; \{2\})\}$

• $f\; \{\backslash \; displaystyle\; f\}$называется строго выпуклым, если:

• Функция $f\; \{\backslash \; displaystyle\; f\}$называется (строго) вогнутой, если $-\; f\; \{\; \backslash \; displaystyle\; -f\}$является (строго) выпуклым.

Свойства

Многие свойства выпуклых функций имеют такую ​​же простую формулировку для функций многих переменных, как и для функций одной переменной. См. Ниже свойства для многих переменных, так как некоторые из них не указаны для функций одной переменной.

Функции одной переменной

• Предположим, что $f\; \{\backslash \; displaystyle\; f\}$является функцией одной реальной переменной, определенной на интервале, и пусть

$р\; (Икс\; 1,\; Икс\; 2)\; =\; е\; (Икс\; 2)\; -\; е\; (Икс\; 1)\; Икс\; 2\; -\; Икс\; 1\; \{\backslash \; Displaystyle\; R\; (x\_\; \{1\},\; x\_\; \{2\})\; =\; \{\backslash \; frac\; \{f\; (x\_\; \{2\})\; -\; f\; (x\_\; \{1\})\}\; \{x\_\; \{2\}\; -x\_\; \{1\}\}\}\}$

(обратите внимание, что R (x 1, x 2) - наклон фиолетовой линии на приведенном выше рисунке; ​​функция R симметрична в (x 1, x 2)). $f\; \{\backslash \; displaystyle\; f\}$является выпуклым тогда и только тогда, когда R (x 1, x 2) является монотонно неубывающим в x 1 для каждого фиксированного x 2 (или наоборот). Эта характеристика выпуклости весьма полезна для доказательства следующих результатов.

• Выпуклая функция $f\; \{\backslash \; displaystyle\; f\}$одной действительной переменной, определенной на некотором открытом интервале C является непрерывным на C. $f\; \{\backslash \; displaystyle\; f\}$допускает левую и правую производные, и они являются монотонно неубывающими. Как следствие, $f\; \{\backslash \; displaystyle\; f\}$является дифференцируемым на всех, но не более счетном количестве точек, множество, на котором $f\; \{\backslash \; displaystyle\; f\}$недифференцируемый, но может быть плотным. Если C закрыт, то $f\; \{\backslash \; displaystyle\; f\}$может не быть непрерывным в конечных точках C (пример показан в разделе примеров).
• Дифференцируемая функция одна переменная является выпуклой на интервале тогда и только тогда, когда ее производная является монотонно неубывающей на этом интервале. Если функция является дифференцируемой и выпуклой, то она также непрерывно дифференцируема.
• A дифференцируемая функция одной переменной является выпуклой на интервале тогда и только тогда, когда ее график лежит выше всех ее касательных :

$f\; (x)\; \ge \; f\; (y)\; +\; f\; \prime \; (y)\; (\; x\; -\; y)\; \{\backslash \; displaystyle\; f\; (x)\; \backslash \; geq\; f\; (y)\; +\; f\; \text{'}(y)\; (xy)\}$

для всех x и y в интервале.

• Дважды дифференцируемая функция одной переменной есть выпуклая на интервале тогда и только тогда, когда ее вторая производная неотрицательна; это дает практический тест на выпуклость. Визуально дважды дифференцируемая выпуклая функция "изгибается вверх" без каких-либо изгибов в другую сторону точки перегиба ). Если его вторая производная положительна во всех точках, тогда функция строго выпуклая, но обратное не выполняется. Например, вторая производная от f (x) = x равна f ′ ′ (x) = 12x, которая равна нулю при x = 0, но x строго выпуклый.
• Если $f\; \{\backslash \; displaystyle\; f\}$- выпуклая функция одной действительной переменной, а $f\; (0)\; \le \; 0\; \{\backslash \; displaystyle\; f\; (0)\; \backslash \; leq\; 0\}$, тогда $f\; \{\backslash \; displaystyle\; f\}$- это супераддитив на положительных вещественных числах.

Доказательство. Так как $f\; \{\backslash \; displaystyle\; f\}$выпукло, положив y = 0, имеем

$f\; (tx)\; =\; f\; (tx\; +\; (1\; -\; t)\; \cdot \; 0)\; \le \; tf\; (x)\; +\; (1\; -\; t)\; f\; (0)\; \le \; tf\; (x)\; \forall \; T\; \in \; [0,\; 1]\; \{\backslash \; Displaystyle\; f\; (tx)\; =\; f\; (tx\; +\; (1-t)\; \backslash \; cdot\; 0)\; \backslash \; leq\; tf\; (x)\; +\; (1-t)\; f\; (0)\; \backslash \; leq\; tf\; (x),\; \backslash \; quad\; \backslash \; forall\; t\; \backslash \; in\; [0,1]\}$

Отсюда имеем:

$f\; (a)\; +\; f\; (b)\; =\; f\; ((a\; +\; b)\; aa\; +\; b)\; +\; f\; (\; (a\; +\; b)\; ba\; +\; b)\; \le \; aa\; +\; bf\; (a\; +\; b)\; +\; ba\; +\; bf\; (a\; +\; b)\; =\; f\; (a\; +\; b)\; \{\backslash \; displaystyle\; f\; (a)\; +\; f\; (b)\; =\; f\; \backslash \; left\; ((a\; +\; b)\; \{\backslash \; frac\; \{a\}\; \{a\; +\; b\}\}\; \backslash \; right)\; +\; f\; \backslash \; left\; ((a\; +\; b)\; \{\backslash \; frac\; \{b\}\; \{a\; +\; b\}\}\; \backslash \; right)\; \backslash \; leq\; \{\backslash \; frac\; \{a\}\; \{a\; +\; b\}\}\; f\; (a\; +\; b)\; +\; \{\backslash \; frac\; \{b\}\; \{a\; +\; b\}\}\; f\; (a\; +\; b)\; =\; f\; (a\; +\; b)\}$

• Функция является средней точкой выпуклый на n интервал C, если $f\; (x)\; \ge \; f\; (y)\; +\; f\; \prime \; (y)\; (x\; -\; y)\; \{\backslash \; displaystyle\; f\; (x)\; \backslash \; geq\; f\; (y)\; +\; f\; \text{'}(y)\; (xy)\}$

$\forall \; Икс\; 1,\; Икс\; 2\; \in \; С:\; е\; (Икс\; 1\; +\; Икс\; 2\; 2)\; \le \; F\; (Икс\; 1)\; +\; F\; (Икс\; 2)\; 2\; \{\backslash \; Displaystyle\; \backslash \; forall\; x\_\; \{1\},\; x\_\; \{2\}\; \backslash \; in\; C:\; \backslash \; qquad\; f\; \backslash \; left\; (\{\backslash \; frac\; \{x\_\; \{1\}\; +\; x\_\; \{2\}\}\; \{2\}\}\; \backslash \; right)\; \backslash \; leq\; \{\backslash \; frac\; \{f\; (x\_\; \{1\})\; +\; f\; (x\_\; \{2\})\; \}\; \{2\}\}\}$

Это условие лишь немного слабее выпуклости. Например, вещественнозначная измеримая по Лебегу функция, выпуклая в середине, является выпуклой: это теорема из Серпинского. В частности, непрерывная функция, которая является выпуклой в средней точке, будет выпуклой.

Функции нескольких переменных

• Функция $f\; \{\backslash \; displaystyle\; f\}$является выпуклой тогда и только тогда, когда ее эпиграф $\{(x,\; \mu ):\; \mu \; \ge \; f\; (x)\}\; \{\backslash \; displaystyle\; \backslash \; \{(x,\; \backslash \; mu)\; \backslash ,:\; \backslash ,\; \backslash \; mu\; \backslash \; geq\; f\; (x)\; \backslash \}\}$- выпуклое множество.
• Дифференцируемая функция $f\; \{\backslash \; displaystyle\; f\}$, определенная в выпуклой области, является выпуклой тогда и только тогда, когда $f\; (\; Икс)\; \ge \; е\; (Y)\; +\; \nabla \; е\; (Y)\; \cdot \; (Икс\; -\; Y)\; \{\backslash \; Displaystyle\; F\; (х)\; \backslash \; GEQ\; F\; (Y)\; +\; \backslash \; набла\; F\; (Y)\; \backslash \; CDOT\; (ху)\}$выполняется для всех $x,\; y\; \{\backslash \; displaystyle\; x,\; y\}$в области.
• Дважды дифференцируемая функция нескольких переменных является выпуклой на выпуклом множестве тогда и только тогда, когда его матрица Гессе вторых частных производных является положительно полуопределенной внутри выпуклого множества.
• Для выпуклой функции $f,\; \{\backslash \; displaystyle\; f,\}$подуровень устанавливает {x | f (x) < a} and {x | f(x) ≤ a} with a ∈ R- выпуклые множества. Функция, которая удовлетворяет этому свойству, называется квазивыпуклой функцией и может не быть выпуклой функцией.
• Следовательно, набор глобальных минимизаторов выпуклой функции $f\; \{\backslash \; displaystyle\; f\}$- выпуклый набор: $argmin\; f\; \{\backslash \; displaystyle\; \{\backslash \; operatorname\; \{argmin\}\}\; \backslash ,\; f\}$- выпуклый.
• Любой локальный минимум выпуклой функции также является глобальным минимумом. Строго выпуклая функция будет иметь не более одного глобального минимума.
• Неравенство Йенсена применяется к каждой выпуклой функции $f\; \{\backslash \; displaystyle\; f\}$. Если X - случайная величина, принимающая значения в области $f\; \{\backslash \; displaystyle\; f\}$, то $E\; \; (f\; (X))\; \ge \; f\; (E\; \; (X))\; \{\; \backslash \; displaystyle\; \backslash \; operatorname\; \{E\}\; (f\; (X))\; \backslash \; geq\; f\; (\backslash \; operatorname\; \{E\}\; (X))\}$, где E обозначает математическое ожидание.
• A первого порядка однородная функция двух положительных переменных x и y (т.е. f (ax, ay) = af (x, y) для каждого a, x, y>0), которая является выпуклой по одной переменной, должна быть выпуклой по другая переменная.

Операции, сохраняющие выпуклость

• $-\; f\; \{\backslash \; displaystyle\; -f\}$является вогнутым тогда и только тогда, когда $f\; \{\backslash \; displaystyle\; f\}$равно выпуклый.
• Неотрицательные взвешенные суммы:
  • если $w\; 1,\dots ,\; wn\; \ge \; 0\; \{\backslash \; displaystyle\; w\_\; \{1\},\; \backslash \; ldots,\; w\_\; \{n\}\; \backslash \; geq\; 0\}$и $f\; 1,\dots ,\; fn\; \{\backslash \; displaystyle\; f\_\; \{1\},\; \backslash \; ldots,\; f\_\; \{n\}\}$все выпуклые, то $w\; 1\; f\; тоже\; 1\; +\; \cdots \; +\; wnfn\; \{\backslash \; displaystyle\; w\_\; \{1\}\; f\_\; \{1\}\; +\; \backslash \; cdots\; +\; w\_\; \{n\}\; f\_\; \{n\}\}$. В частности, сумма двух выпуклых функций является выпуклой.
  • это свойство распространяется также на бесконечные суммы, интегралы и ожидаемые значения (при условии, что они существуют).
• Элементный максимум: let $\{fi\; \}\; i\; \in \; I\; \{\backslash \; displaystyle\; \backslash \; \{f\_\; \{i\}\; \backslash \}\; \_\; \{i\; \backslash \; in\; I\}\}$- набор выпуклых функций. Тогда $g\; (x)\; =\; sup\; i\; \in \; I\; fi\; (x)\; \{\backslash \; displaystyle\; g\; (x)\; =\; \backslash \; sup\; \_\; \{i\; \backslash \; in\; I\}\; f\_\; \{i\}\; (x)\}$выпукло. Область $g\; (x)\; \{\backslash \; displaystyle\; g\; (x)\}$- это совокупность точек, в которых выражение является конечным. Важные особые случаи:
  • Если $f\; 1,\dots ,\; fn\; \{\backslash \; displaystyle\; f\_\; \{1\},\; \backslash \; ldots,\; f\_\; \{n\}\}$являются выпуклыми функциями, то также и $g\; (x)\; =\; max\; \{f\; 1\; (x),\dots ,\; fn\; (x)\}\; \{\backslash \; displaystyle\; g\; (x)\; =\; \backslash \; max\; \backslash \; \{f\_\; \{1\}\; (x),\; \backslash \; ldots,\; f\_\; \{n\}\; (x)\; \backslash \}\}$
  • Если $f\; (x,\; y)\; \{\backslash \; displaystyle\; f\; (x,\; y)\}$выпукло по x, то $g\; (x)\; =\; sup\; y\; \in \; C\; е\; (x,\; y)\; \{\backslash \; displaystyle\; g\; (x)\; =\; \backslash \; sup\; \backslash \; nolimits\; \_\; \{y\; \backslash \; in\; C\}\; f\; (x,\; y)\}$выпукло по x, даже если C не является выпуклым множеством.
• Состав:
  • Если f и g - выпуклые функции и g не убывает в одномерной области, то $h\; (x)\; =\; g\; (f\; (x))\; \{\backslash \; displaystyle\; h\; (x)\; =\; g\; (f\; (x))\}$выпукло. Например, если $f\; \{\backslash \; displaystyle\; f\}$выпуклый, то также и $ef\; (x)\; \{\backslash \; displaystyle\; e\; ^\; \{f\; (x)\}\}$. потому что $ex\; \{\backslash \; displaystyle\; e\; ^\; \{x\}\}$выпукло и монотонно возрастает.
  • Если f вогнутое, а g выпукло и не возрастает в одномерной области, то $h\; (x)\; =\; g\; (f\; (x))\; \{\backslash \; displaystyle\; h\; (x)\; =\; g\; (f\; (x))\}$выпуклый.
  • Выпуклость инвариантна относительно аффинные карты: то есть, если f выпукло с областью определения $D\; f\; \subseteq \; R\; m\; \{\backslash \; displaystyle\; D\_\; \{f\}\; \backslash \; substeq\; \backslash \; mathbf\; \{R\}\; ^\; \{m\}\}$, то так и $g\; (x)\; =\; f\; (A\; x\; +\; b)\; \{\backslash \; displaystyle\; g\; (x)\; =\; f\; (Ax\; +\; b)\}$, где $A\; \in \; R\; m\; \times \; n,\; b\; \in \; R\; m\; \{\backslash \; displaystyle\; A\; \backslash \; in\; \backslash \; mathbf\; \{R\}\; ^\; \{m\; \backslash \; times\; n\}\; \{\backslash \; text\; \{,\}\}\; b\; \backslash \; in\; \backslash \; mathbf\; \{R\}\; ^\; \{m\}\}$с доменом $D\; g\; \subseteq \; R\; n\; \{\backslash \; displaystyle\; D\_\; \{g\}\; \backslash \; substeq\; \backslash \; mathbf\; \{R\}\; ^\; \{n\}\}$.
• Минимизация: если $f\; (x,\; y)\; \{\backslash \; displaystyle\; f\; (x,\; y)\}$выпукло в $(x,\; y)\; \{\backslash \; displaystyle\; (x,\; y)\}$, тогда $g\; (x)\; =\; inf\; y\; \in \; C\; f\; (x,\; y)\; \{\backslash \; displaystyle\; g\; (x)\; =\; \backslash \; inf\; \backslash \; nolimits\; \_\; \{y\; \backslash \; in\; C\}\; f\; (x,\; y)\}$выпукло по x, при условии, что C - выпуклое множество и что $g\; (\; x)\; \ne \; -\; \infty \; \{\backslash \; displaystyle\; g\; (x)\; \backslash \; neq\; -\; \backslash \; infty\}$
• Если $f\; \{\backslash \; displaystyle\; f\}$выпукло, то его перспектива $g\; (x,\; t)\; =\; tf\; (xt)\; \{\backslash \; displaystyle\; g\; (x,\; t)\; =\; tf\; \backslash \; left\; (\{\backslash \; tfrac\; \{x\}\; \{t\}\}\; \backslash \; right)\}$с доменом $\{(x,\; t)\; \mid \; xt\; \in \; Dom\; \; (е),\; t>0\}\; \{\backslash \; displaystyle\; \backslash \; left\; \backslash \; lbrace\; (x,\; t)\; \backslash \; mid\; \{\backslash \; tfrac\; \{x\}\; \{t\}\}\; \backslash \; in\; \backslash \; operatorname\; \{Dom\}\; (f),\; t>0\; \backslash \; right\; \backslash \; rbrace\}$является выпуклым.

Сильно выпуклые функции

Концепция сильной выпуклости расширяет и параметризует понятие строгой выпуклости. Сильно выпуклая функция тоже строго выпуклая, но не наоборот.

Дифференцируемая функция $f\; \{\backslash \; displaystyle\; f\}$называется сильно выпуклой с параметром m>0, если для всех точек x, y в ее области определения выполняется следующее неравенство:

$(\nabla \; е\; (Икс)\; -\; \nabla \; е\; (Y))\; T\; (Икс\; -\; Y)\; \ge \; м\; \Vert \; Икс\; -\; Y\; \Vert \; 2\; 2\; \{\backslash \; Displaystyle\; (\backslash \; набла\; ф\; (х)\; -\; \backslash \; набла\; ф\; (у))\; ^\; \{Т\; \}\; (xy)\; \backslash \; geq\; m\; \backslash \; |\; xy\; \backslash \; |\; \_\; \{2\}\; ^\; \{2\}\}$

или, в более общем смысле,

$⟨\nabla \; f\; (x)\; -\; \nabla \; f\; (y),\; x\; -\; y⟩\; \ge \; м\; \Vert \; Икс\; -\; Y\; \Vert \; 2\; \{\backslash \; Displaystyle\; \backslash \; langle\; \backslash \; nabla\; f\; (x)\; -\; \backslash \; nabla\; f\; (y),\; xy\; \backslash \; rangle\; \backslash \; geq\; m\; \backslash \; |\; xy\; \backslash \; |\; ^\; \{2\}\}$

где $\Vert \; \cdot \; \Vert \; \{\backslash \; displaystyle\; \backslash \; |\; \backslash \; cdot\; \backslash \; |\}$- любая норма. Некоторые авторы, например, называют функции, удовлетворяющие этому неравенству, эллиптическими функциями.

Эквивалентным условием является следующее:

$f\; (y)\; \ge \; f\; (x)\; +\; \nabla \; f\; (x)\; T\; (y\; -\; x)\; +\; m\; 2\; \Vert \; y\; -\; x\; \Vert \; 2\; 2\; \{\backslash \; displaystyle\; f\; (y)\; \backslash \; geq\; f\; (x)\; +\; \backslash \; nabla\; f\; (x)\; ^\; \{T\}\; (yx)\; +\; \{\backslash \; frac\; \{m\}\; \{2\}\}\; \backslash \; |\; yx\; \backslash \; |\; \_\; \{2\}\; ^\; \{2\}\}$

Для того чтобы функция была сильно выпуклой, необязательно, чтобы функция была дифференцируемой. Третье определение сильно выпуклой функции с параметром m состоит в том, что для всех x, y в области и $t\; \in \; [0,\; 1],\; \{\backslash \; displaystyle\; t\; \backslash \; in\; [0,1],\}$

$е\; (tx\; +\; (1\; -\; t)\; y)\; \le \; tf\; (x)\; +\; (1\; -\; t)\; f\; (y)\; -\; 1\; 2\; mt\; (1\; -\; t)\; \Vert \; x\; -\; y\; \Vert \; 2\; 2\; \{\backslash \; displaystyle\; f\; (tx\; +\; (1-t)\; y)\; \backslash \; leq\; tf\; (x)\; +\; (1-t)\; f\; (y)\; -\; \{\backslash \; frac\; \{1\}\; \{2\}\}\; mt\; (1-t)\; \backslash \; |\; xy\; \backslash \; |\; \_\; \{2\}\; ^\; \{2\}\}$

Обратите внимание, что это определение приближается к определению строгой выпуклости при m → 0 и идентично определению выпуклой функции при m = 0. Несмотря на это, существуют функции, которые являются строго выпуклыми, но не сильно выпуклый для любого m>0 (см. пример ниже).

Если функция $f\; \{\backslash \; displaystyle\; f\}$дважды непрерывно дифференцируема, то она будет сильно выпуклой с параметром m тогда и только тогда, когда $\nabla \; 2\; f\; (x)\; ⪰\; m\; I\; \{\backslash \; displaystyle\; \backslash \; nabla\; ^\; \{2\}\; f\; (x)\; \backslash \; successq\; mI\}$для всех x в домене, где I - идентификатор, а $\nabla \; 2\; f\; \{\backslash \; displaystyle\; \backslash \; nabla\; ^\; \{2\}\; f\}$- это матрица Гессе, а неравенство $⪰\; \{\backslash \; displaystyle\; \backslash \; successq\}$означает, что $\nabla \; 2\; f\; (x)\; -\; m\; I\; \{\backslash \; displaystyle\; \backslash \; nabla\; ^\; \{2\}\; f\; (x)\; -mI\}$- положительный полуопределенный. Это эквивалентно требованию, чтобы минимальное собственное значение для $\nabla \; 2\; f\; (x)\; \{\backslash \; displaystyle\; \backslash \; nabla\; ^\; \{2\}\; f\; (x)\}$было не менее m для все х. Если домен - это просто вещественная линия, то $\nabla \; 2\; f\; (x)\; \{\backslash \; displaystyle\; \backslash \; nabla\; ^\; \{2\}\; f\; (x)\}$- это просто вторая производная $f\; ″\; (\; x),\; \{\backslash \; displaystyle\; f\; \text{'}\text{'}\; (x),\}$, поэтому условие становится $f\; ″\; (x)\; \ge \; m\; \{\backslash \; displaystyle\; f\; \text{'}\text{'}\; (x)\; \backslash \; geq\; m\}$. Если m = 0, то это означает, что гессиан является положительно полуопределенным (или, если домен является действительной линией, это означает, что $f\; ″\; (x)\; \ge \; 0\; \{\backslash \; displaystyle\; f\; \text{'}\text{'}\; (x)\; \backslash \; geq\; 0\}$), откуда следует, что функция является выпуклой и, возможно, строго выпуклой, но не сильно выпуклой.

Если предположить, что функция дважды непрерывно дифференцируема, можно показать, что нижняя граница $\nabla \; 2\; f\; (x)\; \{\backslash \; displaystyle\; \backslash \; nabla\; ^\; \{2\}\; f\; (x)\}$означает, что он сильно выпуклый. Используя теорему Тейлора, существует

$z\; \in \; \{tx\; +\; (1\; -\; t)\; y:\; t\; \in \; [0,\; 1]\}\; \{\backslash \; displaystyle\; z\; \backslash \; in\; \backslash \; \{tx\; +\; (1-t)\; y:\; t\; \backslash \; in\; [0,1]\; \backslash \}\}$

такое, что

$f\; (y)\; =\; f\; (x)\; +\; \nabla \; f\; (x)\; T\; (y\; -\; x)\; +\; 1\; 2\; (y\; -\; x)\; T\; \nabla \; 2\; е\; (z)\; (y\; -\; x)\; \{\backslash \; displaystyle\; f\; (y)\; =\; f\; (x)\; +\; \backslash \; nabla\; f\; (x)\; ^\; \{T\}\; (yx)\; +\; \{\backslash \; frac\; \{1\}\; \{2\}\}\; (yx)\; ^\; \{T\}\; \backslash \; nabla\; ^\; \{2\}\; f\; (z)\; (yx)\}$

Тогда

$(y\; -\; x)\; T\; \nabla \; 2\; f\; (z)\; (y\; -\; x)\; \ge \; m\; (y\; -\; x)\; T\; (y\; -\; x)\; \{\backslash \; displaystyle\; (yx)\; ^\; \{T\}\; \backslash \; nabla\; ^\; \{2\}\; f\; (z)\; (yx)\; \backslash \; geq\; m\; (yx)\; ^\; \{T\}\; (yx)\}$

исходя из предположения о собственных значений, и, следовательно, мы восстанавливаем второе уравнение сильной выпуклости выше.

Функция $f\; \{\backslash \; displaystyle\; f\}$является сильно выпуклой с параметром m тогда и только тогда, когда функция

$x\; \mapsto \; f\; (x)\; -\; m\; 2\; \Vert \; x\; \Vert \; 2\; \{\backslash \; displaystyle\; x\; \backslash \; mapsto\; f\; (x)\; -\; \{\backslash \; frac\; \{m\}\; \{2\}\}\; \backslash \; |\; x\; \backslash \; |\; ^\; \{2\}\}$

выпукло.

На первый взгляд различие между выпуклым, строго выпуклым и сильно выпуклым может быть незаметным. Если $f\; \{\backslash \; displaystyle\; f\}$дважды непрерывно дифференцируемый, а домен является действительной линией, то мы можем охарактеризовать его следующим образом:

$f\; \{\backslash \; displaystyle\; f\}$выпуклый тогда и только тогда, когда $f\; ″\; (x)\; \ge \; 0\; \{\backslash \; displaystyle\; f\; \text{'}\text{'}\; (x)\; \backslash \; geq\; 0\}$для всех x.

$f\; \{\backslash \; displaystyle\; f\}$строго выпуклый, если $f\; ″\; (x)>0\; \{\backslash \; displaystyle\; f\; \text{'}\text{'}\; (x)>0\}$для всех x (примечание: этого достаточно, но не обязательно).

$f\; \{\backslash \; displaystyle\; f\; \}$сильно выпуклый тогда и только тогда, когда $f\; ″\; (x)\; \ge \; m>0\; \{\backslash \; displaystyle\; f\; \text{'}\text{'}\; (x)\; \backslash \; geq\; m>0\}$для всех x.

Например, let $f\; \{\backslash \; displaystyle\; f\}$быть строго выпуклым, и предположим, что существует последовательность точек $(xn)\; \{\backslash \; displaystyle\; (x\_\; \{n\})\}$такой, что $f\; ″\; (xn)\; =\; 1\; n\; \{\backslash \; displaystyle\; f\; \text{'}\text{'}\; (x\_\; \{n\})\; =\; \{\backslash \; tfrac\; \{1\}\; \{n\; \}\}\}$. Хотя $f\; ″\; (xn)>0\; \{\backslash \; displaystyle\; f\; \text{'}\text{'}\; (x\_\; \{n\})>0\}$, функция не является сильно выпуклой, потому что $f\; ″\; (x)\; \{\backslash \; displaystyle\; f\; \text{'}\text{'}\; (x)\}$станет сколь угодно малым.

Дважды непрерывно дифференцируемая функция $f\; \{\backslash \; displaystyle\; f\}$в компактной области $X\; \{\backslash \; displaystyle\; X\}$, который удовлетворяет $f\; ″\; (x)>0\; \{\backslash \; displaystyle\; f\; \text{'}\text{'}\; (x)>0\}$для всех $x\; \in \; X\; \{\backslash \; displaystyle\; x\; \backslash \; in\; X\}$сильно выпуклый. Доказательство этого утверждения следует из теоремы об экстремальных значениях, которая утверждает, что непрерывная функция на компакте имеет максимум и минимум.

Сильно выпуклые функции, как правило, легче работать, чем выпуклые или строго выпуклые функции, поскольку они представляют собой меньший класс. Как и строго выпуклые функции, сильно выпуклые функции имеют единственные минимумы на компактах.

Равномерно выпуклые функции

Равномерно выпуклая функция с модулем $\varphi \; \{\backslash \; displaystyle\; \backslash \; phi\}$является функцией $f\; \{\backslash \; displaystyle\; f\; \}$, что для всех x, y в области и t ∈ [0, 1] удовлетворяет

$f\; (tx\; +\; (1\; -\; t)\; y)\; \le \; tf\; (x)\; +\; (1\; -\; T)\; е\; (Y)\; -\; T\; (1\; -\; T)\; \varphi \; (\Vert \; Икс\; -\; Y\; \Vert )\; \{\backslash \; Displaystyle\; f\; (tx\; +\; (1-t)\; y)\; \backslash \; Leq\; tf\; (x)\; +\; (1-t)\; f\; (y)\; -t\; (1-t)\; \backslash \; phi\; (\backslash \; |\; xy\; \backslash \; |)\}$

где $\varphi \; \{\backslash \; displaystyle\; \backslash \; phi\}$- неотрицательная функция, которая обращается в нуль только в 0 Это обобщение понятия сильно выпуклой функции; взяв $\varphi \; (\alpha )\; =\; m\; 2\; \alpha \; 2\; \{\backslash \; displaystyle\; \backslash \; phi\; (\backslash \; alpha)\; =\; \{\backslash \; tfrac\; \{m\}\; \{2\}\}\; \backslash \; alpha\; ^\; \{2\}\}$, мы восстанавливаем определение сильной выпуклости.

Примеры

Функции одной переменной

• Функция $f\; (x)\; =\; x\; 2\; \{\backslash \; displaystyle\; f\; (x)\; =\; x\; ^\; \{2\}\}$имеет $f\; ″\; (x)\; =\; 2>0\; \{\backslash \; displaystyle\; f\; \text{'}\text{'}\; (x)\; =\; 2>0\}$, поэтому f - выпуклая функция. Она также сильно выпуклая (и, следовательно, строго выпуклая), с сильной константа выпуклости 2.
• Функция $f\; (x)\; =\; x\; 4\; \{\backslash \; displaystyle\; f\; (x)\; =\; x\; ^\; \{4\}\}$имеет $f\; ″\; (x)\; =\; 12\; x\; 2\; \ge \; 0\; \{\backslash \; displaystyle\; f\; \text{'}\text{'}\; (x)\; =\; 12x\; ^\; \{2\}\; \backslash \; geq\; 0\}$, поэтому f - выпуклая функция. Она строго выпуклая, даже если вторая производная не является строго положительным во всех точках. Он не является сильно выпуклым.
• абсолютное значение функция $f\; (x)\; =\; |\; x\; |\; \{\backslash \; displaystyle\; f\; (x)\; =\; |\; x\; |\}$является выпуклым (что отражено в неравенстве треугольника ), даже если у него нет производной в точке x = 0. Оно не является строго выпуклой.
• Функция $f\; (x)\; =\; |\; х\; |\; p\; \{\backslash \; displaystyle\; f\; (x)\; =\; |\; x\; |\; ^\; \{p\}\}$для $p\; \ge \; 1\; \{\backslash \; displaystyle\; p\; \backslash \; geq\; 1\}$выпуклый.
• экспоненциальная функция $f\; (x)\; =\; ex\; \{\backslash \; displaystyle\; f\; (x)\; =\; e\; ^\; \{x\}\}$выпуклая. Он также строго выпуклый, поскольку $f\; ″\; (x)\; =\; ex>0\; \{\backslash \; displaystyle\; f\; \text{'}\text{'}\; (x)\; =\; e\; ^\; \{x\}>0\}$, но он не сильно выпуклый, так как вторая производная может быть произвольно близкой до нуля. В более общем смысле, функция $g\; (x)\; =\; ef\; (x)\; \{\backslash \; displaystyle\; g\; (x)\; =\; e\; ^\; \{f\; (x)\}\}$является логарифмически выпуклой, если f - выпуклая функция. Иногда вместо этого используется термин «сверхвыпуклая».
• Функция $f\; \{\backslash \; displaystyle\; f\}$с определенным доменом [0,1] по $f\; (0)\; =\; f\; (1)\; =\; 1,\; f\; (x)\; =\; 0\; \{\backslash \; displaystyle\; f\; (0)\; =\; f\; (1)\; =\; 1,\; f\; (x)\; =\; 0\}$for выпуклый; он непрерывен на открытом интервале (0, 1), но не непрерывен в точках 0 и 1.
• Функция x имеет вторую производную 6x; таким образом, она является выпуклой на множестве, где x ≥ 0 и вогнутый на множестве, где x ≤ 0.
• Примеры функций, которые монотонны постоянно увеличивающийся, но не выпуклый, включает $f\; (x)\; =\; x\; \{\backslash \; displaystyle\; f\; (x)\; =\; \{\backslash \; sqrt\; \{x\}\}\}$и $g\; (x)\; =\; log\; \; x\; \{\backslash \; displaystyle\; g\; (x)\; =\; \backslash \; log\; x\}$.
• Примеры выпуклых функций, но не монотонно возрастающих, включают $h\; (x)\; =\; x\; 2\; \{\backslash \; displaystyle\; h\; (x)\; =\; x\; ^\; \{2\}\}$и $k\; (x)\; =\; -\; x\; \{\backslash \; displaystyle\; k\; (x)\; =\; -\; x\}$.
• Функция $f\; (x)\; =\; 1\; x\; \{\backslash \; displaystyle\; f\; (x)\; =\; \{\backslash \; tfrac\; \{1\}\; \{x\}\}\}$имеет $f\; ″\; (x)\; =\; 2\; x\; 3\; \{\backslash \; displaystyle\; f\; \text{'}\text{'}\; (x)\; =\; \{\; \backslash \; tfrac\; \{2\}\; \{x\; ^\; \{3\}\}\}\}$который больше 0, если x>0, поэтому $f\; (x)\; \{\backslash \; displaystyle\; f\; (x)\}$выпукло на интервале $(0,\; \infty )\; \{\backslash \; displaystyle\; (0,\; \backslash \; infty)\}$. Она вогнута на интервале $(-\; \infty ,\; 0)\; \{\backslash \; displaystyle\; (-\; \backslash \; infty,\; 0)\}$.
• Функция $f\; (x)\; =\; 1\; x\; 2\; \{\backslash \; displaystyle\; f\; (x)\; =\; \{\backslash \; tfrac\; \{1\}\; \{x\; ^\; \{2\}\}\}\}$с $f\; (0)\; =\; \infty \; \{\backslash \; displaystyle\; f\; (0)\; =\; \backslash \; infty\}$, является выпуклый на интервале $(0,\; \infty )\; \{\backslash \; displaystyle\; (0,\; \backslash \; infty)\}$и выпуклый на интервале $(-\; \infty ,\; 0)\; \{\backslash \; displaystyle\; (-\; \backslash \; infty,\; 0)\}$, но не выпуклый на интервале $(-\; \infty ,\; \infty )\; \{\backslash \; displaystyle\; (-\; \backslash \; infty,\; \backslash \; infty)\}$из-за сингулярности в точке x = 0.

Функции n переменных

• Функция LogSumExp, также называемая функцией softmax, является выпуклой функцией.
• Функция $-\; log\; \; det\; (X)\; \{\backslash \; displaystyle\; -\; \backslash \; log\; \backslash \; det\; (X)\}$в области положительно определенных матриц выпукло.
• Каждое вещественное линейное преобразование является выпуклым, но не строго выпуклым, так как если f линейное, то $f\; (a\; +\; b)\; =\; f\; (a)\; +\; f\; (b)\; \{\backslash \; displaystyle\; f\; (a\; +\; b)\; =\; f\; (a)\; +\; f\; (\; б)\}$. Это утверждение также выполняется, если мы заменим «выпуклый» на «вогнутый».
• Каждая вещественная аффинная функция, т.е. каждая функция вида $f\; (x)\; =\; a\; T\; x\; +\; b\; \{\backslash \; displaystyle\; f\; (x)\; =\; a\; ^\; \{T\}\; x\; +\; b\}$, одновременно выпуклый и вогнутый.
• Каждая norm является выпуклая функция, неравенство треугольника и положительная однородность.
• спектральный радиус неотрицательной матрицы является выпуклой функцией ее диагональных элементов.

См. Также

• Вогнутая функция
• Выпуклая оптимизация
• Выпукло-сопряженная
• Геодезическая выпуклость
• Теорема Качуровского, которая связывает выпуклость с монотонностью производной
• Логарифмически выпуклая функция
• Псевдовыпуклая функция
• Квазивыпуклая функция
• Invex функция
• Подпроизводная выпуклой функции
• Неравенство Дженсена
• Неравенство Караматы
• Неравенство Эрмита – Адамара
• K-выпуклая функция

Примечания

Ссылки

• Берцекас, Дмитрий ( 2003 г.). Выпуклый анализ и оптимизация. Athena Scientific.
• Борвейн, Джонатан, и Льюис, Адриан. (2000). Выпуклый анализ и нелинейная оптимизация. Спрингер.
• Донохью, Уильям Ф. (1969). Распределения и преобразования Фурье. Academic Press.
• Хириарт-Уррути, Жан-Батист, и Лемарешаль, Клод. (2004). Основы выпуклого анализа. Берлин: Springer.
• Красносельский М.А., Рутицкий Я.Б. (1961). Выпуклые функции и пространства Орлича. Гронинген: P.Noordhoff Ltd.
• Лауритцен, Нильс (2013). Студенческая выпуклость. World Scientific Publishing.
• Люенбергер, Дэвид (1984). Линейное и нелинейное программирование. Аддисон-Уэсли.
• Люенбергер, Дэвид (1969). Оптимизация методами векторного пространства. Wiley Sons.
• Рокафеллар, Р. Т. (1970). Выпуклый анализ. Princeton: Princeton University Press.
• Томсон, Брайан (1994). Симметричные свойства вещественных функций. CRC Press.
• Зэлинеску, К. (2002). Выпуклый анализ в общих векторных пространствах. Ривер Эдж, Нью-Джерси: World Scientific Publishing Co., Inc., стр. Xx + 367. ISBN 981-238-067-1. MR 1921556.

Внешние ссылки

• , Энциклопедия математики, EMS Press, 2001 [1994]
• , Энциклопедия математики, EMS Press, 2001 [1994]