Оптимизация с ограничениями

В математической оптимизации оптимизация с ограничениями (в некоторых контекстах называется ограничением оптимизация ) - это процесс оптимизации целевой функции в отношении некоторых переменных при наличии ограничений на эти переменные. Целевая функция - это либо функция стоимости, либо функция энергии, которая должна быть минимизирована, либо функция вознаграждения или функция полезности, которая должна быть максимизирована. Ограничения могут быть либо жесткими ограничениями, которые устанавливают условия для переменных, которые должны быть удовлетворены, либо мягкими ограничениями, которые имеют некоторые значения переменных, которые штрафуются в целевой функции, если, и в зависимости от степени невыполнения условий для переменных.

Содержание

• 1 Связь с проблемами удовлетворения ограничений
• 2 Общая форма
• 3 Методы решения
  • 3.1 Ограничения равенства
    • 3.1.1 Метод подстановки
    • 3.1.2 Множитель Лагранжа
  • 3.2 Ограничения неравенства
    • 3.2.1 Линейное программирование
    • 3.2.2 Нелинейное программирование
    • 3.2.3 Квадратичное программирование
    • 3.2.4 Условия KKT
    • 3.2.5 Ветвление и граница
    • 3.2. 6 Ограничивающие функции первого выбора
      • 3.2.6.1 Поиск матрешки
    • 3.2.7 Исключение корзины
• 4 См. Также
• 5 Ссылки
• 6 Дополнительная литература

Связь с проблемами удовлетворения ограничений

Задача оптимизации с ограничениями (COP) является существенным обобщением классической модели проблемы удовлетворения ограничений (CSP). COP - это CSP, который включает оптимизируемую целевую функцию. Для обработки части оптимизации используется множество алгоритмов.

Общая форма

Общая задача минимизации с ограничениями может быть записана следующим образом:

$min\; f\; (x)\; subjecttogi\; (x)\; =\; ci\; для\; i\; =\; 1,\dots ,\; n\; Ограничения\; равенства\; hj\; (x)\; \geqq \; dj\; для\; j\; =\; 1,\dots ,\; m\; Ограничения\; неравенства\; \{\backslash \; displaystyle\; \{\backslash \; begin\; \{array\}\; \{rcll\}\; \backslash \; min\; ~\; f\; (\backslash \; mathbf\; \{x\})\; \backslash \backslash \backslash \; mathrm\; \{subject\; ~\; to\}\; ~\; g\_\; \{i\}\; (\backslash \; mathbf\; \{x\})\; =\; c\_\; \{i\}\; \{\backslash \; text\; \{for\}\}\; i\; =\; 1,\; \backslash \; ldots,\; n\; \backslash \; quad\; \{\backslash \; text\; \{Ограничения\; равенства\}\}\; \backslash \backslash \; ~\; h\_\; \{j\; \}\; (\backslash \; mathbf\; \{x\})\; \backslash \; geqq\; d\_\; \{j\}\; \{\backslash \; text\; \{for\}\}\; j\; =\; 1,\; \backslash \; ldots,\; m\; \backslash \; quad\; \{\backslash \; text\; \{Ограничения\; неравенства\}\}\; \backslash \; end\; \{array\}\}\}$

где $gi\; (x)\; =\; cifori\; =\; 1,\dots ,\; n\; \{\backslash \; displaystyle\; g\_\; \{i\}\; (\backslash \; mathbf\; \{x\})\; =\; c\_\; \{i\}\; ~\; \backslash \; mathrm\; \{for\; ~\}\; i\; =\; 1,\; \backslash \; ldots,\; n\; \}$и $hj\; (x)\; \ge \; djforj\; =\; 1,\dots ,\; m\; \{\backslash \; displaystyle\; h\_\; \{j\}\; (\backslash \; mathbf\; \{x\})\; \backslash \; geq\; d\_\; \{j\}\; ~\; \backslash \; mathrm\; \{for\; ~\}\; j\; =\; 1,\; \backslash \; ldots,\; m\}$- это ограничения, которые необходимо выполнить (они называются жесткими ограничениями ), и $f\; (x)\; \{\backslash \; displaystyle\; f\; (\; \backslash \; mathbf\; \{x\})\}$- целевая функция, которую необходимо оптимизировать. ct к ограничениям.

В некоторых задачах, часто называемых проблемами оптимизации ограничений, целевая функция на самом деле представляет собой сумму функций затрат, каждая из которых штрафует степень (если таковая имеется), в которой мягкое ограничение (a ограничение, которое является предпочтительным, но не обязательным), нарушается.

Методы решения

Многие алгоритмы неограниченной оптимизации могут быть адаптированы к случаю с ограничениями, часто с использованием метода штрафа. Однако шаги поиска, предпринятые методом без ограничений, могут быть неприемлемыми для задачи с ограничениями, что приводит к отсутствию сходимости. Это называется эффектом Маратоса.

Ограничения равенства

Метод подстановки

Для очень простых задач, скажем, функция двух переменных с одним ограничением равенства, она Наиболее практично применять метод подстановки. Идея состоит в том, чтобы подставить ограничение в целевую функцию, чтобы создать составную функцию , которая учитывает эффект ограничения. Например, предположим, что цель состоит в том, чтобы максимизировать $f\; (x,\; y)\; =\; x\; \cdot \; y\; \{\backslash \; displaystyle\; f\; (x,\; y)\; =\; x\; \backslash \; cdot\; y\}$с учетом $x\; +\; у\; =\; 10\; \{\backslash \; Displaystyle\; х\; +\; у\; =\; 10\}$. Ограничение подразумевает $y\; =\; 10\; -\; x\; \{\backslash \; displaystyle\; y\; =\; 10-x\}$, которое можно подставить в целевую функцию для создания $p\; (x)\; =\; x\; (10\; -\; x)\; =\; 10\; x\; -\; x\; 2\; \{\backslash \; displaystyle\; p\; (x)\; =\; x\; (10-x)\; =\; 10x-x\; ^\; \{2\}\}$. Необходимое условие первого порядка дает $\partial \; p\; \partial \; x\; =\; 10-2\; x\; =\; 0\; \{\backslash \; displaystyle\; \{\backslash \; frac\; \{\backslash \; partial\; p\}\; \{\backslash \; partial\; x\}\}\; =\; 10-2x\; =\; 0\}$, которое может быть решено для $x\; =\; 5\; \{\backslash \; displaystyle\; x\; =\; 5\}$и, следовательно, $y\; =\; 10-5\; =\; 5\; \{\backslash \; displaystyle\; y\; =\; 10-5\; =\; 5\; \}$.

Множитель Лагранжа

Если ограниченная задача имеет только ограничения равенства, метод множителей Лагранжа может быть использован для преобразования ее в неограниченную задачу, количество переменных которой является исходным числом. переменных плюс исходное количество ограничений равенства. В качестве альтернативы, если все ограничения являются ограничениями равенства и все линейны, они могут быть решены для некоторых переменных в терминах других, а первое может быть заменено из целевой функции, оставляя проблему без ограничений в меньшем количестве переменных. переменные.

Ограничения неравенства

С ограничениями неравенства, проблема может быть охарактеризована в терминах, условий Фрица Джона и условий Каруша – Куна – Таккера, при котором могут быть решены простые проблемы.

Линейное программирование

Если целевая функция и все жесткие ограничения являются линейными, а некоторые жесткие ограничения являются неравенствами, тогда проблема заключается в линейном программировании. Это может быть решено с помощью симплекс-метода, который обычно работает за полиномиальное время в размере задачи, но не гарантируется, или с помощью методов внутренней точки, которые являются гарантированно работает за полиномиальное время.

Нелинейное программирование

Если целевая функция или некоторые из ограничений нелинейны, а некоторые ограничения являются неравенствами, тогда проблема заключается в нелинейном программировании.

Квадратичное программирование

Если все жесткие ограничения являются линейными, а некоторые - неравенствами, но целевая функция квадратична, проблема представляет собой задачу квадратичного программирования. Это один из видов нелинейного программирования. Ее все еще можно решить за полиномиальное время с помощью метода эллипсоидов , если целевая функция выпуклая ; в противном случае проблема может заключаться в NP hard.

условиях KKT

Допуская ограничения неравенства, KKT подход к нелинейному программированию обобщает метод множителей Лагранжа. Может применяться в условиях дифференцируемости и выпуклости.

.

Ветвление и граница

Оптимизация ограничений может быть решена с помощью алгоритмов ветвей и границ. Это алгоритмы поиска с возвратом, которые хранят стоимость лучшего решения, найденного во время выполнения, и используют его, чтобы избежать части поиска. Точнее, всякий раз, когда алгоритм встречает частичное решение, которое не может быть расширено, чтобы сформировать решение с более высокой стоимостью, чем сохраненная лучшая стоимость, алгоритм возвращается назад, вместо того, чтобы пытаться расширить это решение.

Предполагая, что стоимость должна быть минимизирована, эффективность этих алгоритмов зависит от того, как оценивается стоимость, которую можно получить от расширения частичного решения. Действительно, если алгоритм может вернуться к частичному решению, часть поиска пропускается. Чем ниже оценочная стоимость, тем лучше алгоритм, так как более низкая оценочная стоимость с большей вероятностью будет ниже, чем лучшая стоимость найденного решения.

С другой стороны, эта оценочная стоимость не может быть ниже, чем эффективная стоимость, которая может быть получена путем расширения решения, так как в противном случае алгоритм может выполнить возврат, пока существует решение, лучшее, чем лучшее, найденное на данный момент. В результате алгоритм требует верхней границы стоимости, которая может быть получена от расширения частичного решения, и эта верхняя граница должна быть как можно меньше.

Вариант этого подхода, называемый методом Хансена, использует интервальные методы. Он по своей сути реализует прямоугольные ограничения.

Ограничивающие функции первого выбора

Один из способов оценки этой верхней границы для частичного решения - рассмотреть каждое мягкое ограничение отдельно. Для каждого мягкого ограничения предполагается максимально возможное значение для любого присвоения неназначенным переменным. Сумма этих значений является верхней границей, поскольку мягкие ограничения не могут принимать более высокое значение. Это точно, потому что максимальные значения мягких ограничений могут быть получены из разных оценок: мягкое ограничение может быть максимальным для $x\; =\; a\; \{\backslash \; displaystyle\; x\; =\; a\}$, в то время как другое ограничение является максимальным для $x\; =\; b\; \{\backslash \; displaystyle\; x\; =\; b\}$.

Поиск матрешки

Этот метод запускает алгоритм ветвей и границ для $n\; \{\backslash \; displaystyle\; n\}$задач, где $n\; \{\backslash \; displaystyle\; n\}$- количество переменных. Каждая такая задача - это подзадача, полученная путем удаления последовательности переменных $x\; 1,\dots ,\; xi\; \{\backslash \; displaystyle\; x\_\; \{1\},\; \backslash \; ldots,\; x\_\; \{i\}\}$из исходной задачи вместе с с содержащими их ограничениями. После решения задачи о переменных $xi\; +\; 1,\dots ,\; xn\; \{\backslash \; displaystyle\; x\_\; \{i\; +\; 1\},\; \backslash \; ldots,\; x\_\; \{n\}\}$ее оптимальную стоимость можно использовать в качестве верхняя граница при решении других задач,

В частности, оценка стоимости решения, имеющего $xi\; +\; 1,\dots ,\; xn\; \{\backslash \; displaystyle\; x\_\; \{i\; +\; 1\},\; \backslash \; ldots,\; x\_\; \{n\; \}\}$в качестве неназначенных переменных добавляется к стоимости, полученной из оцененных переменных. Фактически, это соответствует игнорированию оцененных переменных и решению проблемы с неназначенными, за исключением того, что последняя проблема уже решена. Точнее, стоимость мягких ограничений, содержащих как присвоенные, так и неназначенные переменные, оценивается, как указано выше (или с использованием любого другого метода); стоимость мягких ограничений, содержащих только неназначенные переменные, вместо этого оценивается с использованием оптимального решения соответствующей задачи, которое уже известно на данный момент.

Существует сходство между методом поиска русской куклы и динамическим программированием. Подобно динамическому программированию, Russian Doll Search решает подзадачи для решения всей проблемы. Но в то время как динамическое программирование напрямую комбинирует результаты, полученные по подзадачам, чтобы получить результат всей задачи, Russian Doll Search использует их только как границы во время поиска.

Исключение сегмента

Алгоритм исключения сегмента можно адаптировать для оптимизации ограничений. Данную переменную действительно можно удалить из проблемы, заменив все мягкие ограничения, содержащие ее, новым мягким ограничением. Стоимость этого нового ограничения вычисляется с учетом максимального значения для каждого значения удаленной переменной. Формально, если $x\; \{\backslash \; displaystyle\; x\}$- это переменная, которую нужно удалить, $C\; 1,\dots ,\; C\; n\; \{\backslash \; displaystyle\; C\_\; \{1\},\; \backslash \; ldots,\; C\_\; \{n\}\; \}$- мягкие ограничения, содержащие его, а $y\; 1,\dots ,\; ym\; \{\backslash \; displaystyle\; y\_\; \{1\},\; \backslash \; ldots,\; y\_\; \{m\}\}$- их переменные, кроме $x\; \{\backslash \; displaystyle\; x\}$, новое мягкое ограничение определяется следующим образом:

$C\; (y\; 1\; =\; a\; 1,\dots ,\; yn\; =\; an)\; =\; max\; a\; \sum \; i\; C\; i\; (x\; =\; a,\; y\; 1\; =\; a\; 1,\dots ,\; yn\; =\; an).\; \{\backslash \; Displaystyle\; C\; (y\_\; \{1\}\; =\; a\_\; \{1\},\; \backslash \; ldots,\; y\_\; \{n\}\; =\; a\_\; \{n\})\; =\; \backslash \; max\; \_\; \{a\}\; \backslash \; sum\; \_\; \{i\}\; C\_\; \{i\}\; (x\; =\; a,\; y\_\; \{1\}\; =\; a\_\; \{1\},\; \backslash \; ldots,\; y\_\; \{n\}\; =\; a\_\; \{n\}).\}$

Удаление сегмента работает с (произвольным) порядком переменных. Каждая переменная связана с набором ограничений; сегмент переменной содержит все ограничения, у которых переменная имеет наибольшее значение в порядке. Исключение ведра переходим от последней переменной к первой. Для каждой переменной все ограничения корзины заменяются, как указано выше, чтобы удалить переменную. Полученное ограничение затем помещается в соответствующий сегмент.

См. Также

• Метод наименьших квадратов с ограничениями
• Распределенная оптимизация ограничений
• Проблемы удовлетворения ограничений (CSP)
• Программирование ограничений
• Целочисленное программирование
• Метод штрафов
• Superiorization

Ссылки

Дополнительная литература

• Берцекас, Дмитрий П. (1982). Ограниченная оптимизация и методы множителя Лагранжа. Нью-Йорк: Academic Press. ISBN 0-12-093480-9.
• Дечтер, Рина (2003). Обработка ограничений. Морган Кауфманн. ISBN 1-55860-890-7.