Многомерная оптимизация с ограничением равенства

Википедия определяет оптимизацию как проблему, при которой вы максимизируете или минимизируете реальную функцию, систематически выбирая входные значения из разрешенного набора и вычисляя значение функции. Это означает, что когда мы говорим об оптимизации, мы всегда заинтересованы в поиске лучшего решения. Итак, предположим, что у человека есть некоторая функциональная форма (например, в форме f (x)), и он пытается найти лучшее решение для этой функциональной формы. Что значит лучше всего? Можно сказать, что он заинтересован в минимизации этой функциональной формы или в максимизации этой функциональной формы.
Как правило, задача оптимизации состоит из трех компонентов.

минимизировать f (x),
по x,
при условии a <x <b

где, f (x): целевая функция
x: переменная решения
a <x <b: ограничение

Что такое многомерная задача оптимизации?

В задаче многомерной оптимизации есть несколько переменных, которые действуют как переменные решения в задаче оптимизации.

z = f (x ₁ , x ₂ , x ₃ … ..x _n )

Итак, когда вы смотрите на эти типы проблем, общая функция z может быть некоторой нелинейной функцией переменных решения от x ₁ , x ₂ , x ₃ до x _n . Итак, есть n переменных, которыми можно манипулировать или выбирать для оптимизации этой функции z. Обратите внимание, что можно объяснить одномерную оптимизацию, используя изображения в двух измерениях, потому что в направлении x у нас было значение переменной решения, а в направлении y - значение функции. Однако, если это многомерная оптимизация, тогда мы должны использовать изображения в трех измерениях, и если переменные решения больше 2, тогда это трудно визуализировать.

Что такое многомерная оптимизация с ограничением равенства :
В математике равенство - это отношение между двумя величинами или, в более общем смысле, двумя математическими выражениями, утверждающее, что величины имеют одно и то же значение или что выражения представляют один и тот же математический объект. Итак, если задана целевая функция с более чем одной переменной решения и имеющей ограничение равенства, то это называется так.
Пример :

мин 2x ₁ ² + 4x ₂ ²
ул
3х ₁ + 2х ₂ = 12

Здесь x ₁ и x ₂ - две переменные решения с ограничением равенства 3x ₁ + 2x ₂ = 12.

Условие определения оптимальной точки при условии равенства

If there is one equality constraint case then the condition is

-∇ f(x^*) = λ^*∇ h(x^*)

If there are more than one equality constraint case then the condition is

-∇ f(x^*) = Σ_i=1^l[∇ h_i(x^*)] λ_i^*

where,
f(x^*) = f(x₁, x₂, …., x_n) = Objective function
h(x^*) = h(x₁, x₂, …., x_n) = Equality constraint
λ^* ∈ R

Давайте быстро решим численный пример, чтобы лучше понять эти условия.

Числовой пример:

Проблема:

при условии 


Решение:
Здесь,
Целевая функция (f (x)) =  а также
Ограничение равенства (h (x)) = 

Для определения оптимальной точки мы можем записать уравнение в виде

Следовательно

По аналогии,

По условию

Это можно записать как 
 
 , И у нас уже есть уравнение связи-равенства

Решая эти три уравнения, мы можем получить оптимальное решение 
вместе со значением переменной λ.

Следовательно  а также  это наше оптимальное решение.

Почему ограничения важны в проблеме оптимизации с точки зрения науки о данных?

Мы смотрим на оптимизацию с точки зрения науки о данных, потому что пытаемся минимизировать ошибки. Во многих случаях, когда мы пытаемся решить проблемы науки о данных и минимизировать ошибку, мы говорили, что можем использовать какой-то алгоритм на основе градиента, который мы назвали алгоритмом обучения для решения проблемы. В некоторых случаях, пытаясь свести к минимуму нашу ошибку или целевую функцию, мы можем знать некоторую информацию о проблеме, которую хотим включить в решение. Так, например, если вы пытаетесь выявить взаимосвязи между несколькими переменными и не знаете, сколько взаимосвязей существует, но вы точно знаете, что определенные взаимосвязи существуют, и вы знаете, что это за взаимосвязи, тогда, когда вы пытаетесь решить проблема науки о данных, вы бы попытались ограничить вашу проблему так, чтобы выполнялись известные отношения. Таким образом, это может создать проблему оптимизации, когда у вас есть ограничения в частности ограничения равенства, и есть несколько других случаев, когда вам, возможно, придется смотреть на версию с ограничениями, пока решает проблемы науки о данных. Итак, важно понимать, как решаются эти проблемы. Проблемы ограничения неравенства более актуальны, чем проблемы с ограничениями-равенствами, например, алгоритмы для ограничений-неравенств очень полезны в алгоритмах науки о данных, которые называются машинами опорных векторов и т. Д.