07

2020-11-23 08:02:20 作者：互联网

约束优化的最优性条件

1 简绍

约束优化问题:

\[\begin{align*} (P) ~ ~ ~ \min &~ ~ ~ f(x)\\ \text{s.t.} &~ ~ ~ g(x) \leq 0\\ &~ ~ ~ h(x) = 0\\&~ ~ ~ x ∈ X ⊆ R^n \end{align*} \]

其中向量 $x=(x_1,...,x_n) $称为优化问题的变量（optimization variables），函数 $f:\quad \textbf{R}^m \rightarrow \textbf{R} $为目标函数（objective function），函数 $f(x),g(x）: \quad \textbf{R}^m \rightarrow \textbf{R} $称为约束函数（constraint functions）.

设S表示(P)的可行域，即

\[S := \{x ∈ X : g(x) ≤ 0, h(x) = 0\}. \]

2 最优性必要条件

$\large\color{#70f3ff}{\boxed{\color{brown}{几何必要条件} }}$

如果对于任何一个$α > 0$,每一个$x∈C,αx∈C$.那么集合$C⊆R^n$是锥体。

集合C是凸锥如果C是一个锥体和一个凸集。

对于$(P)$，在$\bar{x}∈S$时，定义

\[I(\bar{x}) = \{i : g_i(\bar{x}) = 0\}, F_0 = \{d : ∇f(\bar{x})^Td < 0\}\\ G_0 = \{d : ∇g_i(\bar{x})^T d < 0, i ∈ I(\bar{x})\},\\ H_0 = \{d : ∇h_i(\bar{x})^T d = 0, i = 1, · · · , l\}, \]

$\large\color{magenta}{\boxed{\color{brown}{定理1} }}$假设$h(x)$是一个线性函数，即$h(x) = Ax−b,A∈R^l×n$，如果$\bar{x}$是$(P)$的局部最小值，则$F_0∩G_0∩H_0 =∅$。

$\large\color{magenta}{\boxed{\color{brown}{定理2} }}$若$\bar{x}$是一般问题$(P)$的局部最小值，且梯度向量$∇h_i(\bar{x})， i = 1，···，l$是线性无关的，则$F_0∩G_0∩H_0 =∅$。

$\large\color{#70f3ff}{\boxed{\color{brown}{凸集的分离} }}$

如果$p \neq 0$是一个向量，而$α$是一个标量，则$H = \{x : p^T x = α\}$是一个超平面，且$H^+ = \{x: p^T x≥α\}$和 $H ^-$是半空间。

设$S$和$T$是$R^n$中的两个非空集。对于所有$x∈S$，如果$p^T x≥α$，对于所有$x∈T$，如果$p^T x\leq α$，则超平面$H = \{x : p^T x = α\}$将$S$和$T$分离，即$S⊆H^+， T⊆H^−$。另外，如果$S∪T$不是$H$的子集，那么$H$就可以正确地分离$S$和$T$。

如果有$p^T x>α$对所有$x∈S$成立，而$p^T x<α$对所有$x∈T$，则$H$将$S$和$T$严格分离。

H被认为将S和T强分离，如果对于某些$\varepsilon > 0, p^T x ≥ α + \varepsilon$对所有$x∈S$成立，和$\varepsilon > 0, p^T x \leq α - \varepsilon$所有$x∈T$成立。

$\large\color{magenta}{\boxed{\color{brown}{定理3} }}$设$S$是$R^n$中的一个非空闭凸集， $y \notin S$，则存在唯一的点$\bar{x}∈S$，其与$y$的距离最小.而且,对于所有$x∈S$, $\bar{x}$是最小值点的充分必要条件是$(y−\bar{x})^T (x−\bar{x})≤0$时。

$\large\color{magenta}{\boxed{\color{brown}{定理4} }}$设$S$是$R^n$中的一个非空闭凸集， $y \notin S$，，则存在$p \neq 0$和$α $，使得$H = {x : p^T x = α}$强分离$S$和${y}$。

$\large\color{magenta}{\boxed{\color{brown}{定理5} }}$假设$S_1$和$S_2$是不相交的非空闭凸集，且$S_1$是有界的。那么$S_1$和$S_2$可以被一个超平面强分隔。

$\large\color{magenta}{\boxed{\color{brown}{定理6} }}$(Farkas’ Lemma) 给出一个m×n矩阵$A$和一个向量 $c$，正好有以下两方程个中的一个有解:

\[(1) Ax ≤ 0, c^T x > 0;\\ (2) A^T y = c, y ≥ 0. \]

$\large\color{magenta}{\boxed{\color{brown}{定理7} }}$(Key Lemma) 给定维数适当的矩阵$A、B、H$，恰好以下其中一个方程有解:

\[\begin{aligned} &(1) Ax < 0, Bx ≤ 0, Hx = 0;\\ &(2) A^T u + B^T v + H^Tw = 0, u ≥ 0, v ≥ 0, e^T u = 1.\\ \end{aligned} \]

$\large\color{magenta}{\boxed{\color{brown}{定理8} }}$(Gordan’s Lemma)给定m×n矩阵A，恰好以下两个方程中的一个有解:

\[\begin{aligned} &(1) Ax < 0, x ∈ R^n;\\ &(2) A^T y = 0, y ≥ 0, y \neq 0, y ∈ R^m. \end{aligned} \]

$\large\color{#70f3ff}{\boxed{\color{brown}{代数的必要条件} }}$

$\large\color{magenta}{\boxed{\color{brown}{定理9} }}$( (F-J) 必要条件)设$\bar{x}$是$(P)$的可行解，如果$\bar{x}$是$(P)$的局部最小值，则存在$(u_0, u, v)$满足

\[u_0 \nabla f(\bar{x})+\sum_{i=1}^{m}u_i \nabla g_{i}(\bar{x})+\sum_{i=1}^{m}\nu _{i}\nabla h_{i}(\bar{x})=0\\ u_0, u ≥ 0,(u_0, u, v) \neq 0, \\ u_ig_i(\bar{x}) = 0, i = 1, · · · , m. \]

第一个方程可以改写为

\[u_0 \nabla f(\bar{x})+ \nabla g_{}(\bar{x})^T u+\nabla h_{}(\bar{x})^T v=0\\ \]

$\large\color{magenta}{\boxed{\color{brown}{定理10} }}$( KKT必要条件)设$\bar{x}$是$(P)$的可行解，令$I(\bar{x})={i: g_i(\bar{x}) = 0} $。进一步，假设对于$\nabla h_{i}(\bar{x}),i = ,1, · · · , l$,和对于$\nabla g_{i}(\bar{x}),i ∈ I(\bar{x})$是线性独立的。如果$\bar{x}$是$(P)$的局部最小值，那么存在$(u, v)$使得

\[\nabla f(\bar{x})+ \nabla g_{}(\bar{x})^T u+\nabla h_{}(\bar{x})^T v=0\\ u ≥ 0\\ u_ig_i(\bar{x}) = 0, i = 1, · · · , m. \]

3 凸性

假设X是$R^n$中的凸集。如果$f(x): x→R$，则f(x)的水平集为集合

\[S_α = \{x ∈ X : f(x) ≤ α\}, ∀α ∈ R. \]

函数$f(x)$是一个拟凸$x$函数，如果对于所有的$x, y∈X$，并且对于所有的$λ ∈[0,1]$，有

\[f(λx + (1 − λ)y) ≤ max\{f(x), f(y)\}. \]

函数$f(x)$是一个拟凹$x$函数，如果对于所有的$x, y∈X$，并且对于所有的$λ ∈[0,1]$，有

\[f(λx + (1 − λ)y) ≥ min\{f(x), f(y)\} \]

如果对于所有的$x, y∈X$，

\[∇f(x)^T (y − x) ≥ 0 ⇒ f(y) ≥ f(x). \]

则可微函数f(x)是一个伪凸函数.

$\large\color{magenta}{\boxed{\color{brown}{命题} }}$如果$f(x)$是凸的，那么f(x)是拟凸的。

$\large\color{magenta}{\boxed{\color{brown}{定理11} }}$函数$f(x)$在$X$上是拟凸的充分必要条件是，$S_α ,α ∈ R$是凸集。

$\large\color{magenta}{\boxed{\color{brown}{定理12} }}$如果f(x)是凸函数，它的水平集是凸集。

$\large\color{magenta}{\boxed{\color{brown}{定理13} }}$可微凸函数是伪凸函数，而伪凸函数是拟凸函数。

4 最优性充分条件

$\large\color{magenta}{\boxed{\color{brown}{定理14} }}$( KKT充分条件)设$\bar{x}$是$(P)$的可行解，$\bar{x}$与乘数$u, v$一起满足KKT条件。如果f(x)是伪凸函数，$g_i(x)， i = 1，···，m$是拟凸函数，$h_i(x)， i = 1，···，l$是线性函数，则$\bar{x}$是(P)的全局最优解.

如果$f(x)、g(x)$是凸函数，$h(x)$是线性函数，且$x$是一个开凸集，则一般问题(P)称为凸规划。

$\large\color{magenta}{\boxed{\color{brown}{定理15} }}$ KKT条件是求解凸规划最优性的充分条件。

5 约束规范

如果$\bar{x}$是(P)的局部最小值并且约束条件的某些要求成立，那么KKT条件必须在$\bar{x}$处成立

约束的这个附加要求称为约束限定。

线性独立约束条件:$\nabla h_{i}(\bar{x}),i = ,1, · · · , l$,和$\nabla g_{i}(\bar{x}),i ∈ I(\bar{x})$是线性无关的。

$\large\color{magenta}{\boxed{\color{brown}{定义} }}$点$x$称为满足$g(x) < 0且h(x) = 0$的Slater点，即$x是$可行的，严格满足所有不等式。

$\large\color{magenta}{\boxed{\color{brown}{定理16} }}$ (Slater 条件)假设$g_i(x)， i = 1，···，m$是伪凸的，$h_i(x)， i = 1，···，l$是线性的，而$∇h_i(x)， i = 1，···，l$是线性无关的，且(P)有一个Slater点。然后KKT条件是必要的，以表征一个最优解。

$\large\color{magenta}{\boxed{\color{brown}{定理17} }}$如果所有的约束都是线性的，那么KKT条件就必须用来描述一个最优解。

6 二阶最优性条件

对于问题(P)，定义拉格朗日函数:

\[\displaystyle L\left(\mathbf{x},{\lambda},{\mu}\right)=f(\mathbf{x})+\sum_{j=1}^m\lambda_jg_j( \mathbf{x})+\sum_{k=1}^l\mu_kh_k(\mathbf{x})\\ \]

等价于

\[\displaystyle L\left(\mathbf{x},{\lambda},{\mu}\right)=f(\mathbf{x})+\lambda ^Tg( \mathbf{x})+\mu^T h(\mathbf{x})\\ \]

则

\[\nabla_x\displaystyle L\left(\mathbf{x},{\lambda},{\mu}\right)=\nabla f(\mathbf{x})+ \nabla g_{}({x})^T \lambda +\nabla h_{}({x})^T \mu\\ \nabla_{xx}^2\displaystyle L\left(\mathbf{x},{\lambda},{\mu}\right)=\nabla^2 f(\mathbf{x})+\sum_{j=1}^m\lambda_j\nabla^2g_j( \mathbf{x})+\sum_{k=1}^l\mu_k\nabla^2h_k(\mathbf{x})\\ \]

$\large\color{magenta}{\boxed{\color{brown}{定理18} }}$(KKT二阶必要条件)假设$\bar{x}$是$(P)$的局部最小值，而$\nabla h_{i}(\bar{x}),i = ,1, · · · , l$,和$\nabla g_{i}(\bar{x}),i ∈ I(\bar{x})$是线性无关的。那么$\bar{x}$必须满足KKT条件。进一步，每一个d满足:

\[\nabla g_{i}(\bar{x})^T d ≤ 0, i ∈ I(\bar{x}), \\∇h_i(x)^T d = 0, i = 1, · · · , l \]

还必须满足

\[d^T ∇_{xx}L\left(\mathbf{x},{\lambda},{\mu}\right)d ≥ 0 \]

$\large\color{magenta}{\boxed{\color{brown}{定理19} }}$(KKT二阶充分条件)假设$\bar{x}∈S$与乘数$(u, v)$一起满足KKT条件。让$I^+ = \{i∈I: \lambda_i > 0\}$和$I^0 = \{i∈I: \lambda_i = 0\}$。另外，假设每一个$d\neq 0$满足:

\[\nabla g_{i}(\bar{x})^T d = 0, i ∈ I^+, \\ \nabla g_{i}(\bar{x})^T d ≤ 0, i ∈ I^0, \\∇h_i(\bar{x})^T d = 0, i = 1, · · · , l \]

还必须满足

\[d^T ∇_{xx}L\left(\mathbf{x},{\lambda},{\mu}\right)d ≥ 0 \]

那么$\bar{x}$是(P)的严格局部极小值。

标签：brown,bar,07,color,nabla,large,boxed
来源： https://www.cnblogs.com/liangjiangjun/p/14022643.html

07