其他分享
首页 > 其他分享> > 拉格朗日乘子、KKT条件与对偶问题

拉格朗日乘子、KKT条件与对偶问题

作者:互联网

文章目录

1. 拉格朗日算子

1.1 基本流程

假设x=[x1,x2,...,xd]\boldsymbol{x}=[x_1,x_2,...,x_d]x=[x1​,x2​,...,xd​],是一个ddd维的向量,f(x)f(x)f(x)和g(x)g(x)g(x)是定义在实数集上连续可微的函数,现在需要找一个xx^*x∗使得f(x)f(x)f(x)具有最小值,且g(x)0g(x) \leq 0g(x)≤0。即有:
(1.1)minxf(x)s.t. g(x)0 \begin{aligned} \min _x f(x) \\ s.t. \ g(x) \leq 0 \tag{1.1} \end{aligned} xmin​f(x)s.t. g(x)≤0​(1.1)
那么,通过拉格朗日乘子法,可以构造出下面的式子:
(1.2)L(x,w)=f(x)+wg(x) \begin{aligned} L(\boldsymbol{x}, w) = f(\boldsymbol{x}) + wg(\boldsymbol{x}) \tag{1.2} \end{aligned} L(x,w)=f(x)+wg(x)​(1.2)

L(x,w)L(\boldsymbol{x},w)L(x,w)的对x\boldsymbol{x}x的导数为0,求解出x,wx, wx,w的值,那么,x\boldsymbol{x}x就是函数f(x)f(\boldsymbol{x})f(x)在附加条件g(x)g(\boldsymbol{x})g(x)下可能的极值点。
会做题拿分就够了!!!

1.2 理解

第一层理解:

在学高数的时候,对拉格朗日的理解仅限于:构造了一个函数L(x,y,λ)L(x,y,\lambda)L(x,y,λ),对该函数L(x,y,λ)L(x,y,\lambda)L(x,y,λ)求极导,令导数为0,可以算出极大值极小值。

第二层理解:

在进行第二层理解时,需要明白几个概念:

具体可以参考这篇文章拉格朗日乘子法。该文比较直观的介绍了拉格朗日的基本定理,并且从切线、梯度的角度分析了拉格朗日算子。
拉格朗日附体,我是最牛逼的!


2. KKT条件

2.1 一个限制条件的情况

看完这个例子之后,在公式(1.2)可能取到的所有点中,的的确确找到了一个x\boldsymbol{x^*}x∗,使得f(x)f(\boldsymbol{x})f(x)最小且满足g(x)0g(\boldsymbol{x}) \leq 0g(x)≤0,在这样的情况下,必然有
(2.1)f(x)+wg(x)=0 \begin{aligned} \bigtriangledown f(\boldsymbol{x^*}) + w \bigtriangledown g(\boldsymbol{x^*}) = 0 \tag{2.1} \end{aligned} ▽f(x∗)+w▽g(x∗)=0​(2.1)
而公式(2.1)在某些条件下刚好是公式(1.2):L(x,w)=f(x)+wg(x)L(x, w) = f(\boldsymbol{x}) + wg(\boldsymbol{x})L(x,w)=f(x)+wg(x)对x\boldsymbol{x}x的偏导数等于000的情况。
L(x,w)x=f(x)+wg(x) \begin{aligned} \frac{\partial{L(\boldsymbol{x}, w)}}{\partial{\boldsymbol{x}}} = \bigtriangledown f(\boldsymbol{x}) + w \bigtriangledown g(\boldsymbol{x}) \end{aligned} ∂x∂L(x,w)​=▽f(x)+w▽g(x)​
那么,某些条件是什么呢?
找到这些条件,就可以嘿嘿嘿

  1. g(x)0g(\boldsymbol{x}) \leq 0g(x)≤0:这个没什么好说的,限制条件。

  2. w0w \geq 0w≥0:要满足这个条件,考虑g(x)&lt;0g(\boldsymbol{x})&lt;0g(x)<0和g(x)=0g(\boldsymbol{x})=0g(x)=0两种情况:
    (1). 当g(x)=0g(\boldsymbol{x^*})=0g(x∗)=0时:说明这个点在 g(x)=0g(\boldsymbol{x})=0g(x)=0构成的边界上,此时必然有f(x)\bigtriangledown f(\boldsymbol{x^*})▽f(x∗)和g(x)\bigtriangledown g(\boldsymbol{x^*})▽g(x∗)平行,但是无法保证他们俩方向和大小相同,因此标量w&gt;0w&gt;0w>0,使得等式(2.1)成立。
    g(x)=0, w>0的情况

    (2). 当g(x)&lt;0g(\boldsymbol{x^*})&lt;0g(x∗)<0时:说明这个点在g(x)=0g(\boldsymbol{x})=0g(x)=0构成边界的内部,此时限制条件g(x)0g(\boldsymbol{x}) \leq 0g(x)≤0就打酱油了,没卵用,可以直接通过条件f(x)=0\bigtriangledown f(\boldsymbol{x})=0▽f(x)=0获得最优点,这个时候w=0w=0w=0。
    g(x)<0, w=0的情况

  3. wg(x)=0wg(\boldsymbol{x})=0wg(x)=0:要加上这个条件的原因是,为了满足条件2中的两种情况。
    (2.2){g(x)0w0wg(x)=0 \begin{aligned} \left\{\begin{matrix} g(\boldsymbol{x}) \leq 0 \\ w \geq 0 \\ wg(\boldsymbol{x})=0 \end{matrix}\right. \tag{2.2} \end{aligned} ⎩⎨⎧​g(x)≤0w≥0wg(x)=0​​(2.2)
    所以啊,公式(2.2)就被称为Karush-Kuhn-Tucker, (KKT)条件。

2.2 多个限制条件的情况

一个限制条件说清楚了,那么多当有多个约束条件时,考虑lll个等式约束和kkk个不等式约束。
(2.3)minxf(x)s.t. ci(x)0 (i=1,2,...,k) hj(x)=0 (j=1,2,...,l) \begin{aligned} \min _x f(\boldsymbol{x}) &amp; \\ s.t. \ c_i(\boldsymbol{x}) \leq 0 \ &amp; (i=1,2,...,k)\\ \ h_j(\boldsymbol{x}) = 0 \ &amp; (j=1,2,...,l) \tag{2.3} \end{aligned} xmin​f(x)s.t. ci​(x)≤0  hj​(x)=0 ​(i=1,2,...,k)(j=1,2,...,l)​(2.3)
这个时候,引入拉格朗日算子α=[α1,α2,...,αl]\boldsymbol{\alpha}=[\alpha_1,\alpha_2,...,\alpha_l]α=[α1​,α2​,...,αl​]和β=[β1,β2,...,βk]\boldsymbol{\beta}=[\beta_1,\beta_2,...,\beta_k]β=[β1​,β2​,...,βk​],拉格朗日函数为
(2.4)L(x,α,β)=f(x)+i=1kαici(x)+j=1lβjhj(x) \begin{aligned} L(\boldsymbol{x}, \boldsymbol{\alpha}, \boldsymbol{\beta}) = f(\boldsymbol{x}) + \sum_{i=1}^{k} \alpha_i c_i(\boldsymbol{x}) + \sum_{j=1}^{l} \beta_j h_j(\boldsymbol{x}) \tag{2.4} \end{aligned} L(x,α,β)=f(x)+i=1∑k​αi​ci​(x)+j=1∑l​βj​hj​(x)​(2.4)
则他们的KKT条件是:
(2.5){ci(x)0 (i=1,2,...,k)αi0 (i=1,2,...,k)αici(x)=0hj(x)=0 \begin{aligned} \left\{\begin{matrix} c_i(\boldsymbol{x}) \leq 0 \ &amp; (i=1,2,...,k)\\ \alpha_i \geq 0 \ &amp; (i=1,2,...,k)\\ \alpha_i c_i(\boldsymbol{x})=0\\ h_j(\boldsymbol{x})=0 \end{matrix}\right. \tag{2.5} \end{aligned} ⎩⎪⎪⎨⎪⎪⎧​ci​(x)≤0 αi​≥0 αi​ci​(x)=0hj​(x)=0​(i=1,2,...,k)(i=1,2,...,k)​(2.5)
这有啥难的?瞎几把套就行


3. 对偶问题

KKT条件中提到,在公式(1.2)可能取到的所有点中,的的确确找到了一个x\boldsymbol{x^*}x∗,使得f(x)f(\boldsymbol{x})f(x)最小且满足g(x)0g(\boldsymbol{x}) \leq 0g(x)≤0。

但是,如果找不到呢。。。
马德!!!

3.1 原始问题

3.1.1 一个限制条件的情况下

找不到x\boldsymbol{x^*}x∗,公式(2.1)就不能成立了,
(2.1)f(x)+wg(x)=0 \begin{aligned} \bigtriangledown f(\boldsymbol{x^*}) + w \bigtriangledown g(\boldsymbol{x^*}) = 0 \tag{2.1} \end{aligned} ▽f(x∗)+w▽g(x∗)=0​(2.1)
但是,我要怎么告诉公式(2.1)不能成立啊!!!

找不到x\boldsymbol{x^*}x∗,说明存在一个xfake\boldsymbol{x^{fake}}xfake违背了g(x)0g(\boldsymbol{x}) \leq 0g(x)≤0的条件,有g(xfake)&gt;0g(\boldsymbol{x^{fake}}) &gt; 0g(xfake)>0,既然这样的话,在
L(x,w)=f(x)+wg(x) \begin{aligned} L(\boldsymbol{x}, w) = f(\boldsymbol{x}) + wg(\boldsymbol{x}) \end{aligned} L(x,w)=f(x)+wg(x)​
中,我们令w+w \rightarrow {+\infty}w→+∞。这样的话,

所以就变成了
(3.1)minxmaxwL(x,w) \begin{aligned} \min _x \max_w L(\boldsymbol{x}, w)\tag{3.1} \end{aligned} xmin​wmax​L(x,w)​(3.1)

3.2.2 多个限制条件的情况下

(3.2)minxmaxαi,βj;αi0L(x,α,β) \begin{aligned} \min _x \max_{\alpha_i, \beta_j; \alpha_i \geq0} L(\boldsymbol{x}, \boldsymbol{\alpha}, \boldsymbol{\beta})\tag{3.2} \end{aligned} xmin​αi​,βj​;αi​≥0max​L(x,α,β)​(3.2)

again???

3.2 转化者

换个心情,换个思路。。。(透。。。)
这个问题称为广义拉格朗日函数的极大极小问题
(3.3)maxαi,βj;αi0minxL(x,α,β) \begin{aligned} \max_{\alpha_i, \beta_j;\alpha_i \geq0} \min _x L(\boldsymbol{x}, \boldsymbol{\alpha}, \boldsymbol{\beta})\tag{3.3} \end{aligned} αi​,βj​;αi​≥0max​xmin​L(x,α,β)​(3.3)
也就是求
(3.4)maxαi,βj;minxL(x,α,β)s.t. αi0 \begin{aligned} \max_{\alpha_i, \beta_j;}\min _x L(\boldsymbol{x}, \boldsymbol{\alpha}, \boldsymbol{\beta})\\ s.t. \ \alpha_i \geq0 \tag{3.4} \end{aligned} αi​,βj​;max​xmin​L(x,α,β)s.t. αi​≥0​(3.4)

3.3 大小安排一波???

假设公式(3.2) 原始人 的最优解为pp^*p∗,公式(3.4) 转化者 的最优解为dd^*d∗。
因为
(3.5)minxL(x,α,β)L(x,α,β)maxαi,βj;αi0L(x,α,β) \begin{aligned} \min _x L(\boldsymbol{x}, \boldsymbol{\alpha}, \boldsymbol{\beta}) \leq L(\boldsymbol{x}, \boldsymbol{\alpha}, \boldsymbol{\beta}) \leq \max_{\alpha_i, \beta_j; \alpha_i \geq0} L(\boldsymbol{x}, \boldsymbol{\alpha}, \boldsymbol{\beta}) \tag{3.5} \end{aligned} xmin​L(x,α,β)≤L(x,α,β)≤αi​,βj​;αi​≥0max​L(x,α,β)​(3.5)
因为原始人和转化者都有最优解,所以有
(3.6)d=maxαi,βj;minxL(x,α,β)minxmaxαi,βjL(x,α,β)=p \begin{aligned} d^*=\max_{\alpha_i, \beta_j;} \min _x L(\boldsymbol{x}, \boldsymbol{\alpha}, \boldsymbol{\beta}) \leq \min_x \max_{\alpha_i, \beta_j} L(\boldsymbol{x}, \boldsymbol{\alpha}, \boldsymbol{\beta})=p^* \tag{3.6} \end{aligned} d∗=αi​,βj​;max​xmin​L(x,α,β)≤xmin​αi​,βj​max​L(x,α,β)=p∗​(3.6)
所以在KKT条件中,还要加上这几条,最后是:
(3.7){xL(x,α,β)=0αL(x,α,β)=0βL(x,α,β)=0ci(x)0 (i=1,2,...,k)αi0 (i=1,2,...,k)αici(x)=0hj(x)=0 \begin{aligned} \left\{\begin{matrix} \bigtriangledown_{\boldsymbol{x}}L(\boldsymbol{x}, \boldsymbol{\alpha}, \boldsymbol{\beta})=0\\ \bigtriangledown_{\boldsymbol{\alpha}}L(\boldsymbol{x}, \boldsymbol{\alpha}, \boldsymbol{\beta})=0\\ \bigtriangledown_{\boldsymbol{\beta}}L(\boldsymbol{x}, \boldsymbol{\alpha}, \boldsymbol{\beta})=0\\ c_i(\boldsymbol{x}) \leq 0 \ &amp; (i=1,2,...,k)\\ \alpha_i \geq 0 \ &amp; (i=1,2,...,k)\\ \alpha_i c_i(\boldsymbol{x})=0\\ h_j(\boldsymbol{x})=0 \end{matrix}\right. \tag{3.7} \end{aligned} ⎩⎪⎪⎪⎪⎪⎪⎪⎪⎨⎪⎪⎪⎪⎪⎪⎪⎪⎧​▽x​L(x,α,β)=0▽α​L(x,α,β)=0▽β​L(x,α,β)=0ci​(x)≤0 αi​≥0 αi​ci​(x)=0hj​(x)=0​(i=1,2,...,k)(i=1,2,...,k)​​(3.7)


4. 小结

所以,要求一个连续可微函数的最小值,并且还有一堆限制条件,可以这么做:

  1. 引入拉格朗日乘子,构造拉格朗日函数;
  2. 计算拉格朗日函数对未知参数的偏导数,并令导数为0,求解参数。
  3. 将参数代入拉格朗日函数中,并转化成对偶问题后求解。(转换的时候注意其KKT条件)
    疲惫。。。

5. 参考文献

《西瓜书》
《统计学习方法》
拉格朗日乘子法

标签:拉格朗,...,KKT,boldsymbol,beta,0g,alpha,乘子,aligned
来源: https://blog.csdn.net/u012759262/article/details/100796979