其他分享
首页 > 其他分享> > 凸优化第三章凸函数 3.3 共轭函数

凸优化第三章凸函数 3.3 共轭函数

作者:互联网

3.3 共轭函数

  1. 定义
  2. 基本性质

定义

设函数f:R^n\rightarrow R,定义函数f^*:R^n\rightarrow R为:

f^*(y)=\underset{x\in dom(f)}{sup}(y^Tx-f(x))

此函数称为f(x)的共轭函数。从3.2节逐点上确界的内容也可以看出,此函数也是g(x,y)=(y^Tx-f(x))的逐点上确界函数,而g(x,y)=(y^Tx-f(x))是关于y的仿射函数,可以将其看成是凸函数,这样f^*(y)也是凸函数。故对任意的函数f(x),f^*(y)为凸函数。

在实际问题中,可以将x理解为生产一个产品所需要的资源,而f(x)则为生产x的资源的价格,y则是x的销售价格,那么f^*(y)也就变成了最大盈利问题。

几何上,共轭函数f^*(y)表示了线性函数y^Tx和f(x)之间的最大差异。如下图:

 

基本性质

Fenchel不等式

由定义:

f^*(y)=\underset{x\in dom(f)}{sup}(y^Tx-f(x))

可知:

f(x)+f^*(y)\leq y^Tx=x^Ty

此为Fenchel不等式。

共轭的共轭

凸函数f的共轭函数的共轭函数为函数f本身。

可微函数

设函数f是凸函数且可微,dom(f)=R^n,使y^Tx-f(x)最大,对x求导,得到:

\frac{\partial y^Tx-f(x)}{\partial x}=y-\bigtriangledown f(x)

令其为0,得到:

y=\bigtriangledown f(x)

假设使y^Tx-f(x)的x为x^*,则y=\bigtriangledown f(x^*),代入y^Tx-f(x)得到:

\bigtriangledown^T f(x^*)x^*-f(x^*)=(x^*)^T\bigtriangledown f(x^*)-f(x^*)

所以如果给定y,可以通过求解方程y=\bigtriangledown f(z),得到z,从而得到共轭函数f^*(y)

换一个角度理解:

\forall z\in R,令 y=\bigtriangledown f(z),则f^*(y)=z^T\bigtriangledown f(z)-f(z)

伸缩变换和复合仿射变换

(1)若a>0,b\in R,g(x)=af(x)+b\Rightarrow g^*(y)=af^*(y/a)-b

证明:

g^*(y)=\underset{x\in dom(f)}{sup}y^Tx-af(x)-b

对x求导,并令其为0,得到:

\frac{\partial g^*(y)}{\partial x}=y-a\bigtriangledown f(x)=0\Rightarrow y=a\bigtriangledown f(x)

此时令最大解x^*,则y=a\bigtriangledown f(x^*),代入

g^*(y)=a \bigtriangledown^T f(x^*)x^*-af(x^*)-b=a(\bigtriangledown^T f(x^*)x^*-f(x^*))-b

再看f的共轭函数f^*(y),对x求导,并令其为0,记最大解为x^{*1}

y^{'}=\bigtriangledown f(x^{*1})

f^*(y^{'})=\bigtriangledown ^Tf(x^{*1})x^{*1}-f(x^{*1})

因为a>0,所以g(x)和f(x)的最大解是同一个解,故x^*=x^{*1}

所以,y^{'}=y/a,故:

g^*(y)=a(\bigtriangledown^T f(x^*)x^*-f(x^*))-b=af^*(y/a)-b

(2)设A\in R^{n\times n}非奇异,b\in R^n,则函数g(x)=f(Ax+b)的共轭函数为g^*(y)=f^*(A^{-T}y)-b^TA^{-T}y,且定义域为

dom(g^*)=A^Tdom(f^*)

证明:

g^*(y)=\underset{x\in dom(f)}{sup}y^Tx-f(Ax+b)

对x求导,并令其为0,得到:

\frac{\partial g^*(y)}{\partial x}=y-A^T\bigtriangledown f(Ax+b)=0\Rightarrow y=A^T\bigtriangledown f(Ax+b)

记最大解为x^{*1},则:

g^*(y)=\bigtriangledown^T f(Ax^{*1}+b)Ax^{*1}-f(Ax^{*1}+b)

再看f的共轭函数f^*(y),对x求导,并令其为0,记最大解为x^{*}

y^{'}=\bigtriangledown f(x^{*})

f^*(y^{'})=\bigtriangledown ^Tf(x^{*})x^{*}-f(x^{*})

g(x)和f(x)的最大解是同一个解,故x^*=Ax^{*1}+b\Rightarrow x^{*1}=A^{-1}(x^*-b),代入到g^*(y)

g^*(y)=\bigtriangledown^T f(Ax^{*1}+b)AA^{-1}(x^*-b)-f(Ax^{*1}+b)

=\bigtriangledown^T f(x^*)x^*-\bigtriangledown^T f(x^*)b-f(x^*)=f^*(y^{'})-\bigtriangledown^T f(x^*)b

y=A^T\bigtriangledown f(Ax^{*1}+b)=A^T\bigtriangledown f(x^*)\Rightarrow \bigtriangledown f(x^*)=(A^T)^{-1}y

代入:g^*(y)=f^*(y^{'})-((A^T)^{-1}y)^Tb=f^*(y^{'})-b^T(A^T)^{-1}y

y^{'}=\bigtriangledown f(x^{*})y=A^T\bigtriangledown f(x^*)\Rightarrow y^{'}=(A^T)^{-1}y

故:g^*(y)=f^*((A^T)^{-1}y)-b^T(A^T)^{-1}y

得证

独立函数的和

如果函数f(u,v)=f_1(u)+f_2(v),且f_1,f_2是凸函数,且共轭函数分别为f_1^*,f_2^*,则f^*(w,z)=f_1^*(w)+f_2^*(z)

 

来源:https://blog.csdn.net/wangchy29/article/details/86536727

标签:并令,函数,凸函数,代入,3.3,求导,共轭
来源: https://blog.csdn.net/hyl1181/article/details/111304033