首页 > 其他分享> > 从拉格朗日乘数法到最大熵再到基因表达分析

从拉格朗日乘数法到最大熵再到基因表达分析

2020-02-01 14:43:19 作者：互联网

从拉格朗日乘数法到最大熵再到基因表达分析

前言：本文将简要的介绍一下拉格朗日乘数法，并填一下上篇文章挖的坑（证明当为均匀分布时，熵值达到最大。），最后简要介绍熵在基因表达分析中的应用。
首先是拉格朗日乘数法的简要介绍。主要以二元函数为例。(大部分参考一篇文献，文献见末尾 $^{[1]}$ [1]) 拉格朗日乘数法是求解条件极值问题的一大利器。在《高等数学》同济版中是这样介绍的：“考虑如下的条件极值：求二元函数z=f(x,y)，在条件 $\phi ( x , y )$ ϕ(x,y)=0下的极值和最值。”
假定函数z=f(x,y)在p( $x_{0}$ x0, $y_{0}$ y0)取得极值，并且 $\phi(x_{0},y_{0})=0$ ϕ(x0,y0)=0，若在p的某个邻域内二元函数z=f(x,y)和方程 $\phi ( x , y )$ ϕ(x,y)=0都存在连续的一阶偏导数，且 $\phi _ { y } \left( x _ { 0 } , y _ { 0 } \right) \neq 0$ ϕy(x0,y0)=0
则根据隐函数的存在定理，方程 $\phi ( x , y )$ ϕ(x,y)=0确定一个连续且有连续导数的函数y= $\psi ( x )$ ψ(x)，将其带入二元函数中可得z=f(x, $\psi ( x )$ ψ(x))
有假设可知，函数z=f(x,y)在p点取得极值，即函数z=f(x,y)在x= $x_{0}$ x0取得极值，对此时的一元函数求导得：
$\frac { d z } { d x } = f _ { x } \left( x _ { 0 } , y _ { 0 } \right) + \left. f _ { y } \left( x _ { 0 } , y _ { 0 } \right) \frac { d y } { d x } \right| _ { x = x _ { 0 } } = 0$ dxdz=fx(x0,y0)+fy(x0,y0)dxdy∣∣∣x=x0=0
而对函数y= $\psi(x)$ ψ(x)进行隐函数求导有：
$\left. \frac { d y } { d x } \right| _ { x = x _ { 0 } } = - \frac { \phi _ { x } \left( x _ { 0 } , y _ { 0 } \right) } { \phi _ { y } \left( x _ { 0 } , y _ { 0 } \right) }$ dxdy∣∣∣x=x0=−ϕy(x0,y0)ϕx(x0,y0)
将隐函数的求导结果带入 $\frac { d z } { d x }$ dxdz式子中得：
$f _ { x } \left( x _ { 0 } , y _ { 0 } \right) - f _ { y } \left( x _ { 0 } , y _ { 0 } \right) \frac { \varphi _ { x } \left( x _ { 0 } , y _ { 0 } \right) } { \phi _ { y } \left( x _ { 0 } , y _ { 0 } \right) } = 0$ fx(x0,y0)−fy(x0,y0)ϕy(x0,y0)φx(x0,y0)=0
且令 $\lambda$ λ= $- \frac { f _ { y } \left( x _ { 0 } , y _ { 0 } \right) } { \phi _ { y } \left( x _ { 0 } , y _ { 0 } \right) }$ −ϕy(x0,y0)fy(x0,y0)
则p点是等式条件约束下的多元函数极值的必要条件是：
$\left\{ \begin{array} { l } { f _ { x } ( x , y ) - \lambda \phi _ { x } \left( x _ { 0 } , y _ { 0 } \right) = 0 } \\ { f _ { y } \left( x _ { 0 } , y _ { 0 } \right) - \lambda \phi _ { y } \left( x _ { 0 } , y _ { 0 } \right) = 0 } \\ { \phi _ { \left( x , y _ { 0 } \right) = 0 } } \end{array} \right.$ ⎩⎨⎧fx(x,y)−λϕx(x0,y0)=0fy(x0,y0)−λϕy(x0,y0)=0ϕ(x,y0)=0
&若我们引入辅助函数L(x,y)=f(x,y)- $\lambda\phi(x,y)$ λϕ(x,y)则对函数L对x,y, $\lambda$ λ,求偏导数后不难看出就是必要条件的三个等式。这个函数L就是拉格朗日函数， $\lambda$ λ就是拉格朗日乘子。若是对拉格朗日函数及乘子的构造有疑问，可以参考文末的文献，其给出了几何角度的解释。
下面我们运用拉格朗日乘数法证明当是均匀分布时，取得最大熵值。
熵： $H (X) = - \sum _ { i } ^nP \left( x _ { i } \right) \log P \left( x _ { i } \right)$ H(X)=−∑inP(xi)logP(xi) ，且 $\sum_{i}^nP(x_{i})$ ∑inP(xi)=1 (log的底数默认为2)
构造拉格朗日函数L(x)= $- \sum _ { i }^n P \left( x _ { i } \right) \log P \left( x _ { i } \right)$ −∑inP(xi)logP(xi)+ $\lambda$ λ( $\sum_{i}$ ∑iP( $x_{i}$ xi)-1)
然后对所有的 $P(x_{i})$ P(xi)求偏导：
$\frac { \partial } { \partial P (x _ { i }) }$ ∂P(xi)∂( $- \sum _ { i }^n P \left( x _ { i } \right) \log P \left( x _ { i } \right)$ −∑inP(xi)logP(xi)+ $\lambda$ λ( $\sum_{i}$ ∑iP( $x_{i}$ xi)-1))
得到n个等式的微分,且取最值时，一阶导数为 0： $- \left( \log _ { 2 } p( x _ { i })+ \frac { 1 } { \ln 2 } \right) + \lambda = 0$ −(log2p(xi)+ln21)+λ=0
进而得到：
$P \left( x _ { i } \right) = 2 ^ { \lambda - \frac { 1 } { \ln 2 } }$ P(xi)=2λ−ln21
所以我们易知 $P(x_{1})$ P(x1)= $P(x_{}2)$ P(x2)= $P(x_{3})$ P(x3)=…= $P(x_{n})$ P(xn)= $2^{\lambda-{\frac{1}{ln2} }}$ 2λ−ln21

且 $\sum_{i}^nP(x_{i})$ ∑inP(xi)=1 :
故 $P(x_{1})$ P(x1)= $P(x_{}2)$ P(x2)= $P(x_{3})$ P(x3)=…= $P(x_{n})$ P(xn)= $\frac{1}{n}$ n1
故此时为均匀分布。
且将结果带入H(X)中得到最大的熵值为： $log_{2}n$ log2n
在Schug等人的文章《Promoter features related to tissue specificity as measured by Shannon entropy》提到了用信息熵来衡量某些基因在组织中相对表达水平。

Given expression levels of a gene in N tissues, we defined the
relative expression of a gene g in a tissue t as $p_{t|g}$ pt∣g =
$w_{g,t}$ wg,t / $\sum_{1 ≤ t ≤ N}$ ∑1≤t≤N $w_{g,t}$ wg,t where $w_{g,t}$ wg,t is the expression level of the gene in the tissue. The entropy of a gene’s expression distribution is $H_g$ Hg
= $\sum_{1 ≤ t ≤ N} - p_{t|g} log_2(p_{t|g})$ ∑1≤t≤N−pt∣glog2(pt∣g). $H_g$ Hg has units s and ranges from
zero for genes expressed in a single tissue to $log_2(N)$ log2(N) for genes
expressed uniformly in all tissues considered. The maximum
value of $H_g$ Hg depends on the number of tissues considered so
we will report this number when appropriate. $^{[2]}$ [2]

如上文所说：如果某基因在这N个组织中的表达水平趋近于相同(即该基因倾向于广泛表达),则熵值趋近于最大值 $log_{2}N$ log2N,若某基因倾向于只在某一组织中表达，则熵值趋近于0

参考文献：[1] 吴元泽. 关于拉格朗日乘数法的一点思考[J]. 教育教学论坛, 2018, No.350(08):232-233.
[2] Schug J, Schuller W P, Kappen C, et al. Promoter features related to tissue specificity as measured by Shannon entropy[J]. Genome biology, 2005, 6(4): R33.

奋发秃强发布了56 篇原创文章 · 获赞 13 · 访问量 9355 私信关注

标签：拉格朗,phi,xi,法到,right,y0,乘数,x0,left
来源： https://blog.csdn.net/weixin_43770577/article/details/104133504