28-正定矩阵和最小值

一、本讲的目标

　1）怎么判断一个矩阵是否是正定矩阵

　2）为什么我们对正定矩阵如此感兴趣

 

二、正定矩阵

　我们从2*2的对称矩阵开始讲，注意：线性代数的范围内正定矩阵需要是对称矩阵

　设$A = \left[\begin{array}{ll}{a} & {b} \\ {b} & {c}\end{array}\right]$，如何判断是否为正定矩阵

　给出下面四种判定方法：

　　1）特征值判定：$\lambda_1 > 0, \lambda_2 > 0$，即所有特征值都大于0

　　2）行列式判定：$a > 0, ac - b^2 > 0$，即顺序主子式皆为正值

　　3）主元判断：$a > 0, \frac{ac - b^2}{a} > 0$，即主元皆为正数

　　4）*判定式：$x^TAx > 0$

 

　例如矩阵$A = \left[\begin{array}{ll}{2} & {6} \\ {6} & {?}\end{array}\right]$

　　若上面的?填18以上的整数，则矩阵是正定矩阵，如果正好是18，那么矩阵行列式为0，此时的$A$为半正定矩阵，只有一个主元2，且$A$为奇异矩阵，特征值为$0,20$，都大于等于0

　　上面从主元，特征值，行列式角度进行了正定性判断，下面我们从$x^TAx > 0$来判断

　　假设$A = \left[\begin{array}{ll}{2} & {6} \\ {6} & {18}\end{array}\right]$

　　我们看到对应的$x_1^2, x_1x_2, x_2^2$前的系数分别是$\left[\begin{array}{ll}{a} & {b} \\ {b} & {c}\end{array}\right]$中的$a, 2b, c$

　　这就是二次型，所谓的判断$A$是不是正定矩阵，也就是判别式$x^TAx$所构造出来的类似$2x_1^2 + 12x_1x_2 +18x_2^2$的二次型是否恒大于0，对于本例来说，显然不是恒正的，因为其结果可以为0，这表明$A$为半正定时，其对应的二次型会在某些情况下得到0

　　那么$A$不是正定时，判别式$x^TAx$会呈现出一种什么样的状态呢？我们不妨取$?$为7，即

$A = \left[\begin{array}{ll}{2} & {6} \\ {6} & {7}\end{array}\right]$

$x^TAx = 2x_1^2 + 12x_1x_2 +7x_2^2$

　　将其看做函数：$f(x, y) = 2x^2 + 12xy +7y^2$，绘制在坐标轴中会得到一个马鞍面，如下图：

　　其中有一个鞍点，在不同的方向观察，他会呈现不同的性质，容易看出，这个鞍点是某个方向上的极大值，也是某个方向上的极小值。其中的最佳观察方向是沿特征向量的方向，到这里我们就不在深入往下说了（再说我也不会了...），显然这里的$A$不是正定矩阵

　　说完了半正定矩阵和非正定矩阵，接下来我们举一个正定矩阵的例子，并说一下他的特点以及二次型与我们的正定矩阵之间的关系。我们取

$A = \left[\begin{array}{ll}{2} & {6} \\ {6} & {20}\end{array}\right]$

经计算其二次型为：$x^TAx = 2x_1^2 + 12x_1x_2 + 20x_2^2$

写成函数形式：$f(x, y) = 2x^2 + 12xy + 20y^2$

　　其函数图像为碗状，图像切面类似二次函数形状：

很明显函数最小值在原点，在微积分中，我们判断函数是否有最小值是通过一阶导数为0，二阶导数大于0来判断的

而在线性代数中，我们判断是否有最小值是通过判断二阶导数矩阵是否为正定来判断的

另外我们对上面的函数进行配方：$f(x, y) = 2x^2 + 12xy +20y^2 = 2(x+3y)^2 + 2y^2$

　　另外配方法反应在线性代数中就是消元：$A = \left[\begin{array}{ll}{2} & {6} \\ {6} & {20}\end{array}\right]$中每个元素都表示着$f(x, y)$中对应项前面的系数，经过消元，得到矩阵$\left[\begin{array}{ll}{2} & {6} \\ {0} & {2}\end{array}\right]$，对应看来：

 

关系显而易见，括号外的系数是主元，这样一切就联系起来了

 

　　此结论可以推广到$n$维，同样我们在学习二阶偏导数极值时的$f_{xx}, f_{yy}, (f_{xy})^2$之间的关系也可以反映到矩阵的正定判断上，即矩阵

 

 　　就是二阶导数矩阵，直接将原来的矩阵：

 

　　对应元素求导，判断是否有极小值的条件就是判断二阶导数矩阵是否为正定矩阵，同样可以推广到$n*n$矩阵中

 

三、三维矩阵实例

　假设三维矩阵如下，判定这个矩阵反映出来的性质：

　$A = \left[\begin{array}{lll}{2} & {-1} & {0} \\ {-1} & {2} & {-1}\\ {0} & {-1} & {2}\end{array}\right]$

其二次型为：$x^TAx = 2x_1^2 + 2x_2^2 + 2x_3^2 - 2x_1x_2 - 2x_2x_3$，配方后容易看出是正定的

好好体会一下

 

四、致谢

　本讲参考，感谢作者分享，知识共享，改变世界！ 

标签：2x,right,end,28,矩阵,正定,最小值,array
来源： https://www.cnblogs.com/always-fight/p/12336382.html