其他分享
首页 > 其他分享> > 3.1 Real Symmetric Matrices and Positive Definiteness 阅读笔记

3.1 Real Symmetric Matrices and Positive Definiteness 阅读笔记

作者:互联网

实对称矩阵与正定性

reference的内容为唯一教程, 接下来的内容仅为本人的课后感悟, 对他人或无法起到任何指导作用.

Reference

  1. Course website: Symmetric Matrices and Positive Definiteness | Linear Algebra | Mathematics | MIT OpenCourseWare
  2. Course video: 【完整版-麻省理工-线性代数】全34讲 配套教材_哔哩哔哩_bilibili
  3. Course summary: Lecture 25: Symmetric matrices and positive definite­ness (mit.edu)
  4. Extra reading: 线性代数与解析几何(第二版)6.2.1 节定理 6.2.3,魏战线 李继成 编

这一个 Unit 的内容比较杂, 前面还是对特征值和特征向量的继续讨论, 只不过对象放到了一类特殊矩阵: 对称矩阵. 有关"对称"的定义, 在实对称矩阵中很直观, 接着我们会发现实对称矩阵的很多性质, 也会引入二次型和正定的定义. 对复矩阵来说, 要考虑的是"共轭对称", 我们会简单说明其在 FFT 中的应用.

接下来的内容就比较散了. SVD, 线性变换与基变换, 伪逆. 其中线性变换与基变换已经早早提到过, 但是在这一讲将会结合 3Blue1Brown 以更宏观的视角关注!

那就先从实对称矩阵开始!

Real Symmetric Matrices

对称矩阵的定义是 \(A=A^{\mathrm{T}}\), 实对称矩阵需要保证元素均为实数.

Properties

实对称矩阵有两个特性:

  1. 特征值为实数. (旋转矩阵特征值为纯虚数)
  2. 特征向量相互正交. (可以选出相互正交/ orthonormal 的向量)

在通常(可对角化)情况下, 一个矩阵可以化为: \(A=S\varLambda S^{-1}\);

在实对称的情况下, 则有 \(A=Q\varLambda Q^{-1}\), 而对于标准正交矩阵, 有 \(Q=Q^{\mathrm{T}}\), 所以对称矩阵可以写为

\[A=Q\varLambda Q^{\mathrm{T}} \]

又可以写为

\[\varLambda=Q^{\mathrm{T}} A Q \]

这个分解本身就代表着对称, \(\left(Q\varLambda Q^{\mathrm{T}}\right)^{\mathrm{T}}=Q\varLambda Q^{\mathrm{T}}\).

Why?

一. 实对称矩阵的特征值为实数.

对于矩阵 \(A \bm{x}=\lambda \bm{x}\), 两边取共轭有\(\bar A \bar{\bm{x}}=\bar\lambda \bar {\bm{x}}\).

因为实矩阵, 因此有 \(A\bar {\bm{x}}=\bar\lambda \bar {\bm{x}}\), 从这一点也能看出实对称矩阵如果有复特征值则一定共轭成对出现, 对应特征向量也是共轭成对的.

两边取转置, 对称矩阵, 有 \({\bar{\bm{x}}^{\mathrm{T}}A^{\mathrm{T}}=\bar{\bm{x}}^{\mathrm{T}}\bar\lambda}=\bar{\bm{x}}^{\mathrm{T}}A\), 对 \(\bar{\bm{x}}^{\mathrm{T}}A\) 和 \(\bar{\bm{x}}^{\mathrm{T}}\bar\lambda\) 右乘 \(\bm{x}\), 得 $\bar{\bm{x}}^{\mathrm{T}}A \bm{x} = \bar{\bm{x}}^{\mathrm{T}} \lambda \bm{x} = \bar{\bm{x}}^{\mathrm{T}} \bar{\lambda} \bm{x} $.

因此有 \(\bar{\lambda} \bar{\bm{x}}^{\mathrm{T}}\bm{x} = {\lambda} \bar{\bm{x}}^{\mathrm{T}}\bm{x}\).

而特征向量不可能是零向量, 因此 \(\bar{\bm{x}}^{\mathrm{T}}\bm{x}=\begin{bmatrix}\bar {{x}}_1&\bar {{x}}_2&\cdots&\bar {{x}}_n\end{bmatrix}\begin{bmatrix}x_1\\x_2\\\vdots\\x_n\end{bmatrix}=\bar {{x}}_1x_1+\bar {{x}}_2x_2+\cdots+\bar {{x}}_nx_n=\displaystyle\sum_{i=1}^{n} \left\vert x_i \right\vert ^{2} > 0\). 所以两边消去得到 \(\lambda = \bar{\lambda}\), 特征值一定为实数.

二. 实对称矩阵一定可以找出组成标准正交基的特征向量

这个证明相当的麻烦, 我又看了一遍教材才看明白... 用数学归纳法, 当 \(n = 1\) 的时候, 显然成立, 因为只有一个独立的特征向量 \(\begin{bmatrix} 1 \\\end{bmatrix}\).

设 \(n = k - 1, k > 2\) 成立. 则当 \(n = k\) 时, 设 \(\lambda_1\) 为 \(k\) 阶实对称矩阵 \(A_k\) 的特征值, \(\bm{x}_1\) 为特征向量.

这时我们一定可以将 \(\bm{x}_1\) 扩展为 \(\mathbb{R}^{n}\) 的标准正交基 \(\begin{bmatrix} \alpha_1 & \cdots & \alpha_n \\\end{bmatrix}\). 怎么做呢? 将 \(\bm{x}_1\) 单位化得到 \(\alpha_1\), 再取零空间 \(N(\alpha_1^{\mathrm{T}})\) 的标准正交基 (用 Gram-Schmidt 方法) 得到 $\begin{bmatrix} \alpha_2 & \cdots & \alpha_n \\end{bmatrix} $ (显然秩为 1, 解空间维度为 n-1).

设 \(P = \begin{bmatrix} \alpha_1 & \cdots & \alpha_n \\\end{bmatrix}\). 则 \(A_k P = \begin{bmatrix} \lambda_1 \alpha_1 & A \alpha_2 & \cdots & A \alpha_n \\\end{bmatrix}\). 通过数感玄学可得:

\[\begin{align*} A_k P &= \begin{bmatrix} \lambda_1 \alpha_1 & A \alpha_2 & \cdots & A \alpha_n \\\end{bmatrix}\\ &= \begin{bmatrix} \alpha_1 & \cdots & \alpha_n \\\end{bmatrix} \begin{bmatrix} \lambda_1 & x_{12} & \cdots & x_{1n} \\ 0 & \vdots & & \vdots \\ \vdots & \vdots & & \vdots \\ 0 & x_{n2} & \cdots & x_{nn} \\\end{bmatrix}\\ &= P \begin{bmatrix} \lambda_1 & \bm{\beta}^{\mathrm{T}} \\ \boldsymbol{0} & A_{k-1} \\\end{bmatrix} \end{align*} \]

这里 \(A_k\) 是实对称矩阵, \(A_k = P \begin{bmatrix} \lambda_1 & \bm{\beta}^{\mathrm{T}} \\ \boldsymbol{0} & A_{k-1} \\\end{bmatrix} P^{\mathrm{T}}\) (\(P\) 是正交矩阵!). 对称矩阵取转置相同, 因此对 \(A_k\) 取转置得

\[\begin{bmatrix} \lambda_1 & \bm{\beta}^{\mathrm{T}} \\ \boldsymbol{0} & A_{k-1} \\\end{bmatrix} = \begin{bmatrix} \lambda_1 & \boldsymbol{0}^{\mathrm{T}} \\ \bm{\beta} & A_{k-1}^{\mathrm{T}} \\\end{bmatrix} \]

所以有 \(\bm{\beta} = \boldsymbol{0}\), \(A_{k-1}\) 也是实对称. (元素一定是实数啊). 根据归纳法, 存在正交矩阵 \(Q_{k-1}\) 使得 \(A_{k-1} = Q_{k-1} \varLambda_{k-1} Q_{k-1}^{\mathrm{T}}\).

通过数感玄学, 令 \(Q_k = P \begin{bmatrix} 1 & \boldsymbol{0}^{\mathrm{T}} \\ \boldsymbol{0} & Q_{k-1} \\\end{bmatrix}\), 发现这个矩阵也是正交的. 因为它的逆就是转置. 这时我们再用数感试试 \(Q_k^{\mathrm{T}} A_k Q_k\), 看看等于什么:

\[\begin{align*} Q_k^{\mathrm{T}} A_k Q_k &= \begin{bmatrix} 1 & \boldsymbol{0} \\ \boldsymbol{0}^{\mathrm{T}} & Q_{k-1}^{\mathrm{T}} \\\end{bmatrix} \begin{bmatrix} \lambda_1 & \bm{0}^{\mathrm{T}} \\ \boldsymbol{0} & A_{k-1} \\\end{bmatrix} \begin{bmatrix} 1 & \boldsymbol{0}^{\mathrm{T}} \\ \boldsymbol{0} & Q_{k-1} \\\end{bmatrix}\\ &= \begin{bmatrix} \lambda_1 & \boldsymbol{0} \\ \boldsymbol{0}^{\mathrm{T}} & Q_{k-1}^{\mathrm{T}} A_{k-1} Q_{k-1} \\\end{bmatrix}\\ &= \begin{bmatrix} \lambda_1 & \boldsymbol{0} \\ \boldsymbol{0}^{\mathrm{T}} & \varLambda_{k-1} \\\end{bmatrix}\\ &= \varLambda_k \end{align*} \]

易证 \(\lambda_2, \cdots , \lambda_n\) 均为 \(A_k\) 的特征值, 因此 \(Q_k\) 就是我们要找的标准正交基, 证毕.

Information about Real Symmetric Matrices

我们现在知道了实对称矩阵特征值和特征向量的信息, 有什么用呢? 接下来从这两个角度来解释一下.

Projection onto Eigenvectors

如果 \(A = A^{\mathrm{T}}\), 则有:

\[\begin{align*} A &= Q\varLambda Q^{\mathrm{T}}\\ &= \Bigg[\bm{q}_1\ \bm{q}_2\ \cdots\ \bm{q}_n\Bigg]\begin{bmatrix}\lambda_1& &\cdots& \\&\lambda_2&\cdots&\\\vdots&\vdots&\ddots&\vdots\\& &\cdots&\lambda_n\end{bmatrix}\begin{bmatrix}\quad \bm{q}_1^{\mathrm{T}}\quad\\\quad \bm{q}_2^{\mathrm{T}}\quad\\\quad \vdots \quad\\\quad \bm{q}_n^{\mathrm{T}}\quad\end{bmatrix}\\ &= \lambda_1 \bm{q}_1 \bm{q}_1^{\mathrm{T}}+\lambda_2 \bm{q}_2\bm{q}_2^{\mathrm{T}}+\cdots+\lambda_n \bm{q}_n \bm{q}_n^{\mathrm{T}} \end{align*} \]

注意这个展开式中的 \(\bm{q}\bm{q}^{\mathrm{T}}\), \(\bm{q}\) 是单位列向量所以 \(\bm{q}^{\mathrm{T}}\bm{q}=1\), 结合投影矩阵的知识有\(\displaystyle \frac{\bm{q}\bm{q}^{\mathrm{T}}}{\bm{q}^{\mathrm{T}}\bm{q}}=\bm{q}\bm{q}^{\mathrm{T}}\) 是 \(\bm{q}\) 方向上的投影矩阵, 很容易验证其性质. 逆等于转置, 平方不变. 因此:

每一个对称矩阵都可以分解为一系列相互正交的投影矩阵.

Information about Eigenvalues

我们已经知道实数特征值的符号和大小和系统稳定性有关. 对于微分方程 (笔记中跳过了, 详见现代控制理论...), 特征值的正负号会影响微分方程的收敛情况 (原课程第二十三讲, 需要实部为负的特征值保证收敛). 用消元法取得矩阵的主元, 观察主元的符号, 发现:

主元符号的正负数量与特征值的正负数量相同.

再判断大小 (离散系统). 发现 \(A-bI\) 的特征值会比原来 \(A\) 的特征值 \(\lambda\) 小 \(b\). 因此求 \(A-bI\) 有多少个正的主元, 就有多少满足 \(\lambda - b > 0\), 就能求出多少个 \(A\) 的特征值大于 \(b\).

Positive Definite Matrices

如果对称矩阵是"好矩阵", 则正定矩阵 (Positive Definite Matrices) 是其一个更好的子类. 正定矩阵指特征值均为正数的矩阵 (根据上面的性质有矩阵的主元均为正).

举个例子, \(\begin{bmatrix}5&2\\2&3\end{bmatrix}\), 由行列式消元知其主元为 \(5, \displaystyle \frac{11}{5}\), 于是特征值必然大于零. 果然求特征值有 \(\begin{vmatrix}5-\lambda&2\\2&3-\lambda\end{vmatrix}=\lambda^2-8\lambda+11=0, \lambda=4\pm\sqrt 5\). 正定.

正定矩阵的最重要的判断性质是, 各阶顺序主子式大于零. 对上面的例子有\(\begin{vmatrix}5\end{vmatrix}=5, \begin{vmatrix}5&2\\2&3\end{vmatrix}=11\).

我们看到正定矩阵将早期学习的的消元主元, 中期学习的的行列式, 后期学习的特征值结合在了一起.

标签:Real,bar,Positive,矩阵,Symmetric,bmatrix,bm,lambda,mathrm
来源: https://www.cnblogs.com/wind2375like/p/16145275.html