首页 > 其他分享> > 3.1 Real Symmetric Matrices and Positive Definiteness 阅读笔记

3.1 Real Symmetric Matrices and Positive Definiteness 阅读笔记

2022-04-14 16:32:19 作者：互联网

实对称矩阵与正定性

reference的内容为唯一教程, 接下来的内容仅为本人的课后感悟, 对他人或无法起到任何指导作用.

Reference

Course website: Symmetric Matrices and Positive Definiteness | Linear Algebra | Mathematics | MIT OpenCourseWare
Course video: 【完整版-麻省理工-线性代数】全34讲配套教材_哔哩哔哩_bilibili
Course summary: Lecture 25: Symmetric matrices and positive deﬁniteness (mit.edu)
Extra reading: 线性代数与解析几何（第二版）6.2.1 节定理 6.2.3，魏战线李继成编

这一个 Unit 的内容比较杂, 前面还是对特征值和特征向量的继续讨论, 只不过对象放到了一类特殊矩阵: 对称矩阵. 有关"对称"的定义, 在实对称矩阵中很直观, 接着我们会发现实对称矩阵的很多性质, 也会引入二次型和正定的定义. 对复矩阵来说, 要考虑的是"共轭对称", 我们会简单说明其在 FFT 中的应用.

接下来的内容就比较散了. SVD, 线性变换与基变换, 伪逆. 其中线性变换与基变换已经早早提到过, 但是在这一讲将会结合 3Blue1Brown 以更宏观的视角关注!

那就先从实对称矩阵开始!

Real Symmetric Matrices

对称矩阵的定义是 $A=A^{\mathrm{T}}$, 实对称矩阵需要保证元素均为实数.

Properties

实对称矩阵有两个特性:

特征值为实数. (旋转矩阵特征值为纯虚数)
特征向量相互正交. (可以选出相互正交/ orthonormal 的向量)

在通常(可对角化)情况下, 一个矩阵可以化为: $A=S\varLambda S^{-1}$；

在实对称的情况下, 则有 $A=Q\varLambda Q^{-1}$, 而对于标准正交矩阵, 有 $Q=Q^{\mathrm{T}}$, 所以对称矩阵可以写为

\[A=Q\varLambda Q^{\mathrm{T}} \]

又可以写为

\[\varLambda=Q^{\mathrm{T}} A Q \]

这个分解本身就代表着对称, $\left(Q\varLambda Q^{\mathrm{T}}\right)^{\mathrm{T}}=Q\varLambda Q^{\mathrm{T}}$.

Why?

一. 实对称矩阵的特征值为实数.

对于矩阵 $A \bm{x}=\lambda \bm{x}$, 两边取共轭有$\bar A \bar{\bm{x}}=\bar\lambda \bar {\bm{x}}$.

因为实矩阵, 因此有 $A\bar {\bm{x}}=\bar\lambda \bar {\bm{x}}$, 从这一点也能看出实对称矩阵如果有复特征值则一定共轭成对出现, 对应特征向量也是共轭成对的.

两边取转置, 对称矩阵, 有 ${\bar{\bm{x}}^{\mathrm{T}}A^{\mathrm{T}}=\bar{\bm{x}}^{\mathrm{T}}\bar\lambda}=\bar{\bm{x}}^{\mathrm{T}}A$, 对 $\bar{\bm{x}}^{\mathrm{T}}A$ 和 $\bar{\bm{x}}^{\mathrm{T}}\bar\lambda$ 右乘 $\bm{x}$, 得 $\bar{\bm{x}}^{\mathrm{T}}A \bm{x} = \bar{\bm{x}}^{\mathrm{T}} \lambda \bm{x} = \bar{\bm{x}}^{\mathrm{T}} \bar{\lambda} \bm{x} $.

因此有 $\bar{\lambda} \bar{\bm{x}}^{\mathrm{T}}\bm{x} = {\lambda} \bar{\bm{x}}^{\mathrm{T}}\bm{x}$.

而特征向量不可能是零向量, 因此 $\bar{\bm{x}}^{\mathrm{T}}\bm{x}=\begin{bmatrix}\bar {{x}}_1&\bar {{x}}_2&\cdots&\bar {{x}}_n\end{bmatrix}\begin{bmatrix}x_1\\x_2\\\vdots\\x_n\end{bmatrix}=\bar {{x}}_1x_1+\bar {{x}}_2x_2+\cdots+\bar {{x}}_nx_n=\displaystyle\sum_{i=1}^{n} \left\vert x_i \right\vert ^{2} > 0$. 所以两边消去得到 $\lambda = \bar{\lambda}$, 特征值一定为实数.

二. 实对称矩阵一定可以找出组成标准正交基的特征向量

这个证明相当的麻烦, 我又看了一遍教材才看明白... 用数学归纳法, 当 $n = 1$ 的时候, 显然成立, 因为只有一个独立的特征向量 $\begin{bmatrix} 1 \\\end{bmatrix}$.

设 $n = k - 1, k > 2$ 成立. 则当 $n = k$ 时, 设 $\lambda_1$ 为 $k$ 阶实对称矩阵 $A_k$ 的特征值, $\bm{x}_1$ 为特征向量.

这时我们一定可以将 $\bm{x}_1$ 扩展为 $\mathbb{R}^{n}$ 的标准正交基 $\begin{bmatrix} \alpha_1 & \cdots & \alpha_n \\\end{bmatrix}$. 怎么做呢? 将 $\bm{x}_1$ 单位化得到 $\alpha_1$, 再取零空间 $N(\alpha_1^{\mathrm{T}})$ 的标准正交基 (用 Gram-Schmidt 方法) 得到 $\begin{bmatrix} \alpha_2 & \cdots & \alpha_n \\end{bmatrix} $ (显然秩为 1, 解空间维度为 n-1).

设 $P = \begin{bmatrix} \alpha_1 & \cdots & \alpha_n \\\end{bmatrix}$. 则 $A_k P = \begin{bmatrix} \lambda_1 \alpha_1 & A \alpha_2 & \cdots & A \alpha_n \\\end{bmatrix}$. 通过数感玄学可得:

\[\begin{align*} A_k P &= \begin{bmatrix} \lambda_1 \alpha_1 & A \alpha_2 & \cdots & A \alpha_n \\\end{bmatrix}\\ &= \begin{bmatrix} \alpha_1 & \cdots & \alpha_n \\\end{bmatrix} \begin{bmatrix} \lambda_1 & x_{12} & \cdots & x_{1n} \\ 0 & \vdots & & \vdots \\ \vdots & \vdots & & \vdots \\ 0 & x_{n2} & \cdots & x_{nn} \\\end{bmatrix}\\ &= P \begin{bmatrix} \lambda_1 & \bm{\beta}^{\mathrm{T}} \\ \boldsymbol{0} & A_{k-1} \\\end{bmatrix} \end{align*} \]

这里 $A_k$ 是实对称矩阵, $A_k = P \begin{bmatrix} \lambda_1 & \bm{\beta}^{\mathrm{T}} \\ \boldsymbol{0} & A_{k-1} \\\end{bmatrix} P^{\mathrm{T}}$ ($P$ 是正交矩阵!). 对称矩阵取转置相同, 因此对 $A_k$ 取转置得

\[\begin{bmatrix} \lambda_1 & \bm{\beta}^{\mathrm{T}} \\ \boldsymbol{0} & A_{k-1} \\\end{bmatrix} = \begin{bmatrix} \lambda_1 & \boldsymbol{0}^{\mathrm{T}} \\ \bm{\beta} & A_{k-1}^{\mathrm{T}} \\\end{bmatrix} \]

所以有 $\bm{\beta} = \boldsymbol{0}$, $A_{k-1}$ 也是实对称. (元素一定是实数啊). 根据归纳法, 存在正交矩阵 $Q_{k-1}$ 使得 $A_{k-1} = Q_{k-1} \varLambda_{k-1} Q_{k-1}^{\mathrm{T}}$.

通过数感玄学, 令 $Q_k = P \begin{bmatrix} 1 & \boldsymbol{0}^{\mathrm{T}} \\ \boldsymbol{0} & Q_{k-1} \\\end{bmatrix}$, 发现这个矩阵也是正交的. 因为它的逆就是转置. 这时我们再用数感试试 $Q_k^{\mathrm{T}} A_k Q_k$, 看看等于什么:

\[\begin{align*} Q_k^{\mathrm{T}} A_k Q_k &= \begin{bmatrix} 1 & \boldsymbol{0} \\ \boldsymbol{0}^{\mathrm{T}} & Q_{k-1}^{\mathrm{T}} \\\end{bmatrix} \begin{bmatrix} \lambda_1 & \bm{0}^{\mathrm{T}} \\ \boldsymbol{0} & A_{k-1} \\\end{bmatrix} \begin{bmatrix} 1 & \boldsymbol{0}^{\mathrm{T}} \\ \boldsymbol{0} & Q_{k-1} \\\end{bmatrix}\\ &= \begin{bmatrix} \lambda_1 & \boldsymbol{0} \\ \boldsymbol{0}^{\mathrm{T}} & Q_{k-1}^{\mathrm{T}} A_{k-1} Q_{k-1} \\\end{bmatrix}\\ &= \begin{bmatrix} \lambda_1 & \boldsymbol{0} \\ \boldsymbol{0}^{\mathrm{T}} & \varLambda_{k-1} \\\end{bmatrix}\\ &= \varLambda_k \end{align*} \]

易证 $\lambda_2, \cdots , \lambda_n$ 均为 $A_k$ 的特征值, 因此 $Q_k$ 就是我们要找的标准正交基, 证毕.

Information about Real Symmetric Matrices

我们现在知道了实对称矩阵特征值和特征向量的信息, 有什么用呢? 接下来从这两个角度来解释一下.

Projection onto Eigenvectors

如果 $A = A^{\mathrm{T}}$, 则有:

\[\begin{align*} A &= Q\varLambda Q^{\mathrm{T}}\\ &= \Bigg[\bm{q}_1\ \bm{q}_2\ \cdots\ \bm{q}_n\Bigg]\begin{bmatrix}\lambda_1& &\cdots& \\&\lambda_2&\cdots&\\\vdots&\vdots&\ddots&\vdots\\& &\cdots&\lambda_n\end{bmatrix}\begin{bmatrix}\quad \bm{q}_1^{\mathrm{T}}\quad\\\quad \bm{q}_2^{\mathrm{T}}\quad\\\quad \vdots \quad\\\quad \bm{q}_n^{\mathrm{T}}\quad\end{bmatrix}\\ &= \lambda_1 \bm{q}_1 \bm{q}_1^{\mathrm{T}}+\lambda_2 \bm{q}_2\bm{q}_2^{\mathrm{T}}+\cdots+\lambda_n \bm{q}_n \bm{q}_n^{\mathrm{T}} \end{align*} \]

注意这个展开式中的 $\bm{q}\bm{q}^{\mathrm{T}}$, $\bm{q}$ 是单位列向量所以 $\bm{q}^{\mathrm{T}}\bm{q}=1$, 结合投影矩阵的知识有$\displaystyle \frac{\bm{q}\bm{q}^{\mathrm{T}}}{\bm{q}^{\mathrm{T}}\bm{q}}=\bm{q}\bm{q}^{\mathrm{T}}$ 是 $\bm{q}$ 方向上的投影矩阵, 很容易验证其性质. 逆等于转置, 平方不变. 因此:

每一个对称矩阵都可以分解为一系列相互正交的投影矩阵.

Information about Eigenvalues

我们已经知道实数特征值的符号和大小和系统稳定性有关. 对于微分方程 (笔记中跳过了, 详见现代控制理论...), 特征值的正负号会影响微分方程的收敛情况 (原课程第二十三讲, 需要实部为负的特征值保证收敛). 用消元法取得矩阵的主元, 观察主元的符号, 发现:

主元符号的正负数量与特征值的正负数量相同.

再判断大小 (离散系统). 发现 $A-bI$ 的特征值会比原来 $A$ 的特征值 $\lambda$ 小 $b$. 因此求 $A-bI$ 有多少个正的主元, 就有多少满足 $\lambda - b > 0$, 就能求出多少个 $A$ 的特征值大于 $b$.

Positive Definite Matrices

如果对称矩阵是"好矩阵", 则正定矩阵 (Positive Definite Matrices) 是其一个更好的子类. 正定矩阵指特征值均为正数的矩阵 (根据上面的性质有矩阵的主元均为正).

举个例子, $\begin{bmatrix}5&2\\2&3\end{bmatrix}$, 由行列式消元知其主元为 $5, \displaystyle \frac{11}{5}$, 于是特征值必然大于零. 果然求特征值有 $\begin{vmatrix}5-\lambda&2\\2&3-\lambda\end{vmatrix}=\lambda^2-8\lambda+11=0, \lambda=4\pm\sqrt 5$. 正定.

正定矩阵的最重要的判断性质是, 各阶顺序主子式大于零. 对上面的例子有$\begin{vmatrix}5\end{vmatrix}=5, \begin{vmatrix}5&2\\2&3\end{vmatrix}=11$.

我们看到正定矩阵将早期学习的的消元主元, 中期学习的的行列式, 后期学习的特征值结合在了一起.

标签：Real,bar,Positive,矩阵,Symmetric,bmatrix,bm,lambda,mathrm
来源： https://www.cnblogs.com/wind2375like/p/16145275.html