奇异值分解 上篇

引言

一个\(m{\times}n\)矩阵就是一个对\(n\)维向量进行线性变换的算子。当\(m=n\)时，一般而言会有一些向量在变换前后方向不变，这些向量就被称为“特征向量”。

那么当\(m{\neq}n\)时，显然就没有向量在变换前后方向不变了（因为维度改变了），那么此时是否还能找到一组向量，这组向量在线性变换前后具有值得关注的特征呢？

答案是有的，对于一个\(m{\times}n\)矩阵，可以找到一组两两垂直的\(n\)维向量，它们在变换后依旧两两垂直（除非变换成零向量），除此之外，这些向量在长度方面的变化也有着值得关注的性质，这便是本文要讲的奇异值和奇异向量。

奇异值的定义

变换中的正交性

至此，我们知道了\(A^T A\)的特征向量\(\{v_1,...,v_n\}\)在经过线性变换\(A v_i\)后，长度的变化是\(\sqrt{\lambda_i}\)倍，且依旧两两垂直（零向量除外）。于是，可以得到如下所示的奇异值分解

参考文献

《线性代数及其应用》 David C. Lay