其他分享
首页 > 其他分享> > ML/DL-复习笔记【一】- 数学基础(线性代数、概率论、数值分析)

ML/DL-复习笔记【一】- 数学基础(线性代数、概率论、数值分析)

作者:互联网

本节为ML/DL-复习笔记【一】数学基础(线性代数、概率论、数值分析),主要内容包括:矩阵特征向量的求解、主成分分析、奇异值分解、线性方程组的解法、Moore_Penrose伪逆、概率计算公式、随机变量的常见分布类型。

1. 主成分分析和奇异值分解

线性代数【七】特征值、特征向量 https://blog.csdn.net/kevin_zhao_zl/article/details/106427712

机器学习课程笔记【十二】- 主成分分析 https://blog.csdn.net/kevin_zhao_zl/article/details/105820009

2. Moore_Penrose伪逆

线性代数【六】:解线性方程组 https://blog.csdn.net/kevin_zhao_zl/article/details/106390322

  求解线性方程组时,若系数矩阵的行数大于列数,那么方程可能无解,若系数矩阵行数小于列数,方程可能有多个解。
  Moore-Penrose伪逆正是为处理这个问题,矩阵 A A A的伪逆的形式化定义如下:
A + = l i m α → 0 ( A T A + α I ) − 1 A T A^+=lim_{\alpha \rightarrow 0}(A^TA+\alpha I)^{-1}A^T A+=limα→0​(ATA+αI)−1AT

  但实际计算中,一般取:
A + = V D + U T A^+=VD^+U^T A+=VD+UT

  其中,矩阵 U , D , V U,D,V U,D,V是矩阵 A A A进行奇异值分解之后得到的矩阵。对角矩阵 D D D的伪逆 D + D^+ D+是其非零元素取倒数之后再转置得到的。
  这样,当系数矩阵 A A A的列数多于行数时,使用伪逆求解线性方程是众多可能解法中的一种,且 x = A + y x=A^+y x=A+y是方程所有可行解中欧几里得范数 ∣ ∣ x ∣ ∣ 2 ||x||_2 ∣∣x∣∣2​最小的一个;当系数矩阵 A A A的行数多于列数时,可能没有解,这时通过伪逆得到的x使得 A x Ax Ax和 y y y的欧几里得距离 ∣ ∣ A x − y ∣ ∣ 2 ||Ax-y||_2 ∣∣Ax−y∣∣2​最小。

3. 求概率公式以及常见随机变量的分布

随机事件与概率(2) - 常用求概率公式

一维随机变量及其分布

4. 病态条件

数值分析(1)-绪论:误差 https://blog.csdn.net/kevin_zhao_zl/article/details/90399855


欢迎扫描二维码关注微信公众号 深度学习与数学   [每天获取免费的大数据、AI等相关的学习资源、经典和最新的深度学习相关的论文研读,算法和其他互联网技能的学习,概率论、线性代数等高等数学知识的回顾]
在这里插入图片描述

标签:zl,DL,ML,矩阵,blog,线性代数,伪逆,net
来源: https://blog.csdn.net/kevin_zhao_zl/article/details/107199641