花书读书笔记（十二）-线性因子模型
作者：互联网
全部笔记的汇总贴：《深度学习》花书-读书笔记汇总贴
《深度学习》PDF免费下载：《深度学习》
基于潜变量的最简单的概率模型。
x
=
W
h
+
b
+
n
o
i
s
e
x=Wh+b+noise
x=Wh+b+noise
一、概率PCA和因子分析
潜变量的先验是一个方差为单位矩阵的高斯分布 h ∼ N ( h ; 0 , I ) h\sim N(h;0,I) h∼N(h;0,I)
所以
x
x
x也服从多维正态分布
x
∼
N
(
x
;
b
,
W
W
T
+
ψ
)
x\sim N(x;b,WW^T+\psi)
x∼N(x;b,WWT+ψ)
其中
x
i
x_i
xi为给定
h
h
h下得一组观察值，对应得方差为
σ
i
2
\sigma_i^2
σi2，上式中
ψ
=
d
i
a
g
(
σ
2
)
\psi=diag(\sigma^2)
ψ=diag(σ2)。
为了将 PCA 引入到概率框架中，我们可以对因子分析模型作轻微修改，使条件方差 σ i 2 \sigma_i^2 σi2等于同一个值，此时， x x x的协方差简化为 W W T + σ 2 I WW^T+\sigma^2I WWT+σ2I
此时， x ∼ N ( x ; b , W W T + σ 2 I ) x\sim N(x;b,WW^T+\sigma^2I) x∼N(x;b,WWT+σ2I) x = W h + b + σ z x=Wh+b+\sigma z x=Wh+b+σz其中 z ∼ N ( z ; 0 , I ) z\sim N(z;0,I) z∼N(z;0,I)是高斯噪声。
二、独立成分分析
是一种建模线性因子的方法，旨在将观察到的信号分离成许多潜在信号，这些潜在信号通过缩放和叠加可以恢复成观察数据。这些信号是完全独立的，而不是仅仅彼此不相关。
- 在 x x x的生成中添加一些噪声，而不是使用确定性的解码器。
- 通过鼓励组内统计依赖关系、抑制组间依赖关系来学习特征组。
三、慢特征分析
是使用来自时间信号的信息学习不变特征的线性因子模型。
慢性原则（slowness principle），其基本思想是，与场景中起描述作用的单个量度相比，场景的重要特性通常变化得非常缓慢。慢特征分析是慢性原则中一个特别高效的应用。
- SFA算法
四、稀疏编码
是一个线性因子模型，已作为一种无监督特征学习和特征提取机制得到了广泛研究。
五、PCA的流形解释
线性因子模型，包括 PCA 和因子分析，可以理解为学习一个流形。
标签：读书笔记,Wh,花书,线性,PCA,sigma,2I,sim 来源： https://blog.csdn.net/qq_41485273/article/details/113116232