PRML笔记
作者:互联网
参数估计
- 点估计
- 极大似然估计:
- 优化目标:\(p(X|\theta)\)
- 预测分布:\(p(x|\theta_{\rm MLE})\)
- 最大后验估计:\(p(\theta|X, \alpha)\propto p(X|\theta)p(\theta|\alpha)\)
- 优化目标:\(p(X|\theta)p(\theta|\alpha)\)
- 预测分布:\(p(x|\theta_{\rm MAP})\)
- 矩估计(数理统计)
- 极大似然估计:
- 区间估计(数理统计)
回归
- 频率学派
- 极大似然估计
- 建模:\(p(y|x,w)\)
- 优化目标:\(p(Y|X,w)\)
- 预测:\(p(y|x,w_{\rm MLE})\)
- 极大似然估计
- 贝叶斯学派
- 最大后验估计
- 建模
- 描述:引入模型参数的先验分布 \(p(w|\alpha)\)
- 公式:\(p(y|x,w,\alpha) =\frac{p(y|x,w)p(w|\alpha)}{p(w|y, x,\alpha)}\)
- 优化目标
- 公式:\(p(w|Y, X, \alpha)=\frac{p(Y|X,w)p(w|\alpha)}{p(Y|X,\alpha)}\propto p(Y|X,w)p(w|\alpha)\)
- 解释:相当于极大似然估计的优化目标增加了正则项
- 预测:\(p(y|x,w_{\rm MAP})\)
- 问题:仅考虑了可能性最大的模型
- 建模
- 全贝叶斯
- 建模
- 动机:考虑所有可能的模型
- 公式:\(p(y|x, Y, X, \alpha)= \underset{w|Y, X, \alpha}{\mathbb{E}}\left[p(y|x, w, \alpha) \right]\)
- 问题:\(p(y|x, Y, X, \alpha)\) 可能无法求出闭式解
- 建模
- 分层贝叶斯
- 建模
- 动机:为先验分布的参数引入超先验,取消先验分布参数的影响
- 公式 \(p(y|x, Y, X, \gamma) =\underset{\alpha|\gamma}{\mathbb{E}}\left[p(y|x, Y, X, w, \alpha) \right]\)
- 问题
- 引起先验分布参数的递归确定问题
- \(p(y|x, Y, X, \gamma)\) 未必有闭式解
- 建模
- 经验贝叶斯
- 建模
- 动机
- 没有合适的超先验,或者引入超先验之后期望没有闭式解,导致无法进行分层贝叶斯推断
- 用频率学派的观点,用数据估计先验,即考虑 \(p(\alpha|Y, X)\)
- 若期望没有闭式解,则假设数据先验是尖峰分布,并用点估计估计期望
- 公式
- \(p(y|x, Y, X) = \underset{\alpha|Y, X}{\mathbb{E}}\,\underset{w|Y, X, \alpha}{\mathbb{E}}\left[p(y|x, Y, X, w, \alpha) \right] \approx \underset{w|Y, X, \widehat{\alpha}}{\mathbb{E}}\left[p(y|x, Y, X, w, \widehat{\alpha}) \right]\)
- 估计 \(\widehat{\alpha}\) :\(p(\alpha|Y, X) \propto p(Y|X, \alpha) p(\alpha)\propto p(Y|X, \alpha)\)
- 动机
- 建模
- 最大后验估计
标签:mathbb,underset,PRML,笔记,估计,先验,alpha,theta 来源: https://www.cnblogs.com/hilbert9221/p/14334517.html