其他分享
首页 > 其他分享> > MLE、MAP、贝叶斯

MLE、MAP、贝叶斯

作者:互联网

三个不同的估计框架。

MLE:根据训练数据,选取最优模型,预测。观测值D,training data;先验为P(θ)。

MAP:后验概率。

Bayesian:综合模型。权重叠加。

Coin Toss Problem 扔硬币问题

硬币不均匀,P(H正面)=θ

若所投硬币序列为HHTHHT。

 MAP近似到MLE

当n足够大时,先验P(θ)可以忽略。先验本身不会随着数据量增多而变化。

 

 

 逻辑回归+高斯先验

P(θ)主要由

添加了高斯先验时,等同于添加了L2正则。

添加了拉普拉斯先验,等同于L1正则,会形成稀疏解。

 

LASSO:

 MLE:只根据训练数据得到模型,通过最优模型来预测。

MLE和MAP都是点估计。

MCMC:一种采样方法。

贝叶斯模型很复杂,通常需要蒙特卡洛或变分法来求解。

Monte Carlo Simulation蒙特卡洛仿真

抽样,近似。用在Bayesian中近似函数

 

 

标签:MAP,硬币,模型,MLE,贝叶斯,添加,先验
来源: https://www.cnblogs.com/wxl845235800/p/10534058.html