EM算法
作者:互联网
。。。基础部分哪都能看到,我就不细说了。
观测变量数据Y,隐变量数据Z,模型参数θ
log(Y|θ) 不完全数据的对数似然函数
log(Y,Z|θ) 完全数据的对数似然函数
李航老师的统计学习方法,整个9.1节就是告诉我们,当你想求一个含有隐变量的模型时,也就是大最大log(Y|θ)
方法是先给定一个初始的θ1,然后在给定Y和初始θ1的基础上求logP(Y,Z|θ) 对Z的期望,再调整θ的值,使前面的期望更大。
GMM在高斯混合模型中的使用
参考资料第三篇已经写的很详细了,我把Ejk的期望写一下
后面的偏导数=0求导也只有第三个有点难度
参考资料
1、李航老师的统计学习
2、https://www.cnblogs.com/pinard/p/6912636.html
3、https://blog.csdn.net/lin_limin/article/details/81048411 //这篇是讲的高斯混合模型,很详细,用到了协方差矩阵,看不懂直接当x,y 二维随机变量看
4、https://www.cnblogs.com/jerrylead/archive/2011/04/06/2006936.html 前面有jensen不等式的讲解
标签:EM,李航,log,模型,www,算法,https,com 来源: https://www.cnblogs.com/SuperWaterMelon/p/11096191.html