编程语言
首页 > 编程语言> > EM算法

EM算法

作者:互联网

Expectation-Maximization: 最大似然估计法,根据已知样本分布的模型和观测的样本,最终得出模型的参数。

也就是:已知:(1)样本服从分布的模型(2)观测到的样本    求解:模型的参数 

  第一种情况:样本服从的模型都一样,只需要一种参数即可;如:样本的男生身高服从正态分布。

  第二种情况:样本服从的模型都一样,但是需要多种参数;如:样本的男生和女生身高都服从正态分布,但是男生和女生的模型参数不一样。用数学的语言描述:抽取得到的每个样本都不知道是从哪个分布抽取的,此时的求解目标:男生和女生对应的身高的高斯分布的参数是多少 

  对于第二种情况,引入隐变量Z,用Z=0或Z=1标记样本来自哪个分布。

    最大似然函数:

      

 案列: 投掷两个硬币的正面朝上为分布A,多次投掷10下其正反的结果是:求 A和B正面朝上的概率

      正面次数       反面次数
        5         5
        9         1
        8         2
        4         6
        7         3

 

 

 

 

 

求解过程:

   1. 假设A0.6几率正面    B: 0.5几率正面 

   2. 投掷出5正5反的概率:pA=C(10,5)*(0.6^5)*(0.4^5)  pB=C(10,5)*(0.5^5)*(0.5^5) ,则每次选择硬币A的概率:pA/(pA+pB)=0.45  选择硬币B的概率1- pA=0.55 

   3. 列出每次的参数 (正面次数 X选择硬币A的概率   : 反面次数 X 选择硬币A的概率 )

       A          B
      2.2:2.2        2.8:2.8
      7.2:0.8        1.8:0.2
      5.9:1.5        2.1:0.5
      1.4:2.1        2.6:3.9
      4.5:1.9        2.5:1.1
    求和  21.3:8.6     求和 11.7:8.4

 

 

 

 

 

 

  4. 更新A正面朝上的概率:21.3/(21.3+8.6) = 0.71  B正面朝上的概率 11.7/(11.7+8.4) = 0.58

  5.重复 第2、3、4步骤,直到A  B正面朝上的概率收敛,不再改变

标签:EM,概率,正面,样本,0.5,算法,pA,参数
来源: https://www.cnblogs.com/dingyc/p/10715784.html