其他分享
首页 > 其他分享> > NLP笔记-从HMM到CRF

NLP笔记-从HMM到CRF

作者:互联网

 

通过收集大量有标注的语料,估算状态转移概率和发射概率

 

HMM如何做词性标注

 

 

 最笨的办法是穷举y来求P(x,y)的最大值,但是计算次数太多,所以通过维特比算法解这个问题

 

 但是HMM有问题,加入y*是最优解,它并不能总是保证p(x,y*)>=p(x,y),比如在这个图里,如果要算N->?->a,按照HMM,?应该是V,但是在训练集中根本没有出现过N->V->a,反而出现过

 N->D->a,所以最优解应该是D不是V。但是在训练数据少的时候,这反而是一个优点

CRF的概率用神经网络算,虽然看起来和HMM完全不一样,但是实际上一样

 

 

 

 上图中的logP(x|y)看着不好理解,下面举个例子

 

 

 所以logP(x|y)可以写成这样

 

 

 

CRF的训练,用梯度上升

 

标签:NLP,概率,训练,logP,HMM,CRF,但是
来源: https://www.cnblogs.com/tendermelon/p/12795290.html