其他分享
首页 > 其他分享> > 点互信息pmi

点互信息pmi

作者:互联网

由于在文本处理中会用到互信息所以做一下总结

pmi(Pointwise Mutual Information):

pmi(a,b) = log\frac{p(a,b)}{p(a)p(b)}

= log\frac{p(a|b)}{p(a)} = log\frac{p(b|a)}{p(b)}

如果a和b不相关值为1。当ab条件独立时,p(a|b) = p(a)此时pmi为0。

如果ab的联合概率越大则该值越大。

在文本处理中经常会遇到计算pmi

其中 p(a,b) 为 a和b共现的次数/总字符数(如果ab均代表字符的情况下也就是unigram)

p(a) 为 a出现的次数/总字符数,p(b) 为b出现的次数/总字符数

这里联合概率是存在一些问题的因为p(a,b) = p(b,a) 但实际文本处理过程中a和b两个字符存在顺序。

参考文献:

互联网时代的社会语言学:基于SNS的文本数据挖掘 | Matrix67: The Aha Moments

新词发现的信息熵方法与实现 - 科学空间|Scientific Spaces

点互信息和互信息 PMI - 简书

标签:字符,ab,互信息,文本处理,次数,pmi
来源: https://blog.csdn.net/weixin_43301900/article/details/120619613