首页 > 其他分享> > 点互信息pmi

点互信息pmi

2021-10-05 23:33:25 作者：互联网

由于在文本处理中会用到互信息所以做一下总结

pmi（Pointwise Mutual Information）：

$pmi(a,b) = log\frac{p(a,b)}{p(a)p(b)}$

$= log\frac{p(a|b)}{p(a)} = log\frac{p(b|a)}{p(b)}$

如果a和b不相关值为1。当ab条件独立时，p(a|b) = p(a)此时pmi为0。

如果ab的联合概率越大则该值越大。

在文本处理中经常会遇到计算pmi

其中 p(a,b) 为 a和b共现的次数/总字符数（如果ab均代表字符的情况下也就是unigram）

p(a) 为 a出现的次数/总字符数，p(b) 为b出现的次数/总字符数

这里联合概率是存在一些问题的因为p(a,b) = p(b,a) 但实际文本处理过程中a和b两个字符存在顺序。

参考文献：

标签：字符,ab,互信息,文本处理,次数,pmi
来源： https://blog.csdn.net/weixin_43301900/article/details/120619613