特征提取算法

特征提取算法分为特征选择和特征抽取两大类

特征选择

常采用特征选择方法。常见的六种特征选择方法：

1. DF(Document Frequency) 文档频率
   DF:统计特征词出现的文档数量，用来衡量某个特征词的重要性

2. MI(Mutual Information) 互信息法
   互信息法用于衡量特征词与文档类别直接的信息量。
   如果某个特征词的频率很低，那么互信息得分就会很大，因此互信息法倾向”低频”的特征词。
   相对的词频很高的词，得分就会变低，如果这词携带了很高的信息量，互信息法就会变得低效。

3. (Information Gain) 信息增益法
   通过某个特征词的缺失与存在的两种情况下，语料中前后信息的增加，衡量某个特征词的重要性。

4. CHI(Chi-square) 卡方检验法
   利用了统计学中的”假设检验”的基本思想：首先假设特征词与类别直接是不相关的
   如果利用CHI分布计算出的检验值偏离阈值越大，那么更有信心否定原假设，接受原假设的备则假设：特征词与类别有着很高的关联度。

5. WLLR(Weighted Log Likelihood Ration)加权对数似然

6. WFO（Weighted Frequency and Odds）加权频率和可能性

特征抽取（降维）

PCA等

标签：机器,特征选择,互信息,特征词,文档,假设,某个,2.1
来源： https://www.cnblogs.com/allenm/p/15603507.html