决策树Decision Tree
作者：互联网
信息熵
H ( X ) = ∑ x ∈ X − P ( x ) l o g ( P ( x ) ) H(X)=\sum \limits_{x \in X}-P(x)log(P(x)) H(X)=x∈X∑−P(x)log(P(x))
信息增益
特征A对训练样本集D的信息增益g(D,A),定义为集合D的信息熵H(D)与特征A给定的条件下D的信息条件熵H(D|A)只差
即公式为
g
(
D
,
A
)
=
H
(
D
)
−
H
(
D
∣
A
)
g(D,A)=H(D)-H(D|A)
g(D,A)=H(D)−H(D∣A)
表示得知特征X的信息而使得类Y的信息的不确定性减少的程度
标签：log,特征,Decision,Tree,增益,信息,信息熵,决策树 来源： https://blog.csdn.net/weixin_43601103/article/details/119489674