其他分享
首页 > 其他分享> > ML (Chapter 4): 决策树 (decision tree)

ML (Chapter 4): 决策树 (decision tree)

作者:互联网

本文为《机器学习》(周志华) 的读书笔记

目录

基本流程

划分选择

选择最优划分属性

信息增益 (information gain) (ID3)

信息熵 (information entropy)

约定: 若 p = 0 p=0 p=0. 则 p log ⁡ 2 p = 0 p\log_2p =0 plog2​p=0 ( lim ⁡ x → 0 x log ⁡ 2 x = 0 \mathop{\lim}\limits_{x\rightarrow0}x\log_2x=0 x→0lim​xlog2​x=0)


条件熵

互信息

信息增益 (information gain)

利用信息增益来进行决策树的划分属性选择

a ∗ = arg ⁡ max ⁡ a ∈ A Gain ⁡ ( D , a ) a_{*}=\underset{a \in A}{\arg \max } \operatorname{Gain}(D, a) a∗​=a∈Aargmax​Gain(D,a)

著名的 ID3 决策树学习算法就是以信息增益为准则来选择划分属性 (ID3 名字中的 ID 是 Iterative Dichotomiser (迭代二分器) 的简称)


在这里插入图片描述

增益率 (gain ratio) (C4.5)


基尼指数 (Gini index) (CART)

CART: Classification and Regression; 分类和回归任务都可用


CART 分类树的构造算法

由于 CART 分类树是一棵二叉树,因此 CART 不直接按照式 (4.6) 进行划分


CART 回归树的构造算法

剪枝处理 (pruning)


基本策略


下面用留出法来判断决策树泛化性能是否提升,即预留一部分数据用作"验证集"以进行性能评估;同时假定采用信息增益准则来进行划分属性选择

在这里插入图片描述

预剪枝 (prepruning)


后剪枝 (postpruning)


连续与缺失值

连续值处理: 二分法



缺失值处理

(1) 如何在属性值缺失的情况下进行划分属性选择?

其实就是在 D ~ \tilde D D~ 上计算信息增益,然后乘上一个权重 ρ \rho ρ 得到最终的信息增益,这个权重使结果考虑了缺失值的影响。如果某个属性缺失值很多,最后得到的信息增益也会较小

(2) 给定划分属性,若样本在该属性上的值缺失,如何对样本进行划分?

C4.5 算法使用了上述解决方案

多变量决策树 (multivariate decision tree)

标签:Chapter,...,结点,ML,decision,样本,划分,属性,决策树
来源: https://blog.csdn.net/weixin_42437114/article/details/116561224