决策树的优缺点

• 优点：计算复杂度不高，输出结果易于理解，对中间值的缺失不敏感，可以处理不相关特征数据。既能用于分类，也能用于回归
• 缺点 可能产生过度匹配问题
• 信息熵是衡量信息量多少的，信息熵越大，说明包含信息越多，内部混乱程度越大

---

• 决策树可以是二叉树或非二叉树
• 使用决策树进行决策的过程就是从根节点开始，测试待分类项目的特征属性，并按照其值选择输出分支

---

决策树构造

分类解决离散问题, 回归解决连续问题

• 决策树：信息论
• 逻辑斯蒂回归，贝叶斯：概率论
• 构建决策树的关键步骤是分裂属性，所谓分裂属性就是再某个节点处按照某一特征属性的不同划分构造不同的分支，其目标是让各个分裂子集经可能的 纯。
• 尽可能“纯”就是尽量让一个分裂子集中待分类项属于同一类别。分裂属性分为三种不同的情况：
  
  1属性是离散值且不要求生成二叉决策树。此时用属性的每一个划分作为一个分支。
  
  2属性是离散值且要求生成二叉决策树。此时使用属性划分的一个子集进行测试，按照“属于此子集”和“不属于此子集”分成两个分支。
  
  3属性是连续值。此时确定一个值作为分裂点split_point，按照>split_point和<=s

标签：决策树,离散,分裂,子集,分支,属性
来源： https://blog.csdn.net/weixin_46021446/article/details/114899209