机器学习和 Python 中的决策树算法

→ 决策树是一种树形算法，用于确定行动过程，树的每个分支代表一个可能的决策、发生或反应。

让我们看一下术语：-

熵——熵是数据集中“随机性”或“杂质”的度量。

熵应该很低！

信息增益——它是数据集拆分后熵减少的度量，也称为熵减少。

信息增益应该很高！

叶节点——叶节点承载分类或决策。

根节点——最顶层的决策节点被称为根节点。

示例：- 决策树如何工作？

假设你妈妈告诉你去超市带些口粮。让我们来看看 ;

问题陈述：-根据特征对所有口粮进行分类。

这是清单：大米、小麦、豆类、盐、糖、姜黄粉

让我们确定这个人是否带来了正确的东西。

• 数据集非常混乱，在这种情况下熵很高。

训练数据集：-

我们必须以信息增益最高的方式构建分割数据的条件。

现在，如果我们看看我们的树；

由于 ，现在每个分支都包含单个标签类型，我们可以说这种情况下的熵已达到最小值。

这棵树现在可以最准确地预测数据集中存在的所有动物类别。

— — — — — — — — — — — — — — — — — — — — — — — — — — — — — —

这就是这篇文章的全部内容，我知道我已经计算了熵和信息增益，对此我很抱歉，但我很快就会在 insha'Allah 上做，还有一些其他的例子。

如果有任何错误请纠正我，我会很高兴学习。

快乐学习！

我的 领英 不要犹豫，联系我

标签：Python,增益,算法,数据,节点,决策树
来源： https://www.cnblogs.com/amboke/p/16641562.html