贪心学院京东商业数据分析师培养计划-完结

传统机器学习的研究方向主要包括决策树、随机森林、人工神经网络、贝叶斯学习等方面的研究。

决策树是机器学习常见的一种方法。20世纪末期，机器学习研究者J.Ross Quinlan将Shannon的信息论引入到了决策树算法中，提出了ID3算法。1984年I.Kononenko、E.Roskar和I.Bratko在ID3算法的基础上提出了AS-SISTANTAlgorithm，这种算法允许类别的取值之间有交集。同年，A.Hart提出了Chi-Squa统计算法，该算法采用了一种基于属性与类别关联程度的统计量。1984年L.Breiman、C.Ttone、R.Olshen和J.Freidman提出了决策树剪枝概念，极大地改善了决策树的性能。1993年，Quinlan在ID3算法的基础上提出了一种改进算法，即C4.5算法。C4.5算法克服了ID3算法属性偏向的问题增加了对连续属性的处理通过剪枝，在一定程度上避免了“过度适合”现象。但是该算法将连续属性离散化时，需要遍历该属性的所有值，降低了效率，并且要求训练样本集驻留在内存，不适合处理大规模数据集。2010年Xie提出一种CART算法，该算法是描述给定预测向量X条件分布变量Y的一个灵活方法，已经在许多领域得到了应用。CART算法可以处理无序的数据，采用基尼系数作为测试属性的选择标准。CART算法生成的决策树精确度较高，但是当其生成的决策树复杂度超过一定程度后，随着复杂度的提高，分类精确度会降低，所以该算法建立的决策树不宜太复杂。2007年房祥飞表述了一种叫SLIQ（决策树分类）算法，这种算法的分类精度与其他决策树算法不相上下，但其执行的速度比其他决策树算法快，它对训练样本集的样本数量以及属性的数量没有限制。SLIQ算法能够处理大规模的训练样本集，具有较好的伸缩性；执行速度快而且能生成较小的二叉决策树。SLIQ算法允许多个处理器同时处理属性表，从而实现了并行性。但是SLIQ算法依然不能摆脱主存容量的限制。2000年RajeevRaSto等提出了PUBLIC算法，该算法是对尚未完全生成的决策树进行剪枝，因而提高了效率。近几年模糊决策树也得到了蓬勃发展。研究者考虑到属性间的相关性提出了分层回归算法、约束分层归纳算法和功能树算法，这三种算法都是基于多分类器组合的决策树算法，它们对属性间可能存在的相关性进行了部分实验和研究，但是这些研究并没有从总体上阐述属性间的相关性是如何影响决策树性能。此外，还有很多其他的算法，如Zhang.J于2014年提出的一种基于粗糙集的优化算法、Wang.R在2015年提出的基于极端学习树的算法模型等。
需要的看昵称

标签：贪心,提出,ID3,算法,完结,SLIQ,京东,决策树,属性
来源： https://www.cnblogs.com/lhjerry/p/15357835.html