其他分享
首页 > 其他分享> > XGBoost原理和调参

XGBoost原理和调参

作者:互联网

(原创)

本文讨论XGBoost的原理和调参

 

1.目标函数

xgboost需要优化的目标函数分为两部分,

一部分是样本的损失函数(下式红色部分),另一部分是对模型复杂程度的正则罚项(下式蓝色部分,下式的基模型为cart树):

 

 

 

 2.梯度提升方法

第t次迭代的yi预测值可以由第t-1次的预测值,加上一个第t轮新模型的预测值:

 

 

 

带入1中目标函数即是:

 

 

 

对上面红框部分看成 x+∆x ,在x点泰勒展开,并展开到二阶项,即得下式:

 

 

 

注意到蓝色部分是常值(因为上一轮预测值已确定),不影响函数优化,可以去掉得到下面函数:

 

这是general的目标优化函数,接下来以基础决策树为基模型为例继续推导,

带入决策树模型的正则罚项得到下面式子:

 

 

 

由于左边部分是针对样本的,而正则罚项是基于叶子节点的,这时候为了两者可以合并,做一个技巧处理:遍历样本转换为遍历叶子节点,因为样本的f会落在某个叶子节点上,因此得到下式:

 

 

 

 

至此,可以看出上式式关于Wj的二次函数,那么很容易得到最优点(-b/2a)和最值((4ac-b^2)/4a):

 

 

 

 

 

这个最值也是衡量该树质量的量化标准,

同时,用这个值的变化量来度量某颗树分割为左右子树的效果好坏,即下式:

 

 

 

 

 

 

 

标签:样本,函数,调参,预测值,XGBoost,下式,正则,罚项,原理
来源: https://www.cnblogs.com/randomstring/p/15707049.html