机器学习-adaboost 手推

1 手推

1） 初始化训练数据（每个样本）的权重分布D，如果有m个样本，则每个训练样本点最开始都被赋予相同的权重：1/m

2） 训练弱分类器。具体训练过程中，如果某个样本已经被正确分类，那么在构造下一个训练集中，权重就会被降低，相反如果某个样本点没有被准确地分类，那么它的权重就得到提高，同时得到第t个弱分类器对应的话语权wt，然后更新权重后的样本集被用于训练下一个分类器，整个训练过程如此迭代地进行下去。

3） 将各个训练得到的弱分类器组合成强分类器hs(x).各个弱分类器的训练过程结束后，分类误差率小的弱分类器的话语权较大，其在最终的分类函数中起较大的决定作用，而分类误差率大的弱分类器的话语权较小，其在最终的分类函数中起着较小的决定作业，换言之，误差率低的弱分类器在最终分类器中占的比例较大，反之较小。

 

1）对所有训练训练集初始化相等的样本权重

 ,n 为数据集的总数

2） 将带有初始化权重的数据集送入基本分类器中训练,计算分类器误差率

其中，X 表示所有数据集，m 表示第m个基本分类器，假设一共有M 个基本分类器

3） 根据分类器的误差率，计算该分类器的系数

4）根据分类器的误差率，更新样本权重。(采取惩罚那些分类正确的样本，奖励那些分类错误的样本的原则）

5） 构建基本分类器的线性组合

6） 得到最终的强分类器G(X)

ref：https://blog.csdn.net/hanss2/article/details/80365766

https://blog.csdn.net/jiafeier_555/article/details/70500006

标签：样本,机器,权重,训练,分类,手推,误差率,分类器,adaboost
来源： https://blog.csdn.net/qq_16236875/article/details/100705600