编程语言
首页 > 编程语言> > 机器学习算法-随机森林(Random Forest)

机器学习算法-随机森林(Random Forest)

作者:互联网

1、随机森林算法

随机森林是一个包含多个决策树的分类器,并且其输出的类别是由个别树输出的类别的众数而定。随机森林属于机器学习的一大分支——集成学习(EnsembleLearning)方法。随机森林具有对于很多种资料,可以产生高准确度的分类器;可以处理大量的输入变数;可以在决定类别时,评估变数的重要性;可以在内部对于一般化后的误差产生不偏差的估计;对于不平衡的分类资料集来说,可以平衡误差等优点。

2、随机森林算法步骤

首先,对样本数据进行有放回的抽样,得到多个样本集。具体来讲就是每次从原来的N个训练样本中有放回地随机抽取N个样本(包括可能重复样本)。

然后,从候选的特征中随机抽取m个特征,作为当前节点下决策的备选特征,从这些特征中选择最好地划分训练样本的特征。用每个样本集作为训练样本构造决策树。单个决策树在产生样本集和确定特征后,使用CART算法计算,不剪枝。

最后,得到所需数目的决策树后,随机森林方法对这些树的输出进行投票,以得票最多的类作为随机森林的决策。

3、随机森林应用举例

案例中使用的是sklearn中集成好的库,直接调用即可。


代码:

import numpyas np

import matplotlib.pyplotas plt

from sklearn.tree import DecisionTreeRegressor 

N=100

x = np.random.rand(N) * 6 - 3

x.sort()

y=0.1*x**3+np.exp(-x*x/2)+ np.random.randn(N) * 0.2 

x = x.reshape(-1, 1)

x_bar=np.linspace(-3,3,50).reshape(-1,1)

y_bar=0.1*x_bar**3+np.exp(-x_bar*x_bar/2)

plt.plot(x,y,'r.')

plt.plot(x_bar,y_bar)

plt.show()

plt.plot(x,y,'r.')

x_test=np.linspace(-3,3,50).reshape(-1,1)

dt = DecisionTreeRegressor(criterion='mse')

depth=[3,6,18]

color='rgy'

for d,c in zip(depth,color):

    dt.set_params(max_depth=d)

    dt.fit(x,y)

    y_test = dt.predict(x_test)

    plt.plot(x_test,y_test,'-',color=c,linewidth=2, label='Depth=%d' % d)

plt.legend(loc='upperleft')

plt.xlabel(u'X')

plt.ylabel(u'Y')

plt.grid(b=True)

plt.show()

结果:

图片

图片


标签:plt,bar,Random,test,算法,Forest,np,森林,随机
来源: https://blog.51cto.com/15127585/2670091