其他分享
首页 > 其他分享> > 按部就班的吴恩达机器学习网课用于讨论(15)

按部就班的吴恩达机器学习网课用于讨论(15)

作者:互联网

大规模机器学习-学习大数据集

数据越多,自然训练效果越好,在训练过程中,过拟合与欠拟合的指标通过绘图确定,据此调整超参数。

在此前的批梯度下降法的过程中,当数据集过大时候,由于如下计算式子中要求遍历所有数据得到一次更新,其计算成本过于昂贵。因此,如果裁剪数据集的大小,如果也能够达到相同的训练效果,则不需要使用原始数据集。

 

 

随机梯度下降

随机梯度下降,将数据进行随机洗牌,然后在更新theta参数时,只使用其中一个样本。训练时重复遍历样本多次,最终结果仍然会收敛到一个较好的局部最优。

    

 

小批量梯度下降

小批量梯度下降,介于批梯度下降和随机梯度下降之间。当样本数量m=1000时,而小批量数量b=10,则有如下算法。其中i 进行遍历到数据集末尾m-b+1,计算梯度过程中求均方差过程求导以后使用的除数为b,遍历的小批量为i+b-1。

 

随机梯度下降收敛

收敛性检查,使用的批梯度下降方法和随机梯度下降方法如下图,批梯度下降方案过于耗时,而随机梯度下降,通过收集一定步数的cost值,然后求得平均,得到一个近似的误差J,作为参考,通过绘图,用于判断梯度下降的效果,模型是否错误等。

 

 另外,梯度下降过程中的学习率alpha,可以随着迭代次数的增大而减小,但是其额外引入的两个超参数又是一个问题。

 

 

在线学习

在线学习基本使用的是随机梯度下降的方案吧,因为数据集是实时更新的,所以在如下的包裹运送示例中,当用户做出一次决定,则产生一个或者一批的数据量,将这些数据进行学习,并丢弃数据,循环往复,获得一个动态的定价模型,以最大化购买量(收益吧)。

 

 

映射化简和数据并行

该部分的主要思想是,将一个小批量的数据(如400),分为数份(如4份),分别通过数个机器(如4个),计算梯度值,然后将所有的计算结果,结合到一个模型中,以加速神经网络的训练过程。

一些高级的函数库也已经能够使用单个机器多CPU的方案,也就是并行化在一个多核的机器上运行,以加速训练过程。

 

标签:吴恩达,遍历,15,梯度,下降,小批量,随机,学习网,数据
来源: https://www.cnblogs.com/bai2018/p/13050457.html