其他分享
首页 > 其他分享> > Adagrad和Stochastic梯度下降

Adagrad和Stochastic梯度下降

作者:互联网

本次学习来自李宏毅老师的机器学习视频

首先梯度下降法:

 

这时候要小心调你的学习率:

 

做梯度下降的时候你应该把上方的图画出来,知道曲线的走势,才好调学习率。

但调学习率很麻烦,有没有一些自动的办法来帮助我们调学习率呢?

最基本的原则是随着参数的更新让学习率变得越来越小。为什么会这样呢?因为当你在开始的时候,它通常是离最低谷是比较远的,所以这时你的步伐要大一点。

但是经过好几次参数的更新后,你已经比较靠近你的目标了,所以这时候你应该减少你的学习率,让他能够收敛在你最低点的地方。

举例来说,你学习率的设置方法可能这样:

                                          

但是光这样是不够的,你需要因材施教,因为有不同的参数需要更新,最好的状况应该是每一个不同的参数,都给他不同的学习率。这件事情是有很多小技巧的,我觉得最简单,最容易操作的叫做Adagrad

1.Adagrad

即每一个不同的参数都把他除以之前算出来的微分值的均方根,原来的梯度下降算法如下所示:

 

 

现在Adagrad:

 

这样的话,学习率对每个参数来说都是不一样的。具体来说:

 

 

 

 

2. Stochastic梯度下降

它可以让你的训练更快一点。它并不是算所有样本的loss值,然后在进行梯度下井,但在这个算法里面,你挑出一个样本的loss,就只算出一个样本的loss,然后就更新一下参数这样。

 

标签:loss,梯度,更新,学习,参数,Stochastic,Adagrad
来源: https://www.cnblogs.com/carlber/p/10887159.html