Batchsize与learning rate
作者:互联网
https://www.zhihu.com/question/64134994
1、增加batch size会使得梯度更准确,但也会导致variance变小,可能会使模型陷入局部最优;
2、因此增大batch size通常要增大learning rate,比如batch size增大m倍,lr增大m倍或者sqrt(m)倍,但并不固定;
3、learning rate的增加通常不能直接增加太大,一般会通过warm up逐步增大;
4、warm up策略参考 Bag of Freebies for Training Object Detection Neural Networks
准备用m个batches来热身,准备的初始学习率是 ,然后在每个batch ,将每次的学习率设为 i*n/m
标签:Batchsize,batch,up,rate,learning,增大,size 来源: https://www.cnblogs.com/573177885qq/p/11517127.html