参考：https://zhuanlan.zhihu.com/p/29409502

1  名词解释

2  换算关系

Number_of_Batches=TrainingSet_Size/Batch_Size

        梯度下降的几种方式的根本区别就在于上面公式中的 Batch Size不同。如下图所示。

3  梯度下降

        深度学习的优化算法，说白了就是梯度下降。每次的参数更新有三种方式。

• 第一种，遍历全部数据集算一次损失函数，然后算函数对各个参数的梯度，更新梯度。这种方法每更新一次参数都要把数据集里的所有样本都看一遍，计算量开销大，计算速度慢，不支持在线学习，这称为Batch gradient descent，批梯度下降。
• 另一种，每看一个数据就算一下损失函数，然后求梯度更新参数，这个称为随机梯度下降，stochastic gradient descent。这个方法速度比较快，但是收敛性能不太好，可能在最优点附近晃来晃去，hit不到最优点。两次参数的更新也有可能互相抵消掉，造成目标函数震荡的比较剧烈。
• 第三种，一般采用的是一种折中手段，mini-batch gradient decent，小批的梯度下降，这种方法把数据分为若干个批，按批来更新参数，这样，一个批中的一组数据共同决定了本次梯度的方向，下降起来就不容易跑偏，减少了随机性。另一方面因为批的样本数与整个数据集相比小了很多，计算量也不是很大。

4  实例

        假如数据集有 50000 张训练图片，10000 张测试图片。现在选择 Batch Size = 256 对模型进行训练。

• 每个Epoch要训练的图片数量：50000（所有训练数据）
• 训练集的Batch一共分为：50000/256=196（一个Epoch要训练196个batch进行参数更新）
• 每个 Epoch 需要完成的 Batch 个数：196
• 每个 Epoch 需要完成的 Iteration个数：196

标签：梯度,Iteration,Batch,更新,Epoch,参数,数据
来源： https://blog.csdn.net/weixin_44855366/article/details/120181395