深度学习：批量归一化（BN层）

为什么要有批量归一化：

归一化数学公式：

核心思想就是把一整个批次的均值和方差固定在一定的范围内，满足一个均匀分布，和标准化不同的是它并不是把均值和方差映射在[0,1]的区间内。这个α（偏移）和β（缩放）是可以学习的参数，在每一轮迭代中都会更新，这也使得α和β能更好的拟合这个模型。

批量归一化的使用：

代码实现：

期中的moving_mean和moving_var就是对应的就是α和β，在每次跌打都会更新，eps根据这个后面的介绍好像是学习率，因为后面介绍时eps=1e-5，应该是学习率

总结：

标签：批量,方差,BN,eps,学习,moving,归一化
来源： https://blog.csdn.net/RooKichenn/article/details/121719583