深度学习中的归一化技术全面总结
作者：互联网
训练深度神经网络是一项具有挑战性的任务。多年来，研究人员提出了不同的方法来加速和稳定学习过程。归一化是一种被证明在这方面非常有效的技术。
在这篇文章中，我将使用类比和可视化的方式来回顾这些方法中，这将帮助您了解它们的产生的原因和思维过程。
为什么要归一化？
例如，我们现在用两个特征构建一个简单的神经网络模型。这两个特征一个是年龄：范围在 0 到 65 之间，另一个是工资：范围从 0 到 10 000。我们将这些特征提供给模型并计算梯度。
不同规模的输入导致不同的权重更新和优化器的步骤向最小值的方向不均衡。这也使损失函数的形状不成比例。在这种情况下，就需要使用较低的学习速率来避免过冲，这就意味着较慢的学习过程。
所以我们的解决方案是输入进行归一化，通过减去平均值(定心)并除以标准偏差来缩小特征。
此过程也称为“漂白”，处理后所有的值具有 0 均值和单位方差，这样可以提供更快的收敛和更稳定的训练。
这是一个很好的解决方案，那么为什么我们不规范化网络中每一层的激活呢？
下面我们先看一下针对于激活的归一化方法
Batch Normalization
完整文章：
https://www.overfit.cn/post/2d2ef85336784abb895a2d6937ac7bad
标签：总结,特征,解决方案,归一化,学习,神经网络,深度,我们 来源： https://www.cnblogs.com/deephub/p/16197888.html