L2正则化倾向于使网络的权值接近0（L2正则化实质上是对权值做线性衰减）。这会使前一层神经元对后一层神经元的影响降低，使网络变得简单，降低网络的有效大小，降低网络的拟合能力。
正则化的目的：限制参数过多或者过大，避免模型更加复杂。例如，使用多项式模型，如果使用 10 阶多项式，模型可能过于复杂，容易发生过拟合。所以，为了防止过拟合，我们可以将其高阶部分的权重 w 限制为 0，这样，就相当于从高阶的形式转换为低阶。
标签：weight,decay,权值,网络,正则,L2,拟合,高阶
来源： https://www.cnblogs.com/icemiaomiao3/p/15033435.html