理解DeepL中的参数惩罚（penalty）

penalty机制中有L2范数的penalty，它长这个样子：

 E是指一次前向计算， 输入与输出之间的 误差。后面的一部分就是L2 penalty。

现在让我们来看看C对某个参数W_i求导的结果：

如果我们更新梯度的话：

 从上面的一个式子我们可以看出，w若越大，那么w衰减越厉害。（梯度始终为正数）

下面来说说为什么w不能很大：

w越大，模型就会越激进，它会不遗余力的去拟合训练集，所以会学习到一些对预测没用的东西。

The more big weights we have, the more active our neurons will be. They will use that additional power to fit the training data as closely as possible. As a consequence, they are more likely to pick up more of the random noise.

　　　　激进的模型　　　　　　　　　　中庸的模型　　　　　　　　　　  摆烂的模型

本文截图均来自此文：

Weight Decay in Neural Networks - Programmathically

标签：will,惩罚,梯度,模型,penalty,L2,DeepL,more
来源： https://www.cnblogs.com/hisi-tech/p/16148618.html