L1 L2 norm的数学计算

参考来自 link

l1 和l2 norm 是常用的机器学习方法。本文给出一个简单的损失函数来引出L1和L2的计算方式。

计算

我们这里用MSE作为样例。 损失计算如下。

我们的目的是减小损失：

为防止过拟合,增加一个偏差，有利于像复杂度较低的方法拟合。也就是说，两个函数如果能够同样的很好拟合函数，那么我们更喜欢简单的函数。 通过增加一个归一化值，比如说L1 和L2 可以帮助选择更好的拟合函数。

这里的w原文没有细讲，实际上是拟合函数每个x**n的参数，可以再之后的公式看到。随后计算入损失函数就可以看到如下公式。

下图就是一个函数的表现。我们可以很容易看到虽然c的拟合更好，甚至于MSE为0，但是这已经过拟合了，不是我们需要的函数。 而a 和b相对拟合较好。 同时也可以看到， 来自L1和L2 norm的表现相对较好。

下面试每张图对应的函数公式。

而损失的计算可以按照如下计算,以figure a为例：
<!-

L1 a:  0.04+0.04+0.9=0.98
L2 1: 2次根号 (0.04**2+0.04**2+0.9**2) = 0.9

->

标签：0.9,函数,L1,0.04,L2,拟合,norm
来源： https://blog.csdn.net/weixin_39896750/article/details/122291333