L1和L2正则化的概率解释
作者:互联网
https://zhuanlan.zhihu.com/p/56185913
正则化可以产生稀疏权值矩阵,即产生一个稀疏模型,用于特征筛选;
正则化可以防止过拟合,提升模型的泛化能力。
假设待优化函数为 ,其中 ,那么优化问题可以转化为求
- 正则化,即对参数 加上 范数约束
- 正则化,即对参数 加上 范数的平方约束
彩色公式
\color{颜色名称} {需要渲染的公式}
“L2正则化是指权值向量w 中各个元素的平方和然后再求平方根。”这句话不准确,
二范数才是 向量w 中各个元素的平方和然后再求平方根,而L2正则化其实是对二范数求平方
正则化的作用
https://zhuanlan.zhihu.com/p/356234693
正则化的主要作用是防止过拟合,对模型添加正则化项可以限制模型的复杂度,使得模型在复杂度和性能达到平衡。 常用的正则化方法有L1正则化和L2正则化。L1正则化和L2正则化可以看做是损失函数的惩罚项。 所谓『惩罚』是指对损失函数中的某些参数做一些限制。 L1正则化的模型建叫做Lasso回归,使用L2正则化的模型叫做Ridge回归(岭回归。 但是使用正则化来防止过拟合的原理是什么?L1和L2正则化有什么区别呢? 下面看李飞飞在CS2312中给的更为详细的解释:- L2正则化可以直观理解为它对于大数值的权重向量进行严厉惩罚,倾向于更加分散的权重向量。
- L1正则化有一个有趣的性质,它会让权重向量在最优化的过程中变得稀疏(即非常接近0)。也就是说,使用L1正则化的神经元最后使用的是它们最重要的输入数据的稀疏子集,同时对于噪音输入则几乎是不变的了。
标签:模型,正则,L2,L1,范数,向量 来源: https://www.cnblogs.com/realyuan2022/p/16415843.html