#Week5 Regularization

一、The Problem of Overfitting

欠拟合（high bias）：模型不能很好地适应训练集；
过拟合（high variance）：模型过于强调拟合原始数据，测试时效果会比较差。
处理过拟合：
1、丢弃一些特征，包括人工丢弃和算法选择；
2、正则化：保留所有特征，但减小参数的值。

二、Cost Function

过拟合一般是由高次项引起，那么我们可以通过增加某些项的cost，来降低它们的权重。
在梯度下降过程中，要使损失函数变小，那么\(\theta\)就会变得很小，所以假设函数中的\(\theta\)就会变小，该项的权重就会降低。

如果不知道要惩罚哪些特征，可以一起惩罚（除了\(\theta_0\)）。
将代价函数改为：

\(\lambda\)是正则化参数。
如果\(\lambda\)过大，那么所有的参数都会最小化，那么假设就会变为\(h_\theta(x)=\theta_0\)，造成欠拟合。

三、Regularized Linear Regression

\(\theta_0\)没有正则化处理，所以梯度下降要分情况：

化简下：

可以看到：
正则化后的参数更新比原来多减小了一个值。

再看线性回归的另外一个工具：常规方程。

推导过程省略......

四、Regularized Logistic Regression

对于逻辑回归的代价函数，同样增加一个正则化表达式：

梯度下降算法与线性回归相同，不过\(h_\theta(x)\)不同。

标签：Regularization,函数,梯度,正则,参数,拟合,theta,Week5
来源： https://www.cnblogs.com/EIMadrigal/p/12130865.html