机器学习（三）正则化Regularization
作者：互联网
正则化
背景-过拟合
由图中可以看出，当只有一次项的时候，拟合程度不够Underfitting，当存在五次方项的时候就存在过拟合现象，假设函数很好的fit给定的数据，但是不利于数据的预测
解决过拟合问题的方案：
1、减少特征值的数量
2、正则化：
- 不改变特征值的数量，减小他的系数 θ j \theta_j θj以削弱影响
- 当我们有大量影响较小的feature的时候，正则化就很有用
线性回归正则化 Regularized Linear Regression
对于下列函数：
θ
0
+
θ
1
x
+
θ
2
x
2
+
θ
3
x
3
+
θ
4
x
4
\theta_0 + \theta_1x + \theta_2 x^2 + \theta_3x^3 + \theta_4x^4
θ0+θ1x+θ2x2+θ3x3+θ4x4
消除
θ
3
x
3
+
θ
4
x
4
\theta_3x^3 + \theta_4x^4
θ3x3+θ4x4的影响，会使得曲线更加平滑，cost函数将重新进行定义：
min
θ
1
2
m
[
∑
i
=
1
m
(
h
θ
(
x
(
i
)
)
−
y
(
i
)
)
2
+
1000
⋅
θ
3
2
+
1000
⋅
θ
4
2
]
\min_{\theta} \frac{1}{2m}\left[ \sum_{i=1}^{m}(h_\theta(x^{(i)})-y^{(i)})^2 + 1000\cdot\theta_3^2 + 1000\cdot\theta_4^2\right]
θmin2m1[i=1∑m(hθ(x(i))−y(i))2+1000⋅θ32+1000⋅θ42]
更通用的一个定义：
min
θ
1
2
m
[
∑
i
=
1
m
(
h
θ
(
x
(
i
)
)
−
y
(
i
)
)
2
+
λ
∑
j
=
1
m
θ
j
2
]
\min_{\theta} \frac{1}{2m}\left[ \sum_{i=1}^{m}(h_\theta(x^{(i)})-y^{(i)})^2 +\lambda\sum_{j=1}^{m}\theta_j^2\right]
θmin2m1[i=1∑m(hθ(x(i))−y(i))2+λj=1∑mθj2]
注意这里没有考虑
θ
0
\theta_0
θ0，因为
θ
0
\theta_0
θ0代表的是常数项，是平移，我们想让曲线更加平滑，但是不想改变它的位置。
这个方程，依赖于
λ
\lambda
λ，也依赖于系数的平方项
梯度下降法
R
e
a
p
t
{
θ
0
=
θ
0
−
α
1
m
∑
i
=
1
m
(
h
θ
(
x
(
i
)
)
−
y
(
i
)
)
x
0
(
i
)
θ
j
=
θ
j
−
α
[
1
m
∑
i
=
1
m
(
h
θ
(
x
(
i
)
)
−
y
(
i
)
)
x
j
(
i
)
+
1
m
θ
j
]
}
u
n
t
i
l
c
o
n
v
e
r
g
e
n
c
e
c
o
n
d
i
t
i
o
n
i
s
s
a
t
i
s
f
i
e
d
Reapt \{ \\ \theta_0 = \theta_0 - \alpha\frac{1}{m}\sum_{i=1}^{m}(h_\theta(x^{(i)}) - y^{(i)} )x_0^{(i)} \\ \theta_j = \theta_j - \alpha \left[ \frac{1}{m}\sum_{i=1}^{m}(h_\theta(x^{(i)}) - y^{(i)} )x_j^{(i)} + \frac{1}{m}\theta_j\right] \\ \} until \quad convergence\quad condition \quad is \quad satisfied
Reapt{θ0=θ0−αm1i=1∑m(hθ(x(i))−y(i))x0(i)θj=θj−α[m1i=1∑m(hθ(x(i))−y(i))xj(i)+m1θj]}untilconvergenceconditionissatisfied
在梯度下降的的过程中，正则化就是通过
1
m
θ
j
\frac{1}{m}\theta_j
m1θj体现出来的
规范解 Normal equation
θ
=
(
X
T
X
+
λ
⋅
L
)
−
1
X
T
Y
\theta = (X^TX+\lambda\cdot L)^{-1}X^T Y
θ=(XTX+λ⋅L)−1XTY
L
=
[
0
1
⋱
1
]
L = \begin{bmatrix} 0&&&\\ &1&&\\ &&\ddots&\\ &&&1 \end{bmatrix}
L=⎣⎢⎢⎡01⋱1⎦⎥⎥⎤
逻辑回归正则化
MLE MAP
标签：Regularization,机器,min,sum,frac,正则,theta,1000 来源： https://blog.csdn.net/greatcoder/article/details/120727870