机器学习 吴恩达 第三周 笔记
作者:互联网
Classification
Logistic Regression
---分类
Hypothesis Representation-------
h(x) = p(y=1|x;符号)
Decision Boundary----判断边界
判断边界 == h(x)
Cost Function ----logistic Regression
如果在logistic regression用linear regression的J(0)会导致左图的non-convex,最终会到达global minimum 但会很颠簸
在这里logistic regression的cost function =
使用梯度下降(Gradient Descent)时公式还是和linear的一样,只是替换了h(x)
进行向量化后
Advanced Optimization 高级优化
BFGS . .L-BFGS调用方法
Multiclass classification one-vs-all
多类(Multiclass)能最终分解为二元来来分析 最终求
Overfitting --过拟合
对应的underfitting---欠拟合
图1---欠拟合 图2---right 图3---过拟合
过拟合存在问题:很完美契合training set数据但却不能很好地预测
太多的feature和太少的训练集会导致过拟合
overfitting-----high variance 高方差
underfitting ---- high bias 高偏差
Addressing overfitting
引入正则化
Regularization
-----------cost Function
对于该式子,为了尽量消除 的影响可以让θ3和θ4无限接近与0,这样其带来的影响会大大降低,根据这种思想可以推出regularized cost function
注意:这里的这里的λ和其后面的θ参数是用来平衡整个cost function的
这个部分的目的是 fit well
而这一部分则是 keep θ small by using λ
这里λ称为 regularization parameter
这里第二个式子的θ只能取值1,2,3,4.....n不能取值为θ0
当λ增大时,θ对应变小,反之亦然 ,所以当λ无限大的时候,θ趋近于0,代入整个式子时,就约等于θ0---一条直线导致underfitting
-----regularized linear regression
cost Function 如上
对于梯度下降来说,求θ分为两部分θ0,和其他θj
θ0保持和普通梯度下降一致
θj则需要加上λθj/m
在这里式子可以化简变成第二个θj ------ 因为学习率α小于1,样本数量m大于1,所以1-αλ/m <1 一一般来说总是稍微小于1,如0.99
相当于每次迭代时θj都减少一点点
-------regularized Normal equation
下面那个是正规化后的正规方程。
在这里一般的正规方程,当样本数量m<=特征n时会出现non-invertibility不可逆(m<n不可逆,m=n时可能不可逆),就是说没有逆矩阵,一般来说在octave时可以用pinv来生成伪逆矩阵(inv用来生成逆矩阵)。在这里regularization可以解决没有逆矩阵的问题。
------regularized logistic regression
与linear regression类似在h(x)后面加入 regularization parameter
logistic regression和linear regression的正规化很类似,就只有h(x)不一样
标签:吴恩达,linear,第三周,笔记,regularized,cost,logistic,拟合,regression 来源: https://blog.csdn.net/YzarrK/article/details/88766526