其他分享
首页 > 其他分享> > 机器学习基石笔记:09 Linear Regression(LR)

机器学习基石笔记:09 Linear Regression(LR)

作者:互联网

原文地址:https://www.jianshu.com/p/4f5a151fb633

图1 线性回归的假设
图2 线性回归的代价函数

最小化线性回归的样本内代价函数值:

图3 LR代价函数的矩阵形式
图4 基于梯度下降来最小化LR代价函数
图5 梯度计算
图6 矩阵秩的性质
图7 LR权重的解析解
图8 线性回归的算法流程
图9 LR是隐式迭代的

线性回归算法泛化可能的保证:

图10 LR泛化可能的保证1
图11 LR泛化可能的保证2

根据矩阵的迹的性质:\(trace(A+B)=trace(A)+trace(B)\),得:
\(\begin{equation}\begin{aligned} trace(I-H)&=trace(I_{N*N})-trace(H)\\&=N-trace(XX^+)\\&=N-trace(X^T X(X^T X)^{-1})\\&=N-trace(I_{(d+1)*(d+1)})\\&=N-(d+1) \end{aligned}\end{equation}\)。
\(I-H\)这种转换的物理意义:
原来有一个有\(N\)个自由度的向量\(y\),投影到一个有\(d+1\)维的空间\(X\)(代表一列的自由度,即单一输入样本的参数),而剩余的自由度最大只有\(N-(d+1)\)。

图12 LR泛化可能的保证3
图13 LR泛化可能的保证4

线性分类是近似求解,线性回归是解析求解;
线性分类中使用0/1误差,线性回归中使用均方误差;
误差方面,线性分类能小于线性回归,但线性回归速度更快;
可以用线性回归的参数结果初始化线性分类的参数值,
减少迭代过程,加速求解。

图14 线性分类 vs 线性回归1
图15 线性分类 vs 线性回归2
图16 线性分类 vs 线性回归3

标签:分类,Linear,trace,求解,自由度,回归,09,LR,线性
来源: https://www.cnblogs.com/cherrychenlee/p/10799295.html