20210603 线性回归概览

1 为什么使用线性回归？
线性回归是机器学习的一个应用，为什么使用线性回归 ？

线性回归一般指回归性任务（为什么叫回归？Regression 回；Re 回，gre 走，往回走），如何实现线性回归？最开始是不知道 w 和  b 的，因为是在求解 w 和 b；所以一开始需要给 w 和 b 一个 初始值，初始值什么都可以，只要别太夸张就可以了；将数据点的真实 X 输进去，会得到预测 的Y；每个数据点又有 一个 真实的 Y；用预测的Y'和真实的Y，做一个MSE均方误差，就会 得到一个 loss。怎样训练模型？通过不断修改 w 和 b 的值，使得预测的Y值和真实的Y值不断接近。直到 Cost Function的loss最小

2 如何计算线性回归？
求解参数也是假设验证的过程；用一条线代表数据集的普遍趋势，如何制定这条线的标准？神经元球里是特征，线上面是权重。参数是一组能够进行预测的假设 ，假设的好坏取决于结果和 真实值的距离；如何度量 预测数值和真实数值 的距离？如果方程数量多于未知数数量，比如具有，m 个特征，n 个数据，但是 n >> m，没有解，这时要怎么办？用暴力穷举遍历法，将参数一个一个的进行 尝试？尝试所有可能的权重值组合吗？这明显是不现实的。
梯度下降法认为深度神经网络是一个 非凸超平面，上面的值就是 代价函数的 loss 值；深度神经网络不靠谱的地方：用凸优化的方式接近，强假设为凸平面，假设 横坐标是 θ，也就是权重 w，纵坐标是 loss 值，这是一个明显的凸优化问题；

3 衡量标准
由最小二乘法选出的直线有没有用？选出一条直线只是第一步，不管是什么样的数据，都可以计算出一条这样的直线；这条直线，对解释数据到底有没有用，需要用其他标准来衡量。

标签：真实,loss,假设,回归,概览,直线,线性,20210603
来源： https://blog.51cto.com/u_15149862/2848345