回顾
在介绍线性回归之前,我们来回顾一种函数:
f(x)=ax+b
其图像为:
线性回归
如果我们使用的数据是D={(xi,yi)}, 那么线性回归就是使得我们的学习器学得
f(xi)=wxi+b使得f(xi)≃yi, 学习器最后预测的结果所连接成的直线,就像上面这幅图像一样。
在初中的时候看到f(x)=ax+b,通常的题型就是让我们最后解出a=?b=?。线性回归也需要确定线性模型中的w和b。
我们这里通过“最小二乘法”求解w和b 。
最小二乘法
先来介绍均方误差
E(f;D)=m1i=1∑m(f(xi)−yi)2
均方误差是回归任务中最常用的性能度量,而且均方误差有很好的几何意义,对应了常用的“欧氏距离”dist(x,y)=∑i=1m(xi−yi)2。
最小二乘法是基于均方误差最小化来进行模型的求解。找到一条直线,使得所有样本到直线上的距离之和最小。即:
(w∗,b∗)=argmini=1∑m(f(xi)−yi)2=argmini=1∑m(yi−wxi−b)2
设E(w,b)=(yi−wxi−b)2,我们利用高等数学中的多元函数微分,对E(w,b)中的w,b分别求偏导,得到
∂w∂E(w,b)∂b∂E(w,b)=2(wi=1∑mxi2−i=1∑m(yi−b)xi)=2(mb−i=1∑m(yi−wxi))
我们要求的是E(w,b)=(yi−wxi−b)2的最小值,所以根据多元函数无条件极值,使上面两个偏导数为0可以得到:
2(mb−i=1∑m(yi−wxi))=0⇒b=m1i=1∑m(yi−wxi)
再将 b=m1i=1∑m(yi−wxi) 带入 2(wi=1∑mxi2−i=1∑m(yi−b)xi)=0 中可得:
w=∑i=1mxi2−(∑i=1mxi)2∑i=1myi(xi−x)
其中x=m1i=1∑mxi 为x的均值。
参考文献
周华志 《机器学习》 清华大学出版社
标签:yi,xi,回归,sum,线性,aligned,1m,wxi
来源: https://blog.csdn.net/weixin_43852752/article/details/104662102