西瓜书第三章--线性模型
作者：互联网
3.1 基本形式
给定由d个属性描述的示例，其中 xi 是x在第i个属性上的取值，线性模型就是试图学得一个通过属性的线性组合来进行预测的函数即：
向量形式：
w和b学得之后，模型即可确定。其中w还可以表示为属性的权重，下面是一个例子：
3.2线性回归
线性回归的本质就是学得一个线性模型尽可能的预测未来输出，那么这个线性模型怎么来确定呢，我们在一堆数据点中，一般是寻找一根线使得其穿越尽可能多的点并且更好地分开数据，我们目的是均方误差最小化：
基于最小二乘法的参数估计：
求解w和b使得所有样本到直线的欧氏距离之和最小，也就是使得上式E最小，我们对其求偏导得：
令上述两个偏导式子为零得到w,b的最优解的闭式解。具体推导如下（本人手推）：
多元线性回归：
更一般的情形是样本由d个属性描述，此时我们试图学得：
这样的就称为多元线性回归。类似的可以用最下二乘法来估计为便于讨论把w，b放置在一个矩阵中：
下面是最小二乘法的步骤：
下面是我手推证明的中间核心过程：
我在手推过程中自认为把应该讲的知识点讲到位了，其中最后一步的公式运用到了最优化理论中对矩阵求梯度的理论运用，若是对相关的矩阵论不太熟悉的话推荐一个链接的博客写得很详细：https://blog.csdn.net/Willen_/article/details/87912967
得到最优闭式解：
最终学得的多元线性模型是：
对数线性回归：
假设我们认为示例所对应的输出标记实在指数尺度上变化，那么可将输出标记的对数作为线性模型逼近的目标，也就是：
这就是对数线性回归，他实际上是试图让e的指数次方趋近于y，表示图如下：
一般表示形式如下：
g称为联系函数。
3.3对数几率回归
后面的本周没上课，下周上完课更新。
标签：西瓜,第三章,学得,模型,线性,对数,回归,属性 来源： https://www.cnblogs.com/icetree/p/12418775.html