从 回归(简述) 到 广义线性模型
作者:互联网
本文记住这句话就够了:
把线性回归 y=wx 加上一个连接函数 f(wx) 就可以转化成各种回归
线性回归
我们知道,线性回归需要满足几个非常重要的假设
1. 正态性:残差符合正态分布
2. 方差齐性:Y的方差相等,确切地说是 残差 的方差变化不大
为什么呢?
Y=β0+β1x1+β2x2+…+βp−1xp−1+ϵ
ϵ 叫做残差(y_predict - y_true),ϵ 来自于数据噪声,噪声是一定存在且无法预测的
若 ϵ 需服从正态分布,则
Y1=β0+β1x1+β2x2+…+βp−1xp−1+ϵ1 # 样本1 Y2=β0+β1x1+β2x2+…+βp−1xp−1+ϵ2 # 样本2
Y3=β0+β1x1+β2x2+…+βp−1xp−1+ϵ3 # 样本3
# 两边求期望
E[Y]=β0+β1x1+β2x2+…+βp−1xp−1
回归其实预测的是 Y 的均值,Y1代表单个样本,单个样本必然存在误差,多个样本会把这个误差消除掉
实际上线性回归存在一个连接函数 link function
E[Y]=f(β0+β1x1+β2x2+…+βp−1xp−1)=β0+β1x1+β2x2+…+βp−1xp−1,即
f(y)=y=wx,也就是预测的 y(=wx) 就是我们需要的 y
逻辑回归
逻辑回归的连接函数为 sigmoid
也就是预测的 y(=wx) 需要做 sigmoid 转换才是我们需要的 y;
其实 sigmoid 就是转换成 伯努利分布,即 0 还是 1;
伯努利分布就是 一种 指数族分布;
指数族分布
指数族分布是一个大家族
广义线性模型
把连接函数推广到所有指数族分布就是广义线性模型
总结
1. 除了线性回归,广义线性模型的本质是非线性模型,但也都可以叫 XX线性回归,因为他们只是对 wx 做了非线性转换
2. 连接函数 link function 起到了 连接 线性模型 wx 和 真实值 的作用
时间有限,有空再完善吧...
参考资料:
https://mp.weixin.qq.com/s/uHRqe9onGA3vnSKVWRSHow 线性回归基本教程
https://cosx.org/2011/01/how-does-glm-generalize-lm-assumption 从线性模型到广义线性模型(1)——模型假设篇
https://blog.csdn.net/a493823882/article/details/81477235 广义线性模型(Generalized Linear Model)——机器学习
https://zhuanlan.zhihu.com/p/22876460 广义线性模型(Generalized Linear Model)
https://www.cnblogs.com/czdbest/p/5769326.html 广义线性模型(Generalized Linear Models)
标签:模型,1xp,简述,1x1,广义,线性,2x2,wx 来源: https://www.cnblogs.com/yanshw/p/14498309.html