首页 > 其他分享> > 辨析：最小二乘、线性回归与极大似然

辨析：最小二乘、线性回归与极大似然

2021-06-18 23:29:26 作者：互联网

下面三个概念在机器学习领域非常常见：

这三个术语经常存在混淆，本文试图辨析。

注意，本文辨析结果也许与一般书籍论文中定义不同，全在于个人理解。

最小二乘，狭义上，是以最小化目标 $y$ 与拟合函数 $f(x;w)$ 误差平方和的方式，确定函数参数 $w$ 的方法，即

$\min_{w} \frac{1}{N}\sum_i (y_i-f(x_i;w))^2$

当 $f(x;w)$ 是关于参数 $w$ 的线性函数的时候：

误差 $\epsilon = y - f(x;w)$ 进一步满足: (1) $E(\epsilon)=0$ , (2) $Cov(\epsilon)=\sigma^2 I$ 时，最小二乘法优化得到的函数参数是 BLUE 的，即最小无偏估计。

重点说明极大似然与最小二乘的关系。

假设模型的误差可以用正态分布建模，即

$y=f(x;w) + \epsilon, \epsilon\sim N(0,\sigma^2)$

可以写成

$y=N(f(x;w)),\sigma^2)$

易知，利用极大似然优化上式，等价于上述最小二乘的优化公式。

需要注意，利用最小二乘法优化线性回归，并不需要正态分布假设即可 BLUE。

正态分布只是帮助理解最小二乘与极大似然之间可能存在的关系。

标签：似然,极大,辨析,最小,线性,优化,二乘
来源： https://blog.csdn.net/pkuhyd/article/details/118019292