首页 > 其他分享> > 【西蒙计算机视觉学习笔记】线性回归模型

【西蒙计算机视觉学习笔记】线性回归模型

2021-10-10 16:59:09 作者：互联网

问题：回归问题，eg. 身体姿势估计的问题，输出的全局状态w（身体主要关节的角度）的每个元素都是连续的。

目的：根据观测值x来估计一元全局状态w，eg. 根据观测到人的处于未知姿势图像来估计身体角度。

通过分割图像得到剪影。
通过跟踪剪影的边提取轮廓。
提取一个根据形状的上下文描述符描述形状的100维测量向量x。
估计包含身体主要关节角度的向量w（十几种，分别估计各个关节的角度）。

模型的种类：

判别模型——根据观测的数据x预测关于全局状态w的后验分布Pr(w|x)。
线性回归模型：假设全局状态和数据的关系是线性的；该预测的不确定性为一个具有常数协方差的正态分布。

建模：

因为全局状态w是一元连续的，所以可以选择全局状态w的一元正态分布。
为了使分布的参数依赖于数据x，这里令均值μ是数据x的线性函数φ_0+φ_1·x，方差σ^2为常数。

据此，构建关于全局状态w的后验分布，其中有I个样本，每个数据向量x有D维，向量φ的每一个分量代表D个数据维度中每一维的梯度：

$Pr(w_i|x_i,\theta)=Norm_{w_i}[\phi_0+\phi^T x_i,\sigma^2],\\ \theta=\{ \phi_0,\phi, \sigma^2 \}, \qquad \phi_{D \times 1}=[\phi_1,\phi_2,\dots,\phi_D]^T \\ \\ Let \ x_i \leftarrow (1 \ x_i^T)^T_{(D+1) \times 1}, \qquad \phi \leftarrow (\phi_0 \ \phi^T)^T_{(D+1) \times 1} \\ Pr(w_i|x_i,\theta)=Norm_{w_i}[\phi^T x_i,\sigma^2]$

由于每个训练样本被看成是独立的，因此我们可以将整个训练样本集的概率Pr(w|X)写成单个对角协方差的正态分布：

$Pr(w|X,\theta)=Norm_w[X^T \phi,\sigma^2 \mathrm{I}] \\ X=[x_1,x_2,\dots,x_I]_{D \times I}, \qquad w=[w_1,w_2,\dots,w_I]^T_{I \times 1}, \qquad \mathrm{I} \in R_{I \times I}$ ①

学习：

训练样本： $\{ x_i; w_i \}^I_{i=1}$ 。

待估计的模型参数：

$\begin{align} \hat{\theta} &=\underset{\theta}{argmax} [Pr(w|X,\theta)] \\ &\Leftrightarrow \underset{\theta}{argmax} \Big[ log [Pr(w|X,\theta)] \Big] & \theta=\{ \phi, \sigma^2 \} \end{align}$

对数函数式单调变换，因此它不会改变最大值的位置，并且变换后的这个成本函数更容易优化。将模型①代入，得：

$\hat{\phi},\hat{\sigma}^2=\underset{\phi,\sigma^2}{argmax} \Bigg[ -\dfrac{Ilog[2\pi]}{2} -\dfrac{Ilog[\sigma^2]}{2} -\dfrac{(w-X^T\phi)^T(w-X^T\phi)}{2\sigma^2} \Bigg] \\ Let \ \dfrac{\partial L}{\partial \theta}=0, \\ \hat{\phi}=(XX^T)^{-1}XW \qquad \hat{\sigma}^2=\dfrac{(w-X^T\phi)^T(w-X^T\phi)}{I}$ ②

推理：

对于新的数据X*，代入并计算包含上述参数②的关于待预测的全局状态w*的后验分布Pr(w*|x*)即可。

缺点：

模型的预测过于自信。例如，φ的一点变化会使预测结果发生巨大变化，但φ的这个不确定性却没有反映在后验分布中。
局限于线性函数。通常并没有特殊原因能使得视觉数据和全局状态是线性关系。
当观测数据x是高维数据时，该变量的许多元素可能会失去对预测全局状态的作用，因此得到的模型过于复杂。

标签：状态,后验,西蒙,模型,笔记,线性,全局,数据
来源： https://blog.csdn.net/woshirenchengaji/article/details/120684882