其他分享
首页 > 其他分享> > 【西蒙计算机视觉学习笔记】线性回归模型

【西蒙计算机视觉学习笔记】线性回归模型

作者:互联网

问题:回归问题,eg. 身体姿势估计的问题,输出的全局状态w(身体主要关节的角度)的每个元素都是连续的。

目的:根据观测值x来估计一元全局状态w,eg. 根据观测到人的处于未知姿势图像来估计身体角度

  1. 通过分割图像得到剪影。
  2. 通过跟踪剪影的边提取轮廓。
  3. 提取一个根据形状的上下文描述符描述形状的100维测量向量x
  4. 估计包含身体主要关节角度的向量w(十几种,分别估计各个关节的角度)。

模型的种类

  1. 判别模型——根据观测的数据x预测关于全局状态w的后验分布Pr(w|x)
  2. 线性回归模型:假设全局状态和数据的关系是线性的;该预测的不确定性为一个具有常数协方差的正态分布。

建模

  1. 因为全局状态w是一元连续的,所以可以选择全局状态w的一元正态分布。
  2. 为了使分布的参数依赖于数据x,这里令均值μ是数据x的线性函数φ_0+φ_1·x,方差σ^2为常数。

        据此,构建关于全局状态w的后验分布,其中有I个样本,每个数据向量xD维,向量φ的每一个分量代表D个数据维度中每一维的梯度:

Pr(w_i|x_i,\theta)=Norm_{w_i}[\phi_0+\phi^T x_i,\sigma^2],\\ \theta=\{ \phi_0,\phi, \sigma^2 \}, \qquad \phi_{D \times 1}=[\phi_1,\phi_2,\dots,\phi_D]^T \\ \\ Let \ x_i \leftarrow (1 \ x_i^T)^T_{(D+1) \times 1}, \qquad \phi \leftarrow (\phi_0 \ \phi^T)^T_{(D+1) \times 1} \\ Pr(w_i|x_i,\theta)=Norm_{w_i}[\phi^T x_i,\sigma^2]

        由于每个训练样本被看成是独立的,因此我们可以将整个训练样本集的概率Pr(w|X)写成单个对角协方差的正态分布:

Pr(w|X,\theta)=Norm_w[X^T \phi,\sigma^2 \mathrm{I}] \\ X=[x_1,x_2,\dots,x_I]_{D \times I}, \qquad w=[w_1,w_2,\dots,w_I]^T_{I \times 1}, \qquad \mathrm{I} \in R_{I \times I} ① 

学习

训练样本\{ x_i; w_i \}^I_{i=1} 。

待估计的模型参数

\begin{align} \hat{\theta} &=\underset{\theta}{argmax} [Pr(w|X,\theta)] \\ &\Leftrightarrow \underset{\theta}{argmax} \Big[ log [Pr(w|X,\theta)] \Big] & \theta=\{ \phi, \sigma^2 \} \end{align}

        对数函数式单调变换,因此它不会改变最大值的位置,并且变换后的这个成本函数更容易优化。将模型①代入,得:

\hat{\phi},\hat{\sigma}^2=\underset{\phi,\sigma^2}{argmax} \Bigg[ -\dfrac{Ilog[2\pi]}{2} -\dfrac{Ilog[\sigma^2]}{2} -\dfrac{(w-X^T\phi)^T(w-X^T\phi)}{2\sigma^2} \Bigg] \\ Let \ \dfrac{\partial L}{\partial \theta}=0, \\ \hat{\phi}=(XX^T)^{-1}XW \qquad \hat{\sigma}^2=\dfrac{(w-X^T\phi)^T(w-X^T\phi)}{I} ②

推理

对于新的数据X*,代入并计算包含上述参数②的关于待预测的全局状态w*的后验分布Pr(w*|x*)即可。

缺点:

标签:状态,后验,西蒙,模型,笔记,线性,全局,数据
来源: https://blog.csdn.net/woshirenchengaji/article/details/120684882