其他分享
首页 > 其他分享> > 【无标题】

【无标题】

作者：互联网

这里写目录标题

三维重建–从过去到未来

研究背景和研究意义

人类通过双眼来探索与发现世界。人类接收外部信息的方式中，有不到三成来自于听觉、触觉、嗅觉等感受器官，而超过七

成、最丰富、最复杂的信息则通过视觉1进行感知的。计算机视觉便是一种探索给计算机装备眼睛(摄像头)与大脑(算法)

的技术，以使计算机能够自主独立的控制行为、解决问题，同时感知、理解、分析外部环境。

三维重建作为计算机视觉技术中最为最为热门的研究方向之一，涉及到包括图像处理、立体视觉、模式识别等多个学科

体系。随着元宇宙(Metaverse)的崛起，构建虚拟的、可参与的、实时交互的3D环境的任务也接踵而至。如何在元宇宙的

建设中对真实场景进行构建，以及如何还原出真实的色彩、纹理和更多的细节，从而给虚拟世界创造更好的沉浸式体验就成

为了当前三维重建的主要研究背景。

前Nerf时代

基于传统多视图几何的三维重建算法

传统的三维重建传算法按传感器是否主动向物体投射光源可以分为主动式和被动式两种方法，其中主动式是指通过传感器主

动地向物体照射信号，然后依靠解析返回的信号来获得物体的三维信息，常见的方法有结构光法、TOF激光飞行时间

和三角测距法等等。被动式方面依靠多视图几何原理基于视差进行计算，主要方法有SFM(struction from Motion)、

SGM等。

相机标定以及坐标转换

在说明传统的三维重建方法之前，我认为对相机标定以及如何从世界坐标系转换到像素坐标系做出一定的了解是有必要

的。想要知道在空间物体表面某点的三维几何位置与其在图像中对应点之间的关系，必须建立相机成像的几何模型，其中几

何模型的参数就是相机参数，求解相机参数的过程就是相机标定。

那么如何实现3D世界和2D世界的相互转换呢？我们要知道在转换的过程中存在四个坐标系，分别是世界坐标系、相机坐标

系、图像坐标系以及像素坐标系。3D与2D的转换也就是透过这四个坐标系进行转换，首先从世界坐标系到相机坐标系的变

换，只需要对物体进行旋转和平移。在这里插入图片描述
若以x为轴进行旋转，其中：(同理可知绕y轴和绕z轴所得到的旋转矩阵）

Xc=X；

Yc=cosθ·Y+sinθ·Z；

Zc=-sinθ·Y+cosθ·Z；我们可以得到矩阵如下所示：
在这里插入图片描述
我们将旋转矩阵假定为R，平移矩阵为T，就可以得到完整的坐标变化公式：(当中的系数矩阵也被称作为相机的外参矩阵）
在这里插入图片描述
从相机矩阵到图像矩阵的变换就是从三维立体空间到二维平面空间的变换，所反映的是空间中任一点P与图像上任一点P

之间的关系，如下图2所示：
在这里插入图片描述
由三角形相似我们可以得到以下等式：
在这里插入图片描述
从而得到以下变换矩阵==(齐次坐标表示）== （其中p代表picture；c代表camera；s代表点p在相机矩阵中z方向的坐标）
在这里插入图片描述
从图像坐标系到像素坐标系这部分比较简单，如下图所示：
在这里插入图片描述
我们可以得到矩阵变换如下：(dx 为每个像素的物理尺寸）
在这里插入图片描述

主动式——结构光法

有了以上的相机标定等知识的基础，我们就可以对结构光法进行更好的理解。结构光法依靠投影仪将编码的结构光投射

到被拍摄物体上，然后由摄像头进行拍摄。由于被拍摄物体上的不同部分相对于相机的距离精度和方向不同，结构光编码的

图案的大小和形状也会发生改变。这种变化可以被摄像头捕获，然后通过运算单元将其换算成深度信息，进而获取物体的

三维轮廓信息。

投影光编码的方式有很多种，通常的编码是分别对投影图片的行和列进行编码，常见的格雷码如下图所示：
列格雷码
通过对相机图片上拍摄的物体表面投射的列格雷码光编码及行格雷码光编码进行解码，就可以知道物体在相机图片上成像位

置(uc，vc)及其对应的投影仪虚拟的成像位置(up，vp)，则上述方程可以改为：(其中K为相机的内参，S为真实点在相

机矩阵中的z坐标。
在这里插入图片描述
在这里插入图片描述
这种方法缺点是容易受环境光干扰，因此室外体验差。另外，随检测距离增加，其精度也会变差。目前，一些研究通过增大

功率、改变编码方式等形式解决这些问题，取得了一定的效果。

主动式——TOF激光飞行时间&三角测距法

TOF 飞行时间法依靠通过向目标连续发送光脉冲，然后依据传感器接收到返回光的时间或相位差来计算距离目标的距离。

但显然这种方式足够的精度需要极为精确的时间测量模块，因此成本相对较高。好处是这种方法测量距离比较远，受环境光

干扰比较小。目前这方面研究旨在降低计时器良品率及成本，相应的算法性能也在提升。

三角测距法，即依据三角测距原理，不同于前两者需要较为精密的传感器，三角测距法整体成本较低，并且在近距离的时

候精度较高，因而广泛应用于民用和商用产品中，如扫地机器人中。但三角测距的测量误差与距离有关，随着测量距离越来

越大，测量误差也越来越大，这是由三角测量的原理导致的，不可避免。

被动式——SFM(struction from Motion）

SFM2算法是一种基于各种收集到的无序图片进行三维重建的离线算法。

参考文献

[1] Szeliski R. Computer vision: algorithms and applications[M]. Berlin: Springer, 2010.
[2] Ullman S. The interpretation of structure from motion[J]. Proceedings of the Royal Society of London. Series B. Biological Sciences, 1979,203(1153):405-426.DOI:10.1098/rspb.1979.0006.

  1. 1 ↩︎

  2. 2 ↩︎

标签：主动式,物体,矩阵,无标题,相机,坐标系,三维重建
来源： https://blog.csdn.net/cpu077/article/details/122746009