论文笔记_S2D.59_2015-ICRA-VLOAM-低漂移、鲁棒和快速的视觉-激光里程计和建图（VLoam）
作者：互联网
目录
基本情况
- 出处：Zhang J, Singh S. Visual-lidar odometry and mapping: Low-drift, robust, and fast[C]//2015 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2015: 2174-2181.
摘要
本文开发了一个低成本的立体视觉惯性定位系统，该系统利用有效的基于多状态约束卡尔曼滤波（MSCKF）的视觉惯性里程计（VIO），同时利用先验激光雷达图提供有界误差的三维导航。除了VIO中使用的标准稀疏视觉特征测量外，在紧密耦合的MSCKF更新中，还利用视觉半稠密点云到先前激光雷达地图中进行全局校准，从而校正累积漂移。特别讨论了视觉点云和激光雷达点云之间的交叉模态约束。通过montecarlo模拟和实际实验验证了该方法的有效性，结果表明，通过不同的探测方式建立的云之间的lidar映射约束极大地提高了标准vio，并提供了有界误差性能。
引用
最近在视觉里程计和激光雷达里程计方面取得的独立成果很有希望，因为它们可以为六自由度状态估计、建图甚至障碍物检测提供解决方案。单独使用每一个传感器都存在缺点。
- 视觉的缺点：视觉里程表方法需要适度的照明条件，如果没有足够的视觉特征，则会失败。
- 激光的缺点：通过移动激光雷达的运动估计涉及点云中的运动失真，因为在连续激光雷达运动的不同时间接收距离测量。因此，运动常常需要用大量的变量来求解。在退化的场景中，例如那些由平面区域控制的场景，扫描匹配也会失败。
在此，我们提出了一种单目相机和三维激光雷达相结合的自我运动估计的基本原理和第一原理方法。我们希望实时准确地估计6自由度运动以及环境的空间、度量表示，并在未知环境中导航机器人。虽然相机和激光雷达具有互补的优势和劣势，但使用传统的滤波方法结合将他们比较难。我们的方法是紧耦合了这两种模式，因此它既能处理包括平移和旋转在内的快速运动，又能处理完全白化或黑化图像中缺少光学纹理的情况。在非病态条件下，高精度的运动估计和环境重建是可能的。
我们提出的方法，即V-LOAM，探索了每种传感器的优点，并弥补了另一种传感器的缺点，因此在性能上比现有技术有了进一步的改进。该方法有两个顺序交错的过程。第一种方法使用高频视觉里程计作为图像帧速率（60hz）来估计运动。第二种方法使用低频（1hz）的激光雷达里程计来改进运动估计，并消除由视觉里程计漂移引起的点云失真。无失真点云被匹配并注册为增量构建地图。其结果是，视觉里程计处理快速运动，激光雷达里程计保证在不理想的照明条件的低漂移和鲁棒性。我们发现这些地图通常是准确的，无需进行后期处理。虽然环路闭合可以进一步改善地图，但我们有意选择不这样做，因为这项工作的重点是推动精确的里程估计的极限。
V-LOAM的基本算法具有一定的通用性，可以适用于不同类型的距离传感器，如飞行时间摄像机。如果先前的映射可用，也可以将该方法配置为仅提供本地化。
除了对Kitti里程计基准的评估[1]，我们还进一步试验了广角摄像机和鱼眼摄像机。我们的结论是，鱼眼相机具有更大的视场和更高的图像失真，因而具有更强的鲁棒性，但精度较低。然而，经过扫描匹配细化后，最终的运动估计达到了相同的精度水平。我们的实验结果可以在公开的视频中看到。
II 相关工作
基于视觉和激光雷达的方法通常用于状态估计[2]。对于立体相机[3]，[4]，基线提供了帮助确定运动比例的参考。然而，如果使用单目相机[5]-[7]，在不借助其他传感器或运动假设的情况下，运动的尺度通常是不可解的。RGB-D相机的引入为视觉图像与深度的关联提供了一种有效的方法。使用RGB-D相机进行运动估计[8]，[9]可以很容易地进行缩放。一些RGB-D视觉里程计方法也被提出，显示出有希望的结果[10]-[12]。然而，这些方法仅利用深度可用的成像区域，可能在没有深度覆盖的视觉图像中浪费大量区域。我们系统中使用的视觉里程表方法与[8]-[12]相似，因为它们都使用具有附加深度的视觉图像。然而，我们的方法是利用激光雷达的稀疏深度信息。它包括有深度和无深度的特征。
对于3D建图，一个典型的传感器是（2轴）3D激光雷达（13）。然而，这些激光雷达的使用是困难的，因为激光雷达不断范围和移动，点云存在运动失真。消除失真的一种方法是结合其他传感器来恢复运动。例如，Scherer等人的导航系统[14]使用与IMU集成的立体视觉里程计来估计微型飞行器的运动。激光雷达云是通过估计的运动来记录的。Droeschel等人的方法[15]采用了多摄像机视觉里程计，然后是基于多分辨率点云表示的扫描匹配方法。与[14]、[15]相比，我们的方法的不同之处在于，它将相机和激光雷达紧密耦合，这样运动恢复只需要一个相机。该方法还考虑了视觉里程计漂移引起的点云畸变，即在短时间内（1s）将漂移建模为线性运动，并在扫描匹配过程中用线性运动模型进行校正。
典型的去除运动畸变的方法是在激光帧之间进行插值（比如视觉，轮速计，IMU等）
过去的研究还表明，状态估计只能用三维激光雷达。例如，Tong等人匹配在由2轴激光雷达堆叠激光扫描产生的强度图像中的视觉特征，以解决运动（16）。运动采用匀速高斯过程建模。然而，由于该方法从激光图像中提取视觉特征，需要密集的点云。另一种方法来自bosse和zlot[17]，[18]。该方法匹配局部点簇的几何结构。他们使用由二维激光雷达和IMU组成的手持式绘图设备，IMU通过弹簧连接到手杆上[17]。他们还使用多个2轴雷达地图绘制地下矿[ 18 ]。该方法通过对分段数据进行批量优化处理，在分段之间加入边界约束，实现轨迹的恢复。该方法适用于离线调查，但不适用于在线实时应用。
提出的方法基于我们在[19]，[20]中的工作，其中视觉里程计方法DEMO和激光雷达里程计方法LOAM分别被提出。LOAM需要平滑运动，并依赖于IMU来补偿高频运动。本文对LOAM进行了改进，使新方法V-LOAM以视觉里程计的输出作为运动先验，然后是lidar里程计。视觉里程计中的摄像机模型也进行了修改，并与鱼眼摄像机兼容。实验结果表明，v-loam具有较低的漂移。结合了高频视觉里程计和鱼眼相机也使系统能够处理快速运动。
III 坐标系和规定
本文所要解决的问题是估计相机和激光雷达系统的运动，并用所估计的运动建立被穿越环境的地图。我们假设摄像机是由一般的中央摄像机模型[21]建模的。有了这样的相机模型，我们的系统可以同时使用普通相机和鱼眼相机（见实验部分）。我们假设摄像机的内部参数是已知的。同时对相机与激光雷达之间的外部参数进行了标定。这允许我们对两个传感器使用一个坐标系，即传感器坐标系。为了计算简单，我们选择传感器坐标系与摄像机坐标系一致-所有激光点在接收时都投影到摄像机坐标系中。作为本文的惯例，我们使用左大写来表示坐标系。在下面，让我们定义
- 传感器坐标系 {S} 为摄像机光学中心。X轴指向左边，Y轴指向上，Z轴点与摄像机主轴一致。
- 世界坐标系 {W} 是在起始位置与{S}同向的坐标系。
在定义了假设和坐标系的情况下，我们的里程测量和地图绘制问题被描述为:
在给定视觉图像和激光雷达云图的情况下，确定{S}相对于{W}的姿态，建立{W}中环境的地图。
IV 系统总结
图2示出了软件系统的示意图。整个系统分为两部分。视觉里程计主要估计帧间运动，频率为图像的帧率。特征跟踪模块提取并匹配连续图像之间的视觉特征。深度地图注册块在局部深度地图上注册激光雷达云，并将深度与视觉特征相关联。帧到帧运动估计块利用视觉特征计算运动估计。
激光雷达里程计部分，作者定义一个sweep作为三维激光雷达完成一次全扫描覆盖。如果激光雷达慢轴连续旋转，sweep通常是一个全球面旋转。然而，如果慢轴来回旋转，则sweep是朝着同一方向的顺时针或逆时针方向旋转。在我们的系统中，sweep持续1s。激光雷达里程计部分每次扫描执行一次，处理整个扫描中感知到的点云。首先，sweep到sweep优化模块在连续扫描之间匹配点云，以优化运动估计并消除点云中的失真。然后，扫描到地图构建模块匹配并加入到当前构建地图的点云上，并发布与地图相关的传感器姿态。传感器姿态以高频图像帧的速率输出两部分变换的积分。
V 视觉里程计
VI 激光雷达里程计
VII实验
VIII 总结
我们提出了一种使用相机和三维激光雷达相结合的实时里程测量和地图绘制方法。这是通过一种视觉里程表方法估计自我运动在高频和激光雷达里程表方法，细化运动估计和纠正漂移在低频。这两个部分的配合可以实现精确和稳健的运动估计，即视觉里程计处理快速运动，而激光雷达里程计保证低漂移。该方法在室内和室外使用我们自己的实验收集的数据集，用广角相机和鱼眼相机进行测试。该方法在Kitti里程计基准上进行了进一步的评估，平均相对位置漂移为0.75%。实验结果还表明了该方法在传感器高速运动和光照变化较大时的鲁棒性。
参考
标签：VLOAM,ICRA,里程计,相机,视觉,运动,方法,激光雷达 来源： https://blog.csdn.net/shyjhyp11/article/details/111146184