2022最新！视觉SLAM综述（多传感器/姿态估计/动态环境/视觉里程计）（上）

摘要

近年来，基于视觉的传感器在SLAM系统中显示出显著的性能、精度和效率提升。在这方面，视觉SLAM（VSLAM）方法是指使用相机进行姿态估计和地图生成的SLAM方法。许多研究工作表明，VSLAM优于传统方法，传统方法仅依赖于特定传感器，例如激光雷达，即使成本较低。VSLAM利用不同的摄像机类型（例如单目、双目和RGB-D），在不同的数据集（例如KITTI、TUM RGB-D和EuRoC）和不同的环境（例如，室内和室外）中进行测试，并采用了多种算法和方法论，以更好地解析环境。上述变化使这一主题受到研究人员的广泛关注，并产出了许多经典VSLAM算法。在这方面，论文调查的主要目的是介绍VSLAM系统的最新进展，并讨论现有的挑战和未来趋势。论文对在VSLAM领域发表的45篇有影响力的论文进行了深入的调查，并根据不同的特点对这些方法进行了分类，包括novelty domain、目标、采用的算法和语义水平。最后论文讨论了当前的趋势和未来的方向，有助于研究人员进行研究。

总结来说，图1显示了标准VSLAM方法的整体架构。系统的输入可以与其他传感器数据集成以提供更多信息，例如惯性测量单元（IMU）和激光雷达，而不是只有视觉数据。此外，对于VSLAM 范式中使用的直接或间接方法，视觉特征处理模块的功能可能会被更改或忽略。例如，“特征处理”阶段仅用于间接方法。另一个因素是利用一些特定模块，如回环检测和光束法平差，以改进执行。

视觉SLAM算法的发展

VSLAM系统在过去的几年中已经成熟，一些框架在这个开发过程中发挥了重要作用。图2展示了视觉SLAM发展过程中的里程碑算法。

首篇实时单目VSLAM于2007年由Davison提出，名为Mono SLAM的框架[17]。他们的间接框架可以使用扩展卡尔曼滤波（EKF）算法估计现实世界中的相机运动和3D元素[18]。尽管缺乏全局优化和回环检测模块，Mono SLAM开始在VSLAM域中发挥主要作用。然而用这种方法重建的地图只包括地标，没有提供关于该区域的进一步详细信息。Klein等人[14]在同一年提出了Parallel Tracking and Mapping（PTAM），他们将整个VSLAM系统分为两个主要线程：tracking和mapping。PTAM为后续很多工作奠定了基石。PTAM方法的主要思想是降低计算成本，并使用并行处理来实现实时性能。当tracking实时估计摄像机运动时，mapping预测特征点的3D位置。PTAM也是第一个利用光束法平差（BA）联合优化相机姿态和3D地图创建的方法。其使用Features from Accelerated Segment Test（FAST）[19]的角点检测器算法进行关键点匹配和跟踪。尽管该算法的性能优于Mono SLAM，但其设计复杂，在第一阶段需要用户输入。

Newcombe等人于2011年提出了一种用于测量深度值和运动参数来构建地图的直接方法，即密集跟踪和映射（DTAM）。DTAM是一种密集建图和密集跟踪模块的实时框架，可通过将整个帧与给定深度图对齐来确定相机姿态。为了构建环境地图，上述阶段分别估计场景的深度和运动参数。虽然DTAM可以提供地图的详细信息，但实时执行需要较高的计算成本。作为3D 建图和基于像素的优化领域中的另一种间接方法，Endres等人在2013年提出了一种可用于RGB-D相机的方法。他们的方法是实时的，专注于低成本嵌入式系统和小型机器人，但在无特征或具有挑战性的场景中无法产生准确的结果。同年，Salas Moreno等人[22]提出了SLAM++，是实时SLAM框架中利用语义信息的开山之作。SLAM++采用RGB-D传感器输出，并进行3D相机姿态估计和跟踪以形成姿态图。然后通过合并从场景中的语义目标获得的相对3D姿态来优化预测姿态。

随着VSLAM基线的成熟，研究人员专注于提高这些系统的性能和精度。Forster等人在2014年提出了一种混合VO方法，称为Semi-direct Visual Odometry（SVO）[24]。SVO可以结合基于特征的方法和直接方法来实现传感器的运动估计和建图任务。SVO可以与单目和双目相机一起工作，并配备了一个姿态细化模块，以最小化重投影误差。然而，SVO的主要缺点是采用短期数据关联，并且无法进行回环检测和全局优化。LSD-SLAM[25]是Engel等人于2014年提出的另一种有影响力的VSLAM方法，包含跟踪、深度估计和地图优化。该方法可以使用其姿态图估计模块重建大规模地图，并具有全局优化和回环检测功能。LSD-SLAM的弱点在于其初始化阶段，需要平面中的所有点，这使其成为一种计算密集型方法。Mur Artal等人介绍了两种精确的间接VSLAM方法，迄今为止广受关注：ORB-SLAM[26]和ORBSLAM 2.0[27]。这些方法可以在纹理良好的序列中完成定位和建图，并使用Oriented FAST and Rotated BRIEF（ORB）特征实现高性能的位置识别。ORB-SLAM的第一个版本能够使用从相机位置收集的关键帧来计算相机位置和环境结构。第二个版本是对ORB-SLAM的扩展，有三个并行线程，包括查找特征对应的跟踪、地图管理操作的局部建图，以及用于检测新环路和纠正漂移错误的回环。尽管ORB-SLAM 2.0可以与单目和立体相机一起使用，但由于重建具有未知比例的地图，因此不能用于自主导航。这种方法的另一个缺点是其无法在没有纹理的区域或具有重复模式的环境中工作。该框架的最新版本名为ORB-SLAM 3.0，于2021提出[28]。它适用于各种相机类型，如单目、RGB-D和双目视觉，并提供改进的姿态估计输出。

近年来，随着深度学习的快速发展，基于CNN的方法可以通过提供更高的识别和匹配率来解决许多问题。类似地，用学习特征替换人工设计的特征是许多最近基于深度学习的方法提出的解决方案之一。在这方面，Tateno等人提出了一种基于CNN的方法，该方法处理相机姿态估计的输入帧，并使用关键帧进行深度预测，命名为CNN-SLAM[29]。CNN-SLAM实现并行处理和实时性能的核心思想之一是，将相机帧分割成较小的部分以更好地理解环境。Engel等人还引入了Direct Sparse Odometry（DSO）[30]，其将直接方法和稀疏重建相结合，以提取图像块中的最高强度点。

综上所述，VSLAM系统演进过程中的里程碑表明，最近的方法侧重于多个专用模块的并行执行。这些模块形成了与广泛的传感器和环境兼容的通用技术和框架。上述特性使它们能够实时执行，并且在性能改进方面更加灵活。

相关综述

VSLAM领域已有不少综述，对不同的现有方法进行了全面调查。每一篇论文都回顾了使用VSLAM方法的主要优点和缺点。Macario Barros等人[31]将方法分为三个不同类别：仅视觉（单目）、视觉惯性（立体）和RGB-D。他们还提出了简化分析VSLAM算法的各种标准。然而[31]并没有包括其他视觉传感器，比如基于事件的传感器。Chen等人[32]调查了广泛的传统和语义VSLAM。他们将SLAM开发时代分为经典、算法分析和鲁棒感知阶段。并总结了采用直接/间接方法的经典框架，研究了深度学习算法在语义分割中的影响。尽管他们的工作提供了该领域高级解决方案的全面研究，但方法的分类仅限于基于特征的VSLAM中使用的特征类型。Jia等人[33]调查了大量文献，并对基于图优化的方法和配备深度学习的方法进行了简要比较。在另一项工作中，Abaspur Kazerouni等人[34]涵盖了各种VSLAM方法，利用了感官设备、数据集和模块，并模拟了几种间接方法进行比较和分析。它们只对基于特征的算法进行分析，例如HOG、尺度不变特征变换（SIFT）、加速鲁棒特征（SURF）和基于深度学习的解决方案。Bavle等人[35]分析了各种SLAM和VSLAM应用中的态势感知方面，并讨论了它们的缺失点。还有一些其他综述如[15]、[36]、[37]、[32]、[37]在此不再赘述。

与上述综述不同，本文对不同场景的VSLAM系统进行全面调查，主要贡献如下：

• 对各种最近的VSLAM方法进行分类，这些方法涉及研究人员在提出新解决方案方面的主要贡献、标准和目标；
• 通过深入研究不同方法的不同方面，分析VSLAM系统的当前趋势；
• 介绍VSLAM对研究人员的潜在贡献。

VSLAM 设置标准

考虑到各种VSLAM方法，论文将可用的不同设置和配置分为以下类别：传感器和数据采集、目标环境、视觉特征处理、系统评估和语义类别，下面逐一介绍。

传感器和数据采集

Davison等人[17]引入的VSLAM算法的早期阶段配备了用于轨迹恢复的单目摄像机。单目相机是最常见的视觉传感器，用于各种任务，如物体检测和跟踪[39]。另一方面，立体相机包含两个或更多图像传感器，使其能够感知图像中的深度，从而在VSLAM应用中实现更准确的性能。相机设置具有成本效益，并为更高的精度要求提供信息感知。RGB-D相机也是VSLAM中使用的视觉传感器，其可以提供场景中的深度和颜色。上述视觉传感器可以提供丰富的环境信息，例如，适当的照明和运动速度，但它们通常难以应对照明度低或场景动态范围高的情况。

近年来，事件摄像机也被用于各种VSLAM应用中。当检测到运动时，这些低延迟仿生视觉传感器产生像素级亮度变化，而不是标准强度帧，从而实现高动态范围输出，而不会产生运动模糊影响[40]。与标准相机相比，事件传感器在高速运动和大范围动态场景中可以提供可靠的视觉信息，但在运动速度较低时无法提供足够的信息。另一方面，事件相机主要输出关于环境的不同步信息。这使得传统的视觉算法无法处理这些传感器的输出[41]。此外，使用事件的时空窗口以及从其他传感器获得的数据可以提供丰富的姿态估计和跟踪信息。

此外，一些方法使用多目相机设置来解决在真实环境中工作的常见问题，并提高定位精度。利用多目传感器有助于解决复杂问题，例如遮挡、伪装、传感器故障或可跟踪纹理稀疏等，为摄像机提供重叠视角。尽管多目相机可以解决一些数据采集问题，但纯视觉的VSLAM可能会面临各种挑战，例如遇到快速移动目标时的运动模糊、低照度或高照度下的特征不匹配、高速变化场景下的动态目标忽略等。因此，一些VSLAM应用程序可能会在摄像机旁边配备多个传感器。融合事件和标准帧[42]或将其他传感器（如激光雷达[43]和IMU）集成到VSLAM是一些现有的解决方案。

目标环境

作为许多传统VSLAM实践中的一个有力假设，机器人在静态世界中工作，没有突然或意外的变化。因此，尽管许多系统可以在特定环境中成功应用，但环境中的一些意外变化（例如，移动目标的存在）可能会导致系统复杂化，并在很大程度上降低状态估计质量。在动态环境中工作的系统通常使用诸如光流或随机采样一致性（RANSAC）[44]之类的算法来检测场景中的移动，将移动目标分类为异常值，并在重建地图时跳过它们。这样的系统利用几何/语义信息或试图通过组合这两个结果来改进定位方案[45]。

此外作为一般分类法，论文将环境分为室内和室外两类。室外环境可以是具有结构地标和大规模运动变化（如建筑物和道路纹理）的城市区域，或具有弱运动状态（如移动的云和植被、沙子纹理等）的越野区域，这增加了定位和回环检测失败的风险。另一方面，室内环境包含具有完全不同的全局空间属性的场景，例如走廊、墙和房间。论文认为，虽然VSLAM系统可能在上述区域中的一个工作良好，但在其他环境中可能表现不出相同的性能。

视觉特征处理

如前文所述，检测视觉特征并利用特征描述子信息进行姿态估计是间接VSLAM方法的一个必要阶段。这些方法使用各种特征提取算法来更好地理解环境并跟踪连续帧中的特征点。特征提取算法有很多，包括SIFT[46]、SURF[47]、FAST[19]、BRIEF[48]、ORB[49]等。其中，与SIFT和SURF[50]相比，ORB特征具有快速提取和匹配而不大幅损失准确度的优点。

上述一些方法的问题是它们不能有效地适应各种复杂和不可预见的情况。因此，许多研究人员使用CNN来提取图像特征，包括VO、姿态估计和回环检测。根据方法的功能，这些技术可以表示有监督或无监督的框架。

系统评估

虽然一些VSLAM方法，特别是那些能够在动态和挑战性环境中工作的方法，在真实世界中进行测试。但许多研究工作都使用了公开的数据集来证明其适用性。在这方面，Bonarini等人[51]的RAWSEEDS数据集是一个著名的多传感器基准测试工具，包含室内、室外和混合机器人轨迹与真值数据。它是用于机器人和SLAM目的的最古老的公开基准测试工具之一。McCormac等人[52]的Scenenet RGB-D是场景理解问题的另一个受欢迎的数据集，例如语义分割和目标检测，包含500万个大规模渲染的RGB-D图像。最近在VSLAM和VO领域的许多工作已经在TUM RGB-D数据集上测试了它们的方法[53]。此外，Nguyen等人[54]的NTU VIRAL是由配备3D激光雷达、相机、IMU和多个超宽带（UWB）的无人机收集的数据集。该数据集包含室内和室外实例，旨在评估自动驾驶和空中操作性能。其他数据集如EuRoC MAV[55]、OpenLORIS Scene[56]、KITTI[57]、TartanAir[58]、ICL-NUIM[59]和基于事件相机的数据集[60]可以参考相关论文。

根据传感器设置、应用和目标环境，上述数据集用于多种VSLAM方法。这些数据集主要包含摄像机的内外参以及GT。表I和图3分别显示了数据集的总结特征和每个数据集的一些实例。

语义等级

机器人需要语义信息才能理解周围的场景并做出更优决策。在许多最近的VSLAM工作中，将语义级信息添加到基于几何的数据中优于纯几何的方法，使其能够提供环境的概念知识[61]。在这方面，预先训练的目标识别模块可以将语义信息添加到VSLAM模型[62]。最新的方法之一是在VSLAM应用中使用CNN。一般来说，语义VSLAM方法包含以下四个主要组成部分[43]：

• 跟踪模块：它使用从连续视频帧中提取的二维特征点来估计相机姿态并构建三维地图点。相机姿态的计算和3D地图点的构建分别建立了定位和建图过程的基线；
• 局部建图模块：通过处理两个连续视频帧，创建了一个新的3D地图点，该点与BA模块一起用于改进相机姿态；
• 回环模块：通过将关键帧与提取的视觉特征进行比较并评估它们之间的相似性，进一步调整相机姿态并优化构建的地图；
• 非刚性上下文消隐 (Non-Rigid Context Culling，NRCC)：使用NRCC的主要目标是从视频帧中过滤时间目标，以减少它们对定位和建图阶段的不利影响。其主要包含一个分割过程，用于分离帧中的各种不稳定实例，例如人。由于NRCC可以减少待处理的特征点的数量，因此简化了计算部分并获得了更鲁棒的性能。

因此，在VSLAM方法中利用语义信息可以改善姿态估计和地图重建的不确定性。然而，当前的挑战是如何正确使用提取的语义信息，而不影响计算成本。

基于主要目标的VSLAM方法

目标一：多传感器处理

这一类别涵盖了使用各种传感器以更好地了解环境的VSLAM方法的范围。虽然一些技术仅依赖摄像机作为所使用的视觉传感器，但其他技术将各种传感器结合起来以提高算法的准确性。

1）使用多相机

一个相机重建运动物体的3D轨迹可能很困难，一些研究人员建议使用多相机。例如，CoSLAM是Zou和Tan[63]推出的一个VSLAM系统，它使用部署在不同平台上的单摄像机来重建鲁棒地图。CoSLAM结合了在动态环境中独立移动的多个摄像机，并根据它们重叠的视场重建地图。该过程通过混合相机内和相机间姿态估计和建图，使得在3D中重建动态点更容易。CoSLAM使用Kanade-Lucas-Tomasi（KLT）算法跟踪视觉特征，并在静态和动态环境中运行，包括室内和室外，其中相对位置和方向可能会随时间变化。这种方法的主要缺点是需要复杂的硬件来理解大量的摄像机输出，并通过增加更多的摄像机来增加计算成本。

对于具有挑战性的野外场景，Yang等人[64]开发了一种多摄像机协同全景视觉VSLAM方法。[64]赋予每个摄像机独立性，以提高VSLAM系统在挑战场景下的性能，例如遮挡和纹理稀疏。为了确定匹配范围，他们从摄像机的重叠视场中提取ORB特征。此外，[64]还使用了基于CNN的深度学习技术来识别回环检测的类似特征。在实验中，作者使用了由全景相机和集成导航系统生成的数据集。相关工作还有MultiCol-SLAM[65]。

2）使用多传感器

其他一些方法建议融合多传感器，并使用基于视觉和惯性的传感器输出以获得更好的性能。在这方面，Zhu等人[66]提出了一种称为CamVox的低成本间接激光雷达辅助VSLAM，并证明了其可靠的性能和准确性。他们的方法使用ORB-SLAM 2.0，将Livox激光雷达作为高级深度传感器提供的独特功能与RGB-D相机的输出相结合。作者使用IMU来同步和校正非重复扫描位置。CamVox贡献是提出了一种在不受控制的环境中运行的自主激光雷达-相机校准方法。在机器人平台上的实测表明，CamVox在能够实时运行。

[67]提出了一种名为VIRAL（视觉-惯性-测距-激光雷达）SLAM的多模态系统，该系统将相机、激光雷达、IMU和UWB耦合起来。并提出了一种基于激光雷达点云构建的局部地图的视觉特征地图匹配边缘化方案。使用BRIEF算法提取和跟踪视觉分量。该框架还包含用于所使用的传感器的同步方案和触发器。VIRAL在NTU VIRAL[54]数据集上测试了他们的方法，该数据集包含相机、激光雷达、IMU和UWB传感器捕获的数据。然而，由于处理同步、多线程和传感器冲突解决，他们的方法计算量很大。其他相关算法Ultimate SLAM[68]、[69]可以参考相关论文。

目标二：姿态估计

这类方法的重点是如何使用各种算法改进VSLAM方法的姿态估计。

1）使用线/点数据

在这方面，Zhou等人[70]建议使用建筑结构线段作为有用的特征来确定相机姿态。结构线与主导方向相关联，并编码全局方向信息，从而改善预测轨迹。方法名为StructSLAM，是一种6自由度（DoF）VSLAM技术，可在低特征和无特征条件下运行。

Point and Line SLAM（PL-SLAM）是一种基于ORB-SLAM的VSLAM系统，针对非动态低纹理场景进行了优化，由Pumarola等人提出[71]。该系统同时融合线和点特征以改进姿态估计，并帮助在特征点较少的情况下运行。作者在生成的数据集和TUM RGB-D上测试了PL-SLAM。其方法的缺点是计算成本和必须使用其他几何图元（例如平面），以获得更稳健的精度。

Gomez-Ojeda等人[72]介绍了PL-SLAM（不同于Pumarola等人[71]中同名的框架），这是一种间接VSLAM技术，使用立体视觉相机中的点和线来重建看不见的地图。他们将从所有VSLAM模块中的点和线获得的片段与从其方法中的连续帧获取的视觉信息合并。使用ORB和线段检测器（LSD）算法，在PL-SLAM中的后续立体帧中检索和跟踪点和线段。作者在EuRoC和KITTI数据集上测试了PL-SLAM，在性能方面可能优于ORB-SLAM 2.0的立体版本。PL-SLAM的主要缺点之一是特征跟踪模块所需的计算时间以及考虑所有结构线以提取关于环境的信息。其他相关算法[73]可以参考论文。

2）使用额外特征

[74]中提出了Dual Quaternion Visual SLAM（DQV-SLAM），一种用于立体视觉相机的框架，该框架使用广泛的贝叶斯框架进行6-DoF姿态估计。为了防止非线性空间变换组的线性化，他们的方法使用渐进贝叶斯更新。对于地图的点云和光流，DQV-SLAM使用ORB功能在动态环境中实现可靠的数据关联。在KITTI和EuRoC数据集上，该方法可以可靠地得到预测结果。然而，它缺乏姿态随机建模的概率解释，并且对基于采样近似的滤波的计算要求很高。其他相关算法SPM-SLAM[75]可以参考论文。

3）深度学习

Bruno和Colombini[76]提出了LIFT-SLAM，它将基于深度学习的特征描述子与传统的基于几何的系统相结合。并扩展了ORB-SLAM系统的流水线，使用CNN从图像中提取特征，基于学习得到的特征提供更密集和精确的匹配。为了检测、描述和方向估计，LIFT-SLAM微调学习不变特征变换（LIFT）深度神经网络。使用KITTI和EuRoC MAV数据集的室内和室外实例进行的研究表明，LIFT-SLAM在精度方面优于传统的基于特征和基于深度学习的VSLAM系统。然而，该方法的缺点是其计算密集的流水线和未优化的CNN设计。

Naveed等人[77]提出了一种基于深度学习的VSLAM解决方案，该解决方案具有可靠且一致的模块，即使在极端转弯的路线上也是如此。他们的方法优于几种VSLAM，并使用了在真实模拟器上训练的深度强化学习网络。此外，它们还为主动VSLAM评估提供了基线，并可在实际室内和室外环境中适当推广。网络的路径规划器开发了理想的路径数据，由其基础系统ORB-SLAM接收。[77]制作了一个数据集，包含了挑战性和无纹理环境中的实际导航事件，以供评估。其他方法RWT-SLAM[78]可参考相关论文。

原文首发微信公众号【自动驾驶之心】：一个专注自动驾驶与AI的社区（https://mp.weixin.qq.com/s/NK-0tfm_5KxmOfFHpK5mBA）