读一篇关于VSLAM的论文

视觉同步定位与制图(VSLAM)具有广泛的应用，最先进的方法利用深度神经网络具有更好的鲁棒性和适用性。然而，如何将这些基于学习的方法与多传感器信息融合在一起，这对于推动相关应用到大规模和复杂场景是必不可少的，目前还缺乏研究。在本文中，我们通过因子图将可训练深度密集束调整(DBA)与多传感器信息紧密结合。在该框架中，在序列图像之间进行循环光流和DBA。该方法采用滑动窗口并支持概率边缘化，将得到的Hessian信息输入到多传感器融合的通用因子图中。首先开发了一种视觉惯性集成管道，提供了最小的公制尺度定位和映射能力。此外，还集成了其他传感器(例如全球导航卫星系统)，以实现无漂移和地理参考功能。在公共数据集和自己收集的数据集上进行了广泛的测试。结果验证了我们的方法具有优越的定位性能，可以在大规模环境中实现实时密集映射。代码已经开源(https://github.com/GREAT-WHU/DBA-Fusion)。

视觉同步定位和绘图(VSLAM)是VR/AR和机器人应用中的关键技术[1]。近年来，深度学习通过利用更高层次的信息，极大地推动了VSLAM在准确性、鲁棒性和密集空间感知方面的进步[2]，[3]。由于数据驱动的性质，端到端VSLAM系统在新数据域上的泛化具有挑战性。为了解决这一问题，DROID-SLAM[4]设计了一种集光流和密集束调整(dense bundle adjustment, DBA)于一体的循环结构，该结构端到端可训练，具有优异的零射性能。

需要注意的是，纯视觉系统有其固有的局限性，容易受到极端光照问题和动态场景的影响。为了应对这些挑战，一种很有前途的方法是结合多个传感器，如惯性测量单元(IMU)[5]、全球导航卫星系统(GNSS)[6]和轮速传感器(WSS)，以实现最佳的信息融合。尽管多传感器VSLAM系统的集成已经得到了广泛的研究，但基于学习的VSLAM框架的研究还很有限。在大多数情况下，模型驱动方法对于上述传感器都是足够有效的，关键的挑战在于如何将多传感器状态估计与深度VSLAM方法概率融合，形成一个通用的框架，并评估其在状态估计和地图方面的实际意义。

在这项工作中，我们提出了DBA- fusion，它提供了一个通用的因子图框架，将类似droid-slam的深度DBA与多传感器信息紧密集成，如图1所示。该系统旨在通过多传感器融合提高深度VSLAM的实用性，使其适合于实时大规模应用。本工作的贡献总结如下:
1)我们提供了一个紧密视觉惯性集成的管道，将循环深度DBA引入到滑动窗口因子图优化框架中。
2)系统支持多传感器(如GNSS、WSS)的灵活集成，可用于大规模、地理参考导航和地图应用。
3)在室内/室外、手持/车载场景的公共数据集和自制数据集上对系统的综合性能进行了评估。

A.

近年来，深度学习被广泛研究以整合到VSLAM中，其动机多种多样。基于学习的方法已经被用来取代VSLAM系统中的关键模块，如特征跟踪[8]、深度推理[9]，或者通过语义信息实现对象级SLAM[10]、[11]。也有许多作品试图开发端到端的视觉SLAM系统[12]，[13]。最近的研究主要集中在三维空间地图的神经表示上，该方法已经显示出令人印象深刻的重建性能[14]，[15]。

在上述方法中，DROID-SLAM是一种比较流行的方法，它结合了传统SLAM管道和端到端学习的优点，并以其良好的通用性和密集映射能力而闻名。DROID-SLAM的核心设计是基于门循环单元(GRU)和可微DBA层的循环光流模块，使其与深度推理解耦，可以灵活地应用于零射击数据集。

B.

具有多传感器融合的VSLAM视觉惯性集成是一种常用的方案，可以克服仅视觉SLAM的局限性，以几乎最小的设置提供尺度感知和估计连续性。经典的实现可以分为基于过滤器的[16]和基于优化的[17]。在过去的几十年里，先进的特征得到了发展，包括可观测性约束[18]、直接光度优化[19]、地图管理[20]和延迟边缘化[21]。在[22]中，DROID-SLAM与IMU在因子图框架中融合。然而，边缘化和单眼设置不被考虑。最近，端到端视觉惯性SLAM结构也被提出[23]。

该框架的总体设计旨在灵活地融合多传感器信息和可训练的VSLAM系统。

对于视觉前端，使用循环光流模块计算共可见性图中图像对的密集像素关联。重新投影用于表述DBA问题。然后通过因子图将DBA信息与多传感器紧密融合，其中采用了具有概率边缘化的滑动窗口机制。

在多传感器融合中，首先在因子图中考虑IMU，实现最小视觉惯性里程计(VIO)。此外，为了提高系统在大规模场景下的适用性，在可用的情况下，将GNSS、WSS等常用传感器集成到因子图中。

A.循环光流

本工作中应用的循环光流坚持DROID-SLAM的实现，DROID-SLAM源于发达的RAFT[27]，并紧密利用相机姿态和深度进行迭代细化。循环光流的结构如图2所示。具体来说，对于共可见光图像对(源帧i投影到目标帧j)，基于它们编码的特征映射形成一个相关体。在一次光流更新操作中，首先通过相对位姿Tij投影源帧的(逆)深度图λi来估计初始光流场

其中ui为网格点的像素坐标，Ti和Tj为世界到相机的变换，Πc为相机投影模型，其逆运算将像素坐标和逆深度提升为三维点。注意，Eq.(1)也用于估计帧间的视差，以便在进一步的步骤中检查帧之间的共可见性。
在流量估计的基础上，对相关体积进行查找操作L。然后将结果注入具有隐藏状态hij的卷积GRU中，得到残差形式的修正流量δuij。此外，光流的像素加权wij表示几何和外观的不确定性，以提高下游BA。为了实时性能，我们只考虑步长为8的每个图像中的像素。在这种情况下，λi的大小n为(H/8) × (W/8)，其中(H, W)为图像的大小。
在共可见性图中的每个活动图像对(称为边缘)上计算上述光流，从而构造DBA问题。DBA的优化结果，即密集深度和相机姿态，循环地馈送到光流模块，迭代地改进一切。这样的操作将不断进行，以调整光流，直到达到收敛状态，这与通常的前向跟踪视觉前端不同。经验证，循环光流设计在零射数据集上具有良好的泛化效果。在这项工作中，我们只是使用在合成TartanAir[28]数据集上预训练的网络权重进行之后的所有测试。

B.将DBA集成到一个通用因子图中

DBA的基本元素是共可见性图中的一条单向边，对应于从一个源帧到一个目标帧的重投影误差，其线性化形式为

式中，δuij为光流模块输出的光流残余，ξi、ξj为相机位姿的李代数，δλi为源帧反深度图的误差状态，Ji、Jj、Jλi为由式(1)导出的雅可比矩阵。
考虑光流的权值wij，计算式(2)的Hessian形式如下

其中Cii是一个n × n的对角矩阵

考虑锚定在帧i上并投影到共可见帧(编号1,2，…)，以N为例)，则通过将式(4)中的块按位置堆叠/求和来构建组合的Hessian为