Lianos, Konstantinos-Nektarios, Johannes L. Schönberger, Marc Pollefeys, and Torsten Sattler. “VSO: Visual Semantic Odometry.” In Computer Vision – ECCV 2018, edited by Vittorio Ferrari, Martial Hebert, Cristian Sminchisescu, and Yair Weiss, 11208:246–63. Lecture Notes in Computer Science. Cham: Springer International Publishing, 2018. https://doi.org/10.1007/978-3-030-01225-0_15.

1 Introduction

作者认为，VO 的核心问题在于数据关联DA。

通常来讲，有两种方法来减少VO 中的漂移：

1. 方法一：利用连续图片之间的短期关联来进行偏移矫正；
2. 方法二：利用回环检测实现长期关联。

传统的几何特征（点、线、面）在光照、视角变化下鲁棒性较差，不能在长距离上保持持续跟踪，而语义特征作为更高级的特征，语义特征在光照、视角、尺寸发生较大变化时仍然可以保持不变，使得中期关联成为可能，如Fig. 1所示。

Civera, J., D. Galvez-Lopez, L. Riazuelo, J. D. Tardos, and J. M. M. Montiel. “Towards Semantic SLAM Using a Monocular Camera.” In 2011 IEEE/RSJ International Conference on Intelligent Robots and Systems, 1277–84. San Francisco, CA: IEEE, 2011. https://doi.org/10.1109/IROS.2011.6094648.

1 Introduction

本文提出了一种语义SLAM 算法，本算法将传统无意义的特征点和物体融合进到地图中。

本算法融合了三个不同领域的SOTA：

1. 一个EKF 单目SLAM 提供相机位姿的在线实时估计，以及包含点特征的稀疏地图；
2. 利用 Structure from Motion (SfM) 从稀疏图片中计算一个物体模型数据库；
3. 视觉识别来检测图片流中物体是否存在。

Mur-Artal, Raul, and Juan D. Tardos. “ORB-SLAM2: An Open-Source SLAM System for Monocular, Stereo, and RGB-D Cameras.” IEEE Transactions on Robotics 33, no. 5 (October 2017): 1255–62. https://doi.org/10.1109/TRO.2017.2705103.

1 Introduction

本文的贡献：

1. 第一个适用于单目、双目以及RGB-D 相机的开源SLAM 系统，该系统包含回环检测、重定位以及地图重用；
2. 本系统运行RGB-D 的结果证明：使用BA 可以实现比基于ICP 或者光度深度误差最小化的SOTA 方法更高的精度；
3. 通过使用近远立体点和单目观测，本系统运行双目的结果要比直接双目SLAM 的 SOTA 算法精度更高；
4. 提出了一种关闭制图功能情况下，有效重使用地图的轻量级定位模式。

Mur-Artal, Raul, J. M. M. Montiel, and Juan D. Tardos. “ORB-SLAM: A Versatile and Accurate Monocular SLAM System.” IEEE Transactions on Robotics 31, no. 5 (October 2015): 1147–63. https://doi.org/10.1109/TRO.2015.2463671.

1 Introduction

本文的贡献如下：

1. 对所有任务使用相同的特性：tracking, mapping, relocalization and loop closing, 这使得我们的系统更加高效、简单且可靠；使用ORB 特征，可在CPU 上实现实时运行，且具有较好的视角、光照不变性；
2. 利用共视图使得跟踪与制图都聚焦于一个局部共视区域，从而实现在大规模环境中地实时操作，可不受全局地图尺寸地影响；
3. 基于位姿图优化的实时回环检测（作者称其为 Essential Graph），其构建于系统维护的spanning tree、回环连接以及共视图中的线；
4. 基于良好的视角和光照不变性实现的实时相机重定位，可在跟踪失败时进行重初始化，并增强了地图的重用性；
5. 提出一个基于模型选择的自动鲁棒的初始化程序，可为平面和非平面场景创建一个初始化地图；
6. 对于地图点和关键帧采取“适者生存” survival of the fittest 策略，在生成时非常宽松，而在剔除时非常严格，该策略提高了跟踪的鲁棒性，且由于冗余的关键帧被舍弃了，从而增强了 lifelong operation。

Runz, Martin, and Lourdes Agapito. “Co-Fusion: Real-Time Segmentation, Tracking and Fusion of Multiple Objects.” In 2017 IEEE International Conference on Robotics and Automation (ICRA), 4471–78. Singapore, Singapore: IEEE, 2017. https://doi.org/10.1109/ICRA.2017.7989518.

3 Overview of our Method

Co-Fusion 是一个可以实时处理每一帧输入图片的RGB-D SLAM 系统，本系统为场景中每一个分割的物体存储模型，而且可以独立跟踪它们的运动，每个模型是由一组3D 点构成的。本系统维护两组物体模型：当前在视野中可见的active 模型，以及曾经观测到的模型，但是目前不在视野中，记为inactive 模型。本系统的框架如Fig. 2所示，在初始化阶段，场景只包含一个active 模型——背景，初始化完成后，按照Fig .2的流程处理每一帧图片。

系统代码包下载地址为github地址，论文为(Liu 等, 2023).

1 ORB-SLAM2基础问题

该算法是在ORB-SLAM2 的基础上进行改进的，编译过程可参考ORB-SLAM2的部署教程，此处不再赘述。除此之外，本人在部署过程中还遇到了其他问题，这里记录一下。

首先进入寒武纪开发主页并登录寒武纪账号，进入cambricon_pytorch docker 页面。由于本人只使用MLU220 进行边缘端推理，所以不需要在主机上安装MLU 驱动，因此可跳过第一步直接按照提示安装docker。本人在尝试按照页面说明时遇到了一些问题，在此记录一下。

本文主要参考文章。

1 版本查看

对系统中的现有gcc、g++版本进行查看，安装所需版本：

本文主要参考该文章。

1 Eigen3安装与卸载

1.1 安装

可通过apt命令安装，由于使用源码安装的方式在后续编译ORB-SLAM2 过程中可能会遇到一些问题，因此，本人建议使用apt命令进行安装：

1 Ubuntu设置与软件安装

首先打开Ubuntu设置，将Sharing-Remote Desktop打开，如下图所示：