Doherty, Kevin, Dehann Fourie, and John Leonard. “Multimodal Semantic SLAM with Probabilistic Data Association.” In 2019 International Conference on Robotics and Automation (ICRA), 2419–25. Montreal, QC, Canada: IEEE, 2019. https://doi.org/10.1109/ICRA.2019.8794244.

Abstract

语义SLAM 可被分解为：

• 一个离散的推理问题：决定物体种类与观测地标之间的联系（data association, DA)
• 一个连续的推理问题：获取机器人的位姿和地标的位置。

在模糊的DA 情况下，语义SLAM 通常不是一个高斯推理过程，现有的工作多是基于潜在的假设或者使用多重可能假设进行求解的。而作者提出了一种将DA 假设表示为一种等效非高斯模型的多模态形式的解算方法。

Esparza, Daniela, and Gerardo Flores. “The STDyn-SLAM: A Stereo Vision and Semantic Segmentation Approach for VSLAM in Dynamic Outdoor Environments.” IEEE Access 10 (2022): 18201–9. https://doi.org/10.1109/ACCESS.2022.3149885.

1 Introduction

本文的贡献如下：

• 提出一个针对动态环境的立体SLAM 算法——STDyn-SLAM，结合语义分割神经网络和几何约束对动态物体进行剔除；
• 立体相机的深度图用于构建3D 八叉树地图重建，深度图对于本SLAM 不是必要的；
• 利用公开数据集进行测试，并于SOTA 方法进行对比；
• 开源代码：https://github.com/DanielaEsparza/STDyn-SLAM

Yu, Peilin, Chi Guo, yang Liu, and Huyin Zhang. “Fusing Semantic Segmentation and Object Detection for Visual SLAM in Dynamic Scenes.” In Proceedings of the 27th ACM Symposium on Virtual Reality Software and Technology, 1–7. VRST ’21. New York, NY, USA: Association for Computing Machinery, 2021. https://doi.org/10.1145/3489849.3489882.

1 Introduction

本文针对SLAM 算法环境中存在的动态物体，结合物体检测和语义分割来获取潜在动态物体的先验轮廓，在此基础上应用几何约束实现对动态特征点的剔除。

本文做出的贡献：

1. 提出一种自适应机制，使得系统可根据不同的环境选择使用语义分割还是物体检测；
2. 提出一种静态点恢复技术，以减少可用静态点的损失，并使用光流和对极约束来检查物体的状态；
3. 在公开数据集TUM 上进行评估，在高动态环境下实现了良好的表现。

Ji, Tete, Chen Wang, and Lihua Xie. “Towards Real-Time Semantic RGB-D SLAM in Dynamic Environments.” In 2021 IEEE International Conference on Robotics and Automation (ICRA), 11175–81. Xi’an, China: IEEE, 2021. https://doi.org/10.1109/ICRA48506.2021.9561743.

1 Introduction

本文做出的贡献：

• 提出一个基于关键帧的语义RGB-D SLAM 系统，可以减少动态环境中移动物体的影响；
• 提出一个高效的几何模块，与语义SLAM 框架相结合来处理未知的移动物体；
• 通过实验证明本算法可在嵌入式系统中实时运行，同时可实现与SOTA 方法相当的精度。

Li, Jimmy, Karim Koreitem, David Meger, and Gregory Dudek. “View-Invariant Loop Closure with Oriented Semantic Landmarks.” In 2020 IEEE International Conference on Robotics and Automation (ICRA), 7943–49. Paris, France: IEEE, 2020. https://doi.org/10.1109/ICRA40945.2020.9196886.

Abstract

作者使用物体标识与物体间几何关系来实现具有视角不变性的回环检测与偏移矫正。

use object identity and inter-object geometry for view-invariant loop detection and drift correction

此外，作者还提出了一个对物体方向进行估计的方法，来克服由于物体对称性造成的模糊度；最终，作者构建了可绘制带有几何细节语义地图（包含物体方向、距离与尺寸信息）的SLAM系统。

Liu, Yang, Chi Guo, and Yingli Wang. “Object-Aware Data Association for the Semantically Constrained Visual SLAM.” Intelligent Service Robotics 16, no. 2 (April 1, 2023): 155–76. https://doi.org/10.1007/s11370-023-00455-9.

1 Introduction

作者认为，将物体级语义信息和传统vSLAM 融合需要考虑两个关键问题：

1. 第一个问题是构建连续帧之间的数据关联问题。作者认为物体级vSLAM 需要充分利用相机运动以及3D 几何信息，最终产生一个带有全局一致性物体信息的3D 地图。现有的物体级vSLAM 大多依赖于点云的低级几何特征匹配(Yang 和 Scherer, 2019)、聚类或者统计分析进行数据关联，而忽略了物体整个的外观信息；
2. 第二个问题是怎么利用物体级信息进行位姿估计。CubeSLAM(Yang 和 Scherer, 2019)、QuadricSLAM (Nicholson 等, 2019) 都是将物体建模为可观测的几何参数在位姿估计中建立约束；但是作者认为，根据物体级约束来提高传统数据关联的准确性和鲁棒性也可以提高位姿估计精度。

总结来看，本文的贡献如下：

1. 提出一个基于物体外观和特征点路标的物体级数据关联框架，产生一个带有物体信息的语义地图；
2. 提出一个语义重投影误差项并将其整合至位姿优化中，该重投影误差项结合了语义与特征点观测作为相机位姿的联合约束；
3. 在公开数据集上进行了测试，证明了本方法在物体级数据关联中实现了较高的准确性，并超越了位姿估计基线方法。

Schonberger, Johannes L., Marc Pollefeys, Andreas Geiger, and Torsten Sattler. “Semantic Visual Localization.” In 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, 6896–6906. Salt Lake City, UT: IEEE, 2018. https://doi.org/10.1109/CVPR.2018.00721.

1 Introduction

本文遵循基于结构的视觉定位方法，并使用一个三维语义图作为数据库场景database scene 的表示；给定一个带有语义分割和深度图的查询图片，作者建立一个三维的语义查询图，并从中提取到的局部描述子，然后在查询描述子和数据库描述子之间使用3D-3D 匹配，来对齐图并获取所要查询的位姿估计。

所有的视觉定位方法（包括本文提出的方法）都直接或间接地测量一个查询图片与数据库场景表示之间的相似度（视觉或结构），因此，这些方法都默认一个先验假设：查询图与数据库图是在充分相似的条件（视角、光照以及场景外观等）下描述一个场景的。如Fig. 1所示，这种先验假设在实际应用场景中会被轻易地打破。

Stenborg, Erik, Carl Toft, and Lars Hammarstrand. “Long-Term Visual Localization Using Semantically Segmented Images.” In 2018 IEEE International Conference on Robotics and Automation (ICRA), 6484–90. Brisbane, QLD: IEEE, 2018. https://doi.org/10.1109/ICRA.2018.8463150.

1 Introduction

本文利用近期在语义分割中的发展，设计了一个基于语义分割图片和语义点特征地图的定位算法，不再使用传统的描述子来描述特征，而是使用3D 位置坐标和语义标签来描述。

Li, Ao, Jikai Wang, Meng Xu, and Zonghai Chen. “DP-SLAM: A Visual SLAM with Moving Probability towards Dynamic Environments.” Information Sciences 556 (May 1, 2021): 128–42. https://doi.org/10.1016/j.ins.2020.12.019.

1 Introduction

本文的贡献：

1. 作者提出了一种通过实时传递每个关键点移动概率的动态物体检测方法，该移动概率传递方法克服了几何约束和语义信息的偏差，可提高vSLAM 的准确性与鲁棒性；
2. 利用静态信息补全遮挡的背景区域，获取没有动态物体的合成RGB 图片以及相应的深度图片，有益于虚拟现实等应用；
3. 作者将该移动物体检测方法集成至ORB-SLAM2 系统中，利用公开数据集进行测试，证明了本方法对SLAM 精度与鲁棒性的提高。

Liu, Yubao, and Jun Miura. “RDS-SLAM: Real-Time Dynamic SLAM Using Semantic Segmentation Methods.” IEEE Access 9 (2021): 23772–85. https://doi.org/10.1109/ACCESS.2021.3050617.

1 Introduction

本文的贡献如下：

1. 提出一个基于语义的实时动态vSLAM 算法——RDS-SLAM，该算法的跟踪线程不需要等待语义结果，可在保持实时的情况下高效利用语义分割结果进行动态物体检测和外点剔除；
2. 作者提出了一种关键帧选取策略，使得在利用任意语义分割方法的情况下，尽可能使用最新的语义信息进行外点剔除；
3. 在TUM 数据集上证明了本方法的实时性能。