Liu, Yang, Chi Guo, and Yingli Wang. “Object-Aware Data Association for the Semantically Constrained Visual SLAM.” Intelligent Service Robotics 16, no. 2 (April 1, 2023): 155–76. https://doi.org/10.1007/s11370-023-00455-9.

1 Introduction

作者认为，将物体级语义信息和传统vSLAM 融合需要考虑两个关键问题：

1. 第一个问题是构建连续帧之间的数据关联问题。作者认为物体级vSLAM 需要充分利用相机运动以及3D 几何信息，最终产生一个带有全局一致性物体信息的3D 地图。现有的物体级vSLAM 大多依赖于点云的低级几何特征匹配(Yang 和 Scherer, 2019)、聚类或者统计分析进行数据关联，而忽略了物体整个的外观信息；
2. 第二个问题是怎么利用物体级信息进行位姿估计。CubeSLAM(Yang 和 Scherer, 2019)、QuadricSLAM (Nicholson 等, 2019) 都是将物体建模为可观测的几何参数在位姿估计中建立约束；但是作者认为，根据物体级约束来提高传统数据关联的准确性和鲁棒性也可以提高位姿估计精度。

总结来看，本文的贡献如下：

1. 提出一个基于物体外观和特征点路标的物体级数据关联框架，产生一个带有物体信息的语义地图；
2. 提出一个语义重投影误差项并将其整合至位姿优化中，该重投影误差项结合了语义与特征点观测作为相机位姿的联合约束；
3. 在公开数据集上进行了测试，证明了本方法在物体级数据关联中实现了较高的准确性，并超越了位姿估计基线方法。

Schonberger, Johannes L., Marc Pollefeys, Andreas Geiger, and Torsten Sattler. “Semantic Visual Localization.” In 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, 6896–6906. Salt Lake City, UT: IEEE, 2018. https://doi.org/10.1109/CVPR.2018.00721.

1 Introduction

本文遵循基于结构的视觉定位方法，并使用一个三维语义图作为数据库场景database scene 的表示；给定一个带有语义分割和深度图的查询图片，作者建立一个三维的语义查询图，并从中提取到的局部描述子，然后在查询描述子和数据库描述子之间使用3D-3D 匹配，来对齐图并获取所要查询的位姿估计。

所有的视觉定位方法（包括本文提出的方法）都直接或间接地测量一个查询图片与数据库场景表示之间的相似度（视觉或结构），因此，这些方法都默认一个先验假设：查询图与数据库图是在充分相似的条件（视角、光照以及场景外观等）下描述一个场景的。如Fig. 1所示，这种先验假设在实际应用场景中会被轻易地打破。

Stenborg, Erik, Carl Toft, and Lars Hammarstrand. “Long-Term Visual Localization Using Semantically Segmented Images.” In 2018 IEEE International Conference on Robotics and Automation (ICRA), 6484–90. Brisbane, QLD: IEEE, 2018. https://doi.org/10.1109/ICRA.2018.8463150.

1 Introduction

本文利用近期在语义分割中的发展，设计了一个基于语义分割图片和语义点特征地图的定位算法，不再使用传统的描述子来描述特征，而是使用3D 位置坐标和语义标签来描述。

Li, Ao, Jikai Wang, Meng Xu, and Zonghai Chen. “DP-SLAM: A Visual SLAM with Moving Probability towards Dynamic Environments.” Information Sciences 556 (May 1, 2021): 128–42. https://doi.org/10.1016/j.ins.2020.12.019.

1 Introduction

本文的贡献：

1. 作者提出了一种通过实时传递每个关键点移动概率的动态物体检测方法，该移动概率传递方法克服了几何约束和语义信息的偏差，可提高vSLAM 的准确性与鲁棒性；
2. 利用静态信息补全遮挡的背景区域，获取没有动态物体的合成RGB 图片以及相应的深度图片，有益于虚拟现实等应用；
3. 作者将该移动物体检测方法集成至ORB-SLAM2 系统中，利用公开数据集进行测试，证明了本方法对SLAM 精度与鲁棒性的提高。

Liu, Yubao, and Jun Miura. “RDS-SLAM: Real-Time Dynamic SLAM Using Semantic Segmentation Methods.” IEEE Access 9 (2021): 23772–85. https://doi.org/10.1109/ACCESS.2021.3050617.

1 Introduction

本文的贡献如下：

1. 提出一个基于语义的实时动态vSLAM 算法——RDS-SLAM，该算法的跟踪线程不需要等待语义结果，可在保持实时的情况下高效利用语义分割结果进行动态物体检测和外点剔除；
2. 作者提出了一种关键帧选取策略，使得在利用任意语义分割方法的情况下，尽可能使用最新的语义信息进行外点剔除；
3. 在TUM 数据集上证明了本方法的实时性能。

Liu, Yubao, and Jun Miura. “RDMO-SLAM: Real-Time Visual SLAM for Dynamic Environments Using Semantic Label Prediction With Optical Flow.” IEEE Access 9 (2021): 106981–97. https://doi.org/10.1109/ACCESS.2021.3100426.

1 Introduction

本文的贡献如下：

1. 提出一个面向动态环境的实时语义vSLAM 算法——RDMO-SLAM，该算法使用Mask R-CNN（语义分割）和 PWC-Net（光流估计），可同时实现良好的跟踪表现以及实时特性；
2. 利用光流法来预测Mask R-CNN 的语义结果，使得跟踪线程可利用尽可能多的语义信息；
3. 实验验证了本算法的实时性能（30 Hz）。

Yuan, Xun, and Song Chen. “SaD-SLAM: A Visual SLAM Based on Semantic and Depth Information.” In 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 4930–35. Las Vegas, NV, USA: IEEE, 2020. https://doi.org/10.1109/IROS45743.2020.9341180.

1 Introduction

本文的贡献如下：

1. 在 ORB-SLAM2 的基础上提出了一种基于特征的RGB-D SLAM 算法——SaD-SLAM，该算法结合语义信息、几何信息和深度信息，可在动态环境中运行良好；
2. 在当前帧和历史帧的特征点之间进行对极几何约束，从动态物体及静态但可移动的物体（如椅子等）上提取静态特征点，来提高相机位姿估计的准确度与鲁棒性。

Cheng, Junhao, Zhi Wang, Hongyan Zhou, Li Li, and Jian Yao. “DM-SLAM: A Feature-Based SLAM System for Rigid Dynamic Scenes.” ISPRS International Journal of Geo-Information 9, no. 4 (April 2020): 202. https://doi.org/10.3390/ijgi9040202.

1 Introduction

本文做出的贡献：

• 提出一个完整的视觉SLAM 系统——DM-SLAM，该系统结合实例分割网络和光流信息，可在高动态环境中消除动态物体对位姿估计的影响，且本系统适用于单目、双目和RGB-D 相机；
• 针对RGB-D/双目和单目相机，分别提出两种高效提取动态点的策略；
• 在公开数据集上进行测试，证明了本算法的有效性。

Nicholson, Lachlan, Michael Milford, and Niko Sunderhauf. “QuadricSLAM: Dual Quadrics From Object Detections as Landmarks in Object-Oriented SLAM.” IEEE Robotics and Automation Letters 4, no. 1 (January 2019): 1–8. https://doi.org/10.1109/LRA.2018.2866205.

1 Introduction

作者认为语义地图应该是面向对象的 object-oriented，即将对象视为地图的中心实体，而二次曲面（如椭球体 ellipsoids）有着很多具有吸引力的特性来作为面向对象语义地图的地标表示方法，如Fig. 1 所示，二次曲面可以紧凑表示，且可在投影集合框架中实现高效操纵；二次曲面可以表示物体的尺寸、位置及朝向信息，而且如果必要的话，可以作为更详细3D 重建的anchors。此外，二次曲面表示形式在整合角度来看也具有吸引力，作者会在后文中证明，二次曲面可以直接利用物体检测bbox 进行构建，而且很方便整合进基于因子图的SLAM 框架中。

Zhang, Jun, Mina Henein, Robert Mahony, and Viorela Ila. “VDO-SLAM: A Visual Dynamic Object-Aware SLAM System,” 2020.

1 Introduction

作者提出了VDO-SLAM (Visual Dynamic Object-aware SLAM)，一个基于Stereo/RGB-D 相机的动态SLAM 系统，利用图像语义信息同时实现机器人定位、静动态结构制图，并在场景中跟踪物体的运动。本文的贡献如下：

• 将动态场景建模为一个统一的估计框架，包括机器人位姿、静动态3D 点以及物体运动；
• 对动态物体 SE(3) 位姿变换的精确估计，并提取物体速度；
• 一个利用语义信息来跟踪移动物体的鲁棒方法，且能够处理由语义分割失败导致的间接遮挡。