Hu, Zhangfang, Jiang Zhao, Yuan Luo, and Junxiong Ou. “Semantic SLAM Based on Improved DeepLabv3+ in Dynamic Scenarios.” IEEE Access 10 (2022): 21160–68. https://doi.org/10.1109/ACCESS.2022.3154086.

Abstract

本文提出动态场景中的语义SLAM 系统DeepLabv3+_SLAM 包含三个线程：ORB-SLAM3，语义分割线程以及几何线程。

Wang, Yuwei, Yuanying Qiu, Peitao Cheng, and Xuechao Duan. “Robust Loop Closure Detection Integrating Visual–Spatial–Semantic Information via Topological Graphs and CNN Features.” Remote Sensing 12, no. 23 (November 27, 2020): 3890. https://doi.org/10.3390/rs12233890.

1 Introduction

本文的主要贡献：

• 提出一个包含视觉、空间以及语义信息的鲁棒回环检测方法，提高大视角变化及动态场景下的鲁棒性；
• 使用预训练的语义分割网络和AlexNet 特征提取网络，可不经再训练直接应用于其他场景。

Deng, Liuyuan, Ming Yang, Bing Hu, Tianyi Li, Hao Li, and Chunxiang Wang. “Semantic Segmentation-Based Lane-Level Localization Using Around View Monitoring System.” IEEE Sensors Journal 19, no. 21 (November 1, 2019): 10077–86. https://doi.org/10.1109/JSEN.2019.2929135.

1 Introduction

一般来讲，对于使用视觉相机进行定位的方法是：通过从图片中提取特征，并与一个先验地图进行匹配从而得到汽车位置；许多方法是使用前置单目相机或立体相机来采集数据，但是在交通繁忙的场景中，其field of view (FOV) 容易被其他车辆干扰导致效果不佳。本文提出的方法采用Around View Monitoring (AVM) 系统来减小环境干扰的影响。

AVM 系统中鱼眼相机采集到的图片通常会进行去畸变、合成一张顶视图片（鸟瞰视角图片，如下图所示），若要通过检测车道线等标志进行车辆定位，经过处理后的图片覆盖范围有限，仅能获取当前车道线内的路标，难以区分道路上不同车道线之间的区别；故本文使用鱼眼相机采集到的原始图片进行车道线级别的定位。

Zhao, Zirui, Yijun Mao, Yan Ding, Pengju Ren, and Nanning Zheng. “Visual-Based Semantic SLAM with Landmarks for Large-Scale Outdoor Environment.” In 2019 2nd China Symposium on Cognitive Computing and Hybrid Intelligence (CCHI), 149–54, 2019. https://doi.org/10.1109/CCHI.2019.8901910.

1 Introduction

本文的贡献：

• 通过将视觉SLAM 地图和语义分割信息进行融合，来构建大型户外环境的语义3D 地图；
• 扩充KITTI 数据集以包含GPS 信息，以及从Google Map 上获取的相关地标标签；
• 提出一个基于语义地图将真实世界的地标和点云地图联系起来，以构建一个拓扑地图的方法。

Doherty, Kevin, Dehann Fourie, and John Leonard. “Multimodal Semantic SLAM with Probabilistic Data Association.” In 2019 International Conference on Robotics and Automation (ICRA), 2419–25. Montreal, QC, Canada: IEEE, 2019. https://doi.org/10.1109/ICRA.2019.8794244.

Abstract

语义SLAM 可被分解为：

• 一个离散的推理问题：决定物体种类与观测地标之间的联系（data association, DA)
• 一个连续的推理问题：获取机器人的位姿和地标的位置。

在模糊的DA 情况下，语义SLAM 通常不是一个高斯推理过程，现有的工作多是基于潜在的假设或者使用多重可能假设进行求解的。而作者提出了一种将DA 假设表示为一种等效非高斯模型的多模态形式的解算方法。

Esparza, Daniela, and Gerardo Flores. “The STDyn-SLAM: A Stereo Vision and Semantic Segmentation Approach for VSLAM in Dynamic Outdoor Environments.” IEEE Access 10 (2022): 18201–9. https://doi.org/10.1109/ACCESS.2022.3149885.

1 Introduction

本文的贡献如下：

• 提出一个针对动态环境的立体SLAM 算法——STDyn-SLAM，结合语义分割神经网络和几何约束对动态物体进行剔除；
• 立体相机的深度图用于构建3D 八叉树地图重建，深度图对于本SLAM 不是必要的；
• 利用公开数据集进行测试，并于SOTA 方法进行对比；
• 开源代码：https://github.com/DanielaEsparza/STDyn-SLAM

Yu, Peilin, Chi Guo, yang Liu, and Huyin Zhang. “Fusing Semantic Segmentation and Object Detection for Visual SLAM in Dynamic Scenes.” In Proceedings of the 27th ACM Symposium on Virtual Reality Software and Technology, 1–7. VRST ’21. New York, NY, USA: Association for Computing Machinery, 2021. https://doi.org/10.1145/3489849.3489882.

1 Introduction

本文针对SLAM 算法环境中存在的动态物体，结合物体检测和语义分割来获取潜在动态物体的先验轮廓，在此基础上应用几何约束实现对动态特征点的剔除。

本文做出的贡献：

1. 提出一种自适应机制，使得系统可根据不同的环境选择使用语义分割还是物体检测；
2. 提出一种静态点恢复技术，以减少可用静态点的损失，并使用光流和对极约束来检查物体的状态；
3. 在公开数据集TUM 上进行评估，在高动态环境下实现了良好的表现。

Ji, Tete, Chen Wang, and Lihua Xie. “Towards Real-Time Semantic RGB-D SLAM in Dynamic Environments.” In 2021 IEEE International Conference on Robotics and Automation (ICRA), 11175–81. Xi’an, China: IEEE, 2021. https://doi.org/10.1109/ICRA48506.2021.9561743.

1 Introduction

本文做出的贡献：

• 提出一个基于关键帧的语义RGB-D SLAM 系统，可以减少动态环境中移动物体的影响；
• 提出一个高效的几何模块，与语义SLAM 框架相结合来处理未知的移动物体；
• 通过实验证明本算法可在嵌入式系统中实时运行，同时可实现与SOTA 方法相当的精度。

Li, Jimmy, Karim Koreitem, David Meger, and Gregory Dudek. “View-Invariant Loop Closure with Oriented Semantic Landmarks.” In 2020 IEEE International Conference on Robotics and Automation (ICRA), 7943–49. Paris, France: IEEE, 2020. https://doi.org/10.1109/ICRA40945.2020.9196886.

Abstract

作者使用物体标识与物体间几何关系来实现具有视角不变性的回环检测与偏移矫正。

use object identity and inter-object geometry for view-invariant loop detection and drift correction

此外，作者还提出了一个对物体方向进行估计的方法，来克服由于物体对称性造成的模糊度；最终，作者构建了可绘制带有几何细节语义地图（包含物体方向、距离与尺寸信息）的SLAM系统。

Liu, Yang, Chi Guo, and Yingli Wang. “Object-Aware Data Association for the Semantically Constrained Visual SLAM.” Intelligent Service Robotics 16, no. 2 (April 1, 2023): 155–76. https://doi.org/10.1007/s11370-023-00455-9.

1 Introduction

作者认为，将物体级语义信息和传统vSLAM 融合需要考虑两个关键问题：

1. 第一个问题是构建连续帧之间的数据关联问题。作者认为物体级vSLAM 需要充分利用相机运动以及3D 几何信息，最终产生一个带有全局一致性物体信息的3D 地图。现有的物体级vSLAM 大多依赖于点云的低级几何特征匹配(Yang 和 Scherer, 2019)、聚类或者统计分析进行数据关联，而忽略了物体整个的外观信息；
2. 第二个问题是怎么利用物体级信息进行位姿估计。CubeSLAM(Yang 和 Scherer, 2019)、QuadricSLAM (Nicholson 等, 2019) 都是将物体建模为可观测的几何参数在位姿估计中建立约束；但是作者认为，根据物体级约束来提高传统数据关联的准确性和鲁棒性也可以提高位姿估计精度。

总结来看，本文的贡献如下：

1. 提出一个基于物体外观和特征点路标的物体级数据关联框架，产生一个带有物体信息的语义地图；
2. 提出一个语义重投影误差项并将其整合至位姿优化中，该重投影误差项结合了语义与特征点观测作为相机位姿的联合约束；
3. 在公开数据集上进行了测试，证明了本方法在物体级数据关联中实现了较高的准确性，并超越了位姿估计基线方法。