Pauls, Jan-Hendrik, Kursat Petek, Fabian Poggenhans, and Christoph Stiller. “Monocular Localization in HD Maps by Combining Semantic Segmentation and Distance Transform.” In 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 4595–4601. Las Vegas, NV, USA: IEEE, 2020. https://doi.org/10.1109/IROS45743.2020.9341003.

1 Introduction

本文的贡献：

1. 提出使用语义分割网络来克服之前常用的物体探测网络生成bboxing 的空间限制，这使得我们可以检测到稀疏、可共享、独立于传感器的HD 地图中的所有地图元素；
2. 使用distance transform 来解决稠密语义信息的数据关联问题，且该关联过程本质上是动态的；
3. 将语义信息和标准的汽车里程计组成为一个鲁棒的位姿图优化，克服了语义定位只使用图片的缺点。

Xiao, Zhongyang, Diange Yang, Tuopu Wen, Kun Jiang, and Ruidong Yan. “Monocular Localization with Vector HD Map (MLVHM): A Low-Cost Method for Commercial IVs.” Sensors 20, no. 7 (March 27, 2020): 1870. https://doi.org/10.3390/s20071870.

1 Introduction

本文的贡献：

1. 提出一个基于语义向量提取和鲁棒地图匹配算法的低成本高精度定位算法；
2. 提出一个基于滑动窗口的帧间运动融合（单目相机视觉里程计作为帧间约束）来有效提高定位的稳定性，特别是在稀疏定位特征的场景中也可以实现实时的稳定定位；
3. 在真实世界中进行实验证明了精度与可靠性。

Hu, Zhangfang, Jiang Zhao, Yuan Luo, and Junxiong Ou. “Semantic SLAM Based on Improved DeepLabv3+ in Dynamic Scenarios.” IEEE Access 10 (2022): 21160–68. https://doi.org/10.1109/ACCESS.2022.3154086.

Abstract

本文提出动态场景中的语义SLAM 系统DeepLabv3+_SLAM 包含三个线程：ORB-SLAM3，语义分割线程以及几何线程。

Wang, Yuwei, Yuanying Qiu, Peitao Cheng, and Xuechao Duan. “Robust Loop Closure Detection Integrating Visual–Spatial–Semantic Information via Topological Graphs and CNN Features.” Remote Sensing 12, no. 23 (November 27, 2020): 3890. https://doi.org/10.3390/rs12233890.

1 Introduction

本文的主要贡献：

• 提出一个包含视觉、空间以及语义信息的鲁棒回环检测方法，提高大视角变化及动态场景下的鲁棒性；
• 使用预训练的语义分割网络和AlexNet 特征提取网络，可不经再训练直接应用于其他场景。

Deng, Liuyuan, Ming Yang, Bing Hu, Tianyi Li, Hao Li, and Chunxiang Wang. “Semantic Segmentation-Based Lane-Level Localization Using Around View Monitoring System.” IEEE Sensors Journal 19, no. 21 (November 1, 2019): 10077–86. https://doi.org/10.1109/JSEN.2019.2929135.

1 Introduction

一般来讲，对于使用视觉相机进行定位的方法是：通过从图片中提取特征，并与一个先验地图进行匹配从而得到汽车位置；许多方法是使用前置单目相机或立体相机来采集数据，但是在交通繁忙的场景中，其field of view (FOV) 容易被其他车辆干扰导致效果不佳。本文提出的方法采用Around View Monitoring (AVM) 系统来减小环境干扰的影响。

AVM 系统中鱼眼相机采集到的图片通常会进行去畸变、合成一张顶视图片（鸟瞰视角图片，如下图所示），若要通过检测车道线等标志进行车辆定位，经过处理后的图片覆盖范围有限，仅能获取当前车道线内的路标，难以区分道路上不同车道线之间的区别；故本文使用鱼眼相机采集到的原始图片进行车道线级别的定位。

Zhao, Zirui, Yijun Mao, Yan Ding, Pengju Ren, and Nanning Zheng. “Visual-Based Semantic SLAM with Landmarks for Large-Scale Outdoor Environment.” In 2019 2nd China Symposium on Cognitive Computing and Hybrid Intelligence (CCHI), 149–54, 2019. https://doi.org/10.1109/CCHI.2019.8901910.

1 Introduction

本文的贡献：

• 通过将视觉SLAM 地图和语义分割信息进行融合，来构建大型户外环境的语义3D 地图；
• 扩充KITTI 数据集以包含GPS 信息，以及从Google Map 上获取的相关地标标签；
• 提出一个基于语义地图将真实世界的地标和点云地图联系起来，以构建一个拓扑地图的方法。

Doherty, Kevin, Dehann Fourie, and John Leonard. “Multimodal Semantic SLAM with Probabilistic Data Association.” In 2019 International Conference on Robotics and Automation (ICRA), 2419–25. Montreal, QC, Canada: IEEE, 2019. https://doi.org/10.1109/ICRA.2019.8794244.

Abstract

语义SLAM 可被分解为：

• 一个离散的推理问题：决定物体种类与观测地标之间的联系（data association, DA)
• 一个连续的推理问题：获取机器人的位姿和地标的位置。

在模糊的DA 情况下，语义SLAM 通常不是一个高斯推理过程，现有的工作多是基于潜在的假设或者使用多重可能假设进行求解的。而作者提出了一种将DA 假设表示为一种等效非高斯模型的多模态形式的解算方法。

Esparza, Daniela, and Gerardo Flores. “The STDyn-SLAM: A Stereo Vision and Semantic Segmentation Approach for VSLAM in Dynamic Outdoor Environments.” IEEE Access 10 (2022): 18201–9. https://doi.org/10.1109/ACCESS.2022.3149885.

1 Introduction

本文的贡献如下：

• 提出一个针对动态环境的立体SLAM 算法——STDyn-SLAM，结合语义分割神经网络和几何约束对动态物体进行剔除；
• 立体相机的深度图用于构建3D 八叉树地图重建，深度图对于本SLAM 不是必要的；
• 利用公开数据集进行测试，并于SOTA 方法进行对比；
• 开源代码：https://github.com/DanielaEsparza/STDyn-SLAM

Yu, Peilin, Chi Guo, yang Liu, and Huyin Zhang. “Fusing Semantic Segmentation and Object Detection for Visual SLAM in Dynamic Scenes.” In Proceedings of the 27th ACM Symposium on Virtual Reality Software and Technology, 1–7. VRST ’21. New York, NY, USA: Association for Computing Machinery, 2021. https://doi.org/10.1145/3489849.3489882.

1 Introduction

本文针对SLAM 算法环境中存在的动态物体，结合物体检测和语义分割来获取潜在动态物体的先验轮廓，在此基础上应用几何约束实现对动态特征点的剔除。

本文做出的贡献：

1. 提出一种自适应机制，使得系统可根据不同的环境选择使用语义分割还是物体检测；
2. 提出一种静态点恢复技术，以减少可用静态点的损失，并使用光流和对极约束来检查物体的状态；
3. 在公开数据集TUM 上进行评估，在高动态环境下实现了良好的表现。

Ji, Tete, Chen Wang, and Lihua Xie. “Towards Real-Time Semantic RGB-D SLAM in Dynamic Environments.” In 2021 IEEE International Conference on Robotics and Automation (ICRA), 11175–81. Xi’an, China: IEEE, 2021. https://doi.org/10.1109/ICRA48506.2021.9561743.

1 Introduction

本文做出的贡献：

• 提出一个基于关键帧的语义RGB-D SLAM 系统，可以减少动态环境中移动物体的影响；
• 提出一个高效的几何模块，与语义SLAM 框架相结合来处理未知的移动物体；
• 通过实验证明本算法可在嵌入式系统中实时运行，同时可实现与SOTA 方法相当的精度。