Esparza, Daniela, and Gerardo Flores. “The STDyn-SLAM: A Stereo Vision and Semantic Segmentation Approach for VSLAM in Dynamic Outdoor Environments.” IEEE Access 10 (2022): 18201–9. https://doi.org/10.1109/ACCESS.2022.3149885.
1 Introduction
本文的贡献如下：
- 提出一个针对动态环境的立体SLAM 算法——STDyn-SLAM，结合语义分割神经网络和几何约束对动态物体进行剔除；
- 立体相机的深度图用于构建3D 八叉树地图重建，深度图对于本SLAM 不是必要的；
- 利用公开数据集进行测试，并于SOTA 方法进行对比；
- 开源代码：https://github.com/DanielaEsparza/STDyn-SLAM
3 Method
本文提出的STDyn-SLAM 算法框架如Fig. 2所示，本系统基于ORB-SLAM2 算法：
3.1 Stereo Process
对立体图片的处理主要包含三个部分：
- ORB 特征提取
- 光流跟踪
- 对极几何
首先对当前左右图像和前一帧左边图像进行ORB 特征提取；为了避免神经网络检测动态物体失败的情况，本系统计算当前与前一帧左图之间的光流，值得注意的是，这些光流点（Harris 点）需要与ORB 特征点保持不同，舍弃那些在/靠近边缘角点上的光流点；根据基础矩阵、ORB 特征点以及光流点来计算极线，然后将当前帧匹配的特征点映射到前一帧，根据极线与投影特征点之间的距离来判断是否属于外点。
3.2 Artificial Neural Network‘s Architecture
本算法使用SegNet 作为语义分割网络。
3.2.1 Outliers Removal
Fig. 3展示了判断投影点的三种情况，设定一个阈值进行外点的筛选。
利用语义分割结果来剔除属于潜在动态物体上的ORB 特征点，如汽车。
3.2.3 3D Reconstruction
利用左图、语义分割图以及利用视觉里程计得到的深度图进行3D 重建，值得注意的是，本算法只对左图进行语义分割、光流跟踪以及几何约束，以减少时间消耗。