Hu, Zhangfang, Jiang Zhao, Yuan Luo, and Junxiong Ou. “Semantic SLAM Based on Improved DeepLabv3+ in Dynamic Scenarios.” IEEE Access 10 (2022): 21160–68. https://doi.org/10.1109/ACCESS.2022.3154086.
Abstract
本文提出动态场景中的语义SLAM 系统DeepLabv3+_SLAM 包含三个线程：ORB-SLAM3，语义分割线程以及几何线程。
3 System Description
系统架构如Fig. 1所示，本系统是基于ORB-SLAM3 进一步开发的。DeepLabv3+ 模型会获取像素级的先验动态物体，同时，利用多视角几何线程区分图片中的动态与静态特征点；然后，将语义分割结果和多视角几何方法得到的信息相结合得到动态物体的边界线，从而剔除掉所有的动态物体。
注：个人认为，多视角几何线程的图示不是很准确，应该将多视角几何与新的蚁群策略合为一个框，或将新蚁群策略提到多视角结合方法之前。因为本算法是利用新蚁群算法来减少多视角几何方法中的候选点数量的，两者应该是处于共同的层级，甚至新蚁群策略应该在多视角几何方法之前。
3.1 Semantic Segmentation DeepLabv3+
DeepLabv3+ 的架构如Fig. 2所示，本文使用ResNest 网络作为backbone，可以取得更优秀的分割精度。
3.2 ASPP Module
作者对ASPP 模块进行了更改：
3.3 Dynamic Object Detection Based on Multi-view Geometry
作者使用基于多视角几何处理的动态物体分割算法，如Fig. 5所示，该算法考虑历史帧 (hf) 和当前帧 (cf) 对同一特征点的视角变化，若视角变化值大于一个给定阈值，则判定该特征点属于动态特征点；此外，还计算关键点在当前帧的深度值 $d_{cf}$ ，及历史关键帧在当前帧的投影深度值 $d_{proj}$ ，若两者之差大于给定阈值，则判定该特征点为动态特征点。
3.4 Ant Colony Strategy
蚁群算法是一种模拟蚂蚁的觅食行为的优化算法，算法包含两个主要步骤：state transfer，pheromone update。
状态转换方程：
信息素更新方程：
3.5 New Ant Colony Strategy
利用多视角几何方法将历史帧投影至当前帧过程，会得到大量的投影特征点，为了判断是否属于静态特征点需要遍历所有的点，运算量过大。作者提出一种新的蚁群算法，通过最优路径来找到所有的动态特征点群。
蚁群算法的策略为，从起点到终点过程中，蚁群会绕过它们遇到的障碍物来寻找到达终点的一条最优路径。图片中的动态点或静态点都是成块分布的，而不是随机散布在整幅图片上；因此，当遇到一个动态特征点时，会在该动态特征点所在的块内进行搜索，直到整块特征点都被探索过或到达块的范围，然后继续搜索下一块动态特征点集合。
根据特征点在图片中的分布，作者设计了一条从 S 到 T 的轨迹 l，如Fig. 6所示，搜索策略是蚁群从特征点 $m_i$ 持续移动到下一个特侦点，直到抵达终点 T。针对每一个特征点 $m_i$ ，以自身为原点、半径为 R 进行动态点搜索，每找到一个新的特征点就拓宽带宽 $\Delta h$ ，直至在该区域内没有新的动态特征点，便移至下一个位置。
