1 介绍

最近使用两个Flir相机采了数据，打算在ORB-SLAM2系列代码上进行测试，采集完数据后需要对双目相机进行标定，在网上搜寻了相关资料后，发现使用Matlab工具库可以比较方便地进行双目相机的标定，在此记录一下。注：双目标定部分主要参考了该文章。

注：本文是对北航邱笑晨博士总结的预积分公式推导过程进行记录，由于是个人简单记录，所以基本上内容、公式都是截取自该文章。

1 IMU 测量模型（Sensor Model）和运动学模型（Kinetic Model）

陀螺测量模型：

其中，$\mathbf{b}_g$ 是bias，$\mathbf{\eta}_g$ 是白噪声。该模型利用了static world assumption：考虑到MEMS IMU 的观测精度，以及SLAM 的运动场景较小，因此忽略地球自转（认为地球是static world），并假设运行区域水平面是个平面，重力矢量 $\mathbf{g}^w$ 的指向固定且模值恒定。

加速度计测量模型：

其中，$\mathbf{b}_a$ 是bias，$\mathbf{\eta}_a$ 是白噪声。

Campos, Carlos, Richard Elvira, Juan J. Gómez Rodríguez, José M. M. Montiel, and Juan D. Tardós. “ORB-SLAM3: An Accurate Open-Source Library for Visual, Visual–Inertial, and Multimap SLAM.” IEEE Transactions on Robotics 37, no. 6 (December 2021): 1874–90. https://doi.org/10.1109/TRO.2021.3075644.

1 Introduction

ORB-SLAM3 的主要创新点包括：

1. 一个单目、双目视觉-惯性SLAM 系统。该系统完全依赖MAP 最大后验估计，即使是在IMU 初始化阶段。
2. 增强型地点识别技术。现有的许多SLAM、VO 系统使用DBoW2 进行地点识别，但DBoW2 在检查几何一致性之前需要进行时间一致性检测，即匹配连续三个关键帧，这增加了地点识别的代价，导致回环检测或者地图重用的速度很慢。针对于此，作者提出了一个新颖的地点识别算法：对候选关键帧首先进行几何一致性检测，然后与三个共视关键帧进行局部一致性检测 *local consistency*。
3. ORB-SLAM Atlas。第一个可以处理单目和双目视觉&视觉-惯性系统的完整多地图SLAM 系统。该地图集可表示一组不连续的地图，并顺滑地使用所有的地图操作，包括：地点识别、相机重定位、回环检测以及精确地图融合等。
4. 抽象的相机参数化表示使得SLAM 系统可以兼容不同映射模型的相机，如针孔相机、鱼眼相机等。

Singh, Gaurav, Meiqing Wu, and Siew-Kei Lam. “Fusing Semantics and Motion State Detection for Robust Visual SLAM.” In 2020 IEEE Winter Conference on Applications of Computer Vision (WACV), 2753–62. Snowmass Village, CO, USA: IEEE, 2020. https://doi.org/10.1109/WACV45572.2020.9093359.

1 Introduction

作者将语义信息和物体的运动状态融合到一个概率框架中，进行准确鲁棒的动态区域检测，为位姿估计和制图保留可靠的特征点。本算法包括以下步骤：

1. 首先，利用一个轻量级的场景流估计和聚类方法来提取场景中的动态区域；
2. 然后，利用语义分割提取场景的语义信息；
3. 最后，为了解决前两步获取的动态区域和语义信息的不确定性，本算法使用一个概率框架来融合两个信息，来实现对移动区域的鲁棒检测。

这里，作者不使用RANSAC 算法，因为该算法无法应对动态物体占据主要区域的情况；作者使用一个基于图的方法来检测几何移动区域。

Liu, Xikun, Weisong Wen, Feng Huang, Han Gao, Yongliang Wang, and Li-Ta Hsu. “3D LiDAR Aided GNSS NLOS Mitigation for Reliable GNSS-RTK Positioning in Urban Canyons.” arXiv, December 11, 2022. https://doi.org/10.48550/arXiv.2212.05477.

1 Introduction

本文的贡献：

1. 提出一个基于无漂移的3D 滑动窗口PCM (Point Cloud Map) 辅助的GNSS NLOS 信号消除方法，以此提高GNSS 原始观测量的质量。3D 滑动窗口PCM 的漂移是通过提高后的GNSS-RTK 进行矫正的；
2. 提出一个基于LiDAR 地标的VS (Virtual Satellite) 约束模型，来提高城市峡谷GNSS 卫星的几何布局。通过GNSS 原始观测数据、IMU 以及仔细挑选过的VS 观测量进行紧耦合来提高浮点解精度。此外，作者还推导了VS 引入对几何布局的提高程度；
3. 在香港的城市峡谷中进行大量的实验验证。

Hsu, Li-Ta. “Analysis and Modeling GPS NLOS Effect in Highly Urbanized Area.” GPS Solutions 22, no. 1 (November 4, 2017): 7. https://doi.org/10.1007/s10291-017-0667-9.

1 Introduction

传统的基于测距的NLOS探测矫正方法难以适用于低成本接收器的原因在于：

1. 利用ray-tracing 的计算成本太高；
2. 3D 建筑模型难以实时获取到。

本文的创新与贡献在于提出一个应用于低成本设备中用于基于假设定位 hypothesis-based positioning 的NLOS 模型，而不需要使用ray-tracing。

Li, Boying, Danping Zou, Yuan Huang, Xinghan Niu, Ling Pei, and Wenxian Yu. “TextSLAM: Visual SLAM with Semantic Planar Text Features.” arXiv, July 3, 2023. http://arxiv.org/abs/2305.10029.

1 Introduction

本文的贡献：

1. 提出一个新颖的SLAM 架构，将文本特征集成至前端位姿跟踪、后端优化、回环检测和制图中，本工作开创性地将场景中的文本信息紧耦合至视觉SLAM 中，作者同时提供了一个包含丰富文本信息环境的数据集来进行测试；
2. 作者从几何和语义表示两种层面实现对文本特征的提取、数据关联，并将其集成进SLAM 中；
3. 提出一种使用文本特征语义信息进行回环检测的方法，可实现在挑战性环境中（如剧烈光照变化、遮挡、视角变化等）的可靠回环检测。

Zheng, Zengrui, Shifeng Lin, and Chenguang Yang. “RLD-SLAM: A Robust Lightweight VI-SLAM for Dynamic Environments Leveraging Semantics and Motion Information.” IEEE Transactions on Industrial Electronics, 2024, 1–11. https://doi.org/10.1109/TIE.2024.3363744.

Abstract

现存的主流动态SLAM 可分为两个方向：基于语义分割和基于物体检测，两者均存在明显的优劣势，为此，作者提出了一种robust lightweight dynamic SLAM (RLD-SLAM)，利用语义、运动信息在动态环境中实现鲁棒、轻量的视觉-惯性SLAM系统。

1 Introduction

本算法结合物体检测和贝叶斯滤波器来准确识别出环境中的动态特征点，不依赖于深度信息，因此可适用于各种输入设备。此外，RLD-SLAM 可使用IMU观测预积分来辅助高动态场景中动态物体的跟踪，如Fig.1所示。

本文参考文章1、文章2。

对于C++程序，主程序int main(int argc, char *argv[])中，参数含义如下所示：

• argc代表向main函数传入参数的数量；
• argv[]代表传入的字符串构成的数组，默认argv[0]表示程序的名称，后续的argv[1]、argv[2]…表示传入的字符串数量。

由于argv[]是字符串数组，若想传入整型参数则需要进行额外操作：

• 包含头文件 #include <stdlib.h>;
• int i = atoi(argv[1]);：将字符型argv[1]转换为整型并赋值给 i。

1
2
3
4
5
6
7
8
9
10
11
12

#include <iostream>
#include <opencv2/opencv.hpp>
#include <stdlib.h>

int main(int argc, char *argv[])
{
    int rows = atoi(argv[1]);
    int cols = atoi(argv[2]);
    ...
    
    return 0;
}

Wu, Yanmin, Yunzhou Zhang, Delong Zhu, Yonghui Feng, Sonya Coleman, and Dermot Kerr. “EAO-SLAM: Monocular Semi-Dense Object SLAM Based on Ensemble Data Association.” In 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 4966–73. Las Vegas, NV, USA: IEEE, 2020. https://doi.org/10.1109/IROS45743.2020.9341757.

1 Introduction

作者认为object SLAM 当前面对两种问题：

1. 在面对包含多个物体实例的复杂场景中，现有的DA 方法不够鲁棒或准确。
2. 物体位姿估计不够准确，特别是对于单目object SLAM。

为此，作者提出了一个单目object SLAM 算法——EAO-SLAM，来解决DA 和位姿估计问题。