1 介绍

近期采了一组数据（包含GNSS、IMU、LiDAR、相机），想要将其中一段图片转为视频放到PPT中结合轨迹图进行讲解，使用了ffmpeg将图片流转换为了视频文件，在此记录一下大致过程，方便后续使用时进行查阅。

简介

在介绍MMSegmentation之前首先要介绍一下OpenMMLab，源自官方的介绍：

OpenMMLab（浦视）是上海人工智能实验室的计算机视觉算法开源体系，是深度学习时代全球领域最全面、最具影响力的视觉算法开源项目，全球最大最全的开源计算机视觉算法库，为学术和产业界提供一个可跨方向、结构精良、易复现的统一算法工具库。

OpenMMLab 已经累计开源了超过 30 个算法库，涵盖分类、检测、分割、视频理解等众多研究领域，拥有超过 300 种算法、2,400 多个预训练模型。在 GitHub 上获得超过 72,000 个标星，同时吸引了超过 1,500 名社区开发者参与项目贡献，用户遍及超过 110 个国家和地区，覆盖全国全球顶尖高校、研究机构和企业。

记录

昨天在使用hexo准备新建博文时，突然报错：

Error: Cannot find module ‘./languages/vim’

首先是看到这个名字以为是跟前天把windows上的Vim卸载了有关（但心里还是十分怀疑这个相关性的）。先在Google搜索了该报错语句之后，竟然没有找到有相同报错内容的问题，于是乎死马当活马医，先重装Vim再说，果不其然，没用。

然后查看是否跟安装的主题有关，在themes下的languages中看到了vi.kml，基于Linux下vi与vim的关系继续盲目尝试（心里还是十分怀疑这个相关性的），copy一下该文件并改名为vim.kml，果然还是没用……

最后只好继续在网页大海中遨游，尝试了多种方法之后终于利用该网页中提供的方法解决了该问题，虽然最终也没有搞清楚问题出在哪，但，能用就行。在此记录一下该解决方法：

1
2

$ npm uninstall hexo-cli -g
$ npm install hexo-cli -g

1 简介

最近采完数据之后需要计算参考解，于是便使用组内购买的Waypoint Inertial Explorer 9.0 进行紧组合后处理，因为之前没有使用过该软件，所以向组内用过的师弟请教，在此记录一下使用过程，以免自己后续遗忘操作步骤时再去麻烦师弟。

首先介绍一下IE这个软件：

Inertial Explorer 是 NovAtel 公司 Waypoint 产品组研发的强大的、可配置度高的事后处理软件，用于处理所有可用的 GNSS、INS 数据，提供高精度组合导航信息，包括位置、速度和姿态信息。针对精度和稳定性要求比较高，不需要实时定位导航信息的应用，可以通过 GNSS 和 INS 原始数据后处理的方式，提高组合导航解算精度和稳定性。

具体的软件介绍可以参考Novatel官网，官网中也有不同版本IE的用户手册，但是当前只找到了英文版本，且有200多页，应该比较适合当作一个参考文件。

1 介绍

最近使用两个Flir相机采了数据，打算在ORB-SLAM2系列代码上进行测试，采集完数据后需要对双目相机进行标定，在网上搜寻了相关资料后，发现使用Matlab工具库可以比较方便地进行双目相机的标定，在此记录一下。注：双目标定部分主要参考了该文章。

注：本文是对北航邱笑晨博士总结的预积分公式推导过程进行记录，由于是个人简单记录，所以基本上内容、公式都是截取自该文章。

1 IMU 测量模型（Sensor Model）和运动学模型（Kinetic Model）

陀螺测量模型：

其中，$\mathbf{b}_g$ 是bias，$\mathbf{\eta}_g$ 是白噪声。该模型利用了static world assumption：考虑到MEMS IMU 的观测精度，以及SLAM 的运动场景较小，因此忽略地球自转（认为地球是static world），并假设运行区域水平面是个平面，重力矢量 $\mathbf{g}^w$ 的指向固定且模值恒定。

加速度计测量模型：

其中，$\mathbf{b}_a$ 是bias，$\mathbf{\eta}_a$ 是白噪声。

Campos, Carlos, Richard Elvira, Juan J. Gómez Rodríguez, José M. M. Montiel, and Juan D. Tardós. “ORB-SLAM3: An Accurate Open-Source Library for Visual, Visual–Inertial, and Multimap SLAM.” IEEE Transactions on Robotics 37, no. 6 (December 2021): 1874–90. https://doi.org/10.1109/TRO.2021.3075644.

1 Introduction

ORB-SLAM3 的主要创新点包括：

1. 一个单目、双目视觉-惯性SLAM 系统。该系统完全依赖MAP 最大后验估计，即使是在IMU 初始化阶段。
2. 增强型地点识别技术。现有的许多SLAM、VO 系统使用DBoW2 进行地点识别，但DBoW2 在检查几何一致性之前需要进行时间一致性检测，即匹配连续三个关键帧，这增加了地点识别的代价，导致回环检测或者地图重用的速度很慢。针对于此，作者提出了一个新颖的地点识别算法：对候选关键帧首先进行几何一致性检测，然后与三个共视关键帧进行局部一致性检测 *local consistency*。
3. ORB-SLAM Atlas。第一个可以处理单目和双目视觉&视觉-惯性系统的完整多地图SLAM 系统。该地图集可表示一组不连续的地图，并顺滑地使用所有的地图操作，包括：地点识别、相机重定位、回环检测以及精确地图融合等。
4. 抽象的相机参数化表示使得SLAM 系统可以兼容不同映射模型的相机，如针孔相机、鱼眼相机等。

Singh, Gaurav, Meiqing Wu, and Siew-Kei Lam. “Fusing Semantics and Motion State Detection for Robust Visual SLAM.” In 2020 IEEE Winter Conference on Applications of Computer Vision (WACV), 2753–62. Snowmass Village, CO, USA: IEEE, 2020. https://doi.org/10.1109/WACV45572.2020.9093359.

1 Introduction

作者将语义信息和物体的运动状态融合到一个概率框架中，进行准确鲁棒的动态区域检测，为位姿估计和制图保留可靠的特征点。本算法包括以下步骤：

1. 首先，利用一个轻量级的场景流估计和聚类方法来提取场景中的动态区域；
2. 然后，利用语义分割提取场景的语义信息；
3. 最后，为了解决前两步获取的动态区域和语义信息的不确定性，本算法使用一个概率框架来融合两个信息，来实现对移动区域的鲁棒检测。

这里，作者不使用RANSAC 算法，因为该算法无法应对动态物体占据主要区域的情况；作者使用一个基于图的方法来检测几何移动区域。

Liu, Xikun, Weisong Wen, Feng Huang, Han Gao, Yongliang Wang, and Li-Ta Hsu. “3D LiDAR Aided GNSS NLOS Mitigation for Reliable GNSS-RTK Positioning in Urban Canyons.” arXiv, December 11, 2022. https://doi.org/10.48550/arXiv.2212.05477.

1 Introduction

本文的贡献：

1. 提出一个基于无漂移的3D 滑动窗口PCM (Point Cloud Map) 辅助的GNSS NLOS 信号消除方法，以此提高GNSS 原始观测量的质量。3D 滑动窗口PCM 的漂移是通过提高后的GNSS-RTK 进行矫正的；
2. 提出一个基于LiDAR 地标的VS (Virtual Satellite) 约束模型，来提高城市峡谷GNSS 卫星的几何布局。通过GNSS 原始观测数据、IMU 以及仔细挑选过的VS 观测量进行紧耦合来提高浮点解精度。此外，作者还推导了VS 引入对几何布局的提高程度；
3. 在香港的城市峡谷中进行大量的实验验证。

Hsu, Li-Ta. “Analysis and Modeling GPS NLOS Effect in Highly Urbanized Area.” GPS Solutions 22, no. 1 (November 4, 2017): 7. https://doi.org/10.1007/s10291-017-0667-9.

1 Introduction

传统的基于测距的NLOS探测矫正方法难以适用于低成本接收器的原因在于：

1. 利用ray-tracing 的计算成本太高；
2. 3D 建筑模型难以实时获取到。

本文的创新与贡献在于提出一个应用于低成本设备中用于基于假设定位 hypothesis-based positioning 的NLOS 模型，而不需要使用ray-tracing。