开源slam整理

文章目录

• 1：激光类
  • 1：单纯激光类
  • 2：深度学习激光
• 2：视觉类
  • 1：大场景视觉
  • 2：轻量视觉
  • 3：深度学习视觉
  • 4：视觉语义
  • 5：后SLAM时代核心算法/项目汇总表
• 3：多传感融合
  • 开源算法
  • 标定
    • 各种标定工具
    • 激光雷达-IMU标定
  • IMU
    • IMU标定
• 4. navigation
• 5. ROS LLM/VLM

罗列一些开源slam算法，有的特别耳熟能详的没写出来。如LOAM，cartographer等。

1：激光类

该文档聚焦多传感器融合 SLAM，涵盖激光 - 视觉 - 惯性、激光 - 惯性、视觉 - 惯性增强及 GPS 融合等算法，核心内容如下：

1：单纯激光类

https://github.com/zhan994/faster-lio_detailed

2：深度学习激光

该文档聚焦深度学习与激光 SLAM 结合的算法，优化动态处理、特征提取等：

2：视觉类

1：大场景视觉

该文档聚焦大场景视觉 SLAM 算法，涵盖多传感器融合、协同建图、高效场景表示等技术：

2：轻量视觉

该文档聚焦轻量化视觉 SLAM 及边缘计算优化，适合资源受限设备：

3：深度学习视觉

该文档聚焦深度学习与视觉 SLAM 结合的算法，涵盖端到端、动态处理等：

4：视觉语义

该文档聚焦视觉语义 SLAM，融合语义信息提升定位与建图鲁棒性：

5：后SLAM时代核心算法/项目汇总表

后SLAM时代的主流技术架构采用双层协同设计，兼顾几何精度与交互体验：

• 保命层（Survival）：由LiDAR或传统SLAM算法（如FAST-LIO2）负责，提供绝对几何定位精度、实时姿态估计与防撞避障能力。
• 貌美层（Appearance）：由3DGS算法负责，生成照片级纹理的三维场景，支持语义理解与沉浸式人机交互。

（注：该表格部分内容由 AI 填充）

环境配置避坑指南

1. CUDA版本敏感：绝大多数3DGS算法依赖diff-gaussian-rasterization库，该库对CUDA版本兼容性要求严格，强烈建议使用CUDA 11.6/11.7/11.8，搭配PyTorch 1.13或2.0版本；CUDA 12.x版本易出现编译报错。
2. 显卡驱动匹配：确保NVIDIA显卡驱动版本支持所选CUDA版本（例如CUDA 11.8需驱动版本≥520.61.05）。
3. 虚拟环境隔离：使用Conda创建独立虚拟环境，优先采用项目提供的environment.yaml文件配置依赖，避免系统Python环境的包冲突。
4. 编译环境配置：Windows用户需安装Visual Studio 2019/2022并勾选“C++桌面开发”组件，以支持CUDA扩展源码编译；Linux（Ubuntu）环境的配置流程更简洁顺畅。

3：多传感融合

开源算法

RTAB map
RTAB-Map（实时外观基于图的建图）是一种基于RGB-D、立体视觉和激光雷达的图优化SLAM方法，核心依赖增量式外观闭环检测机制。该闭环检测器采用词袋模型（BoW） 来判断新图像源自已知场景位置还是未知区域：当闭环假设被确认后，会向地图的图结构中添加新的约束条件，随后通过图优化器最小化地图中的累积误差。系统内置内存管理策略，可限制用于闭环检测和图优化的场景位置数量，从而在大规模环境中始终满足实时性要求。RTAB-Map可独立使用——搭配手持Kinect、立体相机或3D激光雷达实现6自由度（6DoF）建图；也可部署于搭载激光测距仪的机器人，完成3自由度（3DoF）建图任务。

开源地址：
http://introlab.github.io/rtabmap/
https://github.com/introlab/rtabmap/tree/master

1. 硬件搭配建议：
   • 手持场景：Kinect v2（RGB-D）、Intel Realsense D455（RGB-D）、ZED 2i（立体相机）—— 即插即用，适合室内快速建图；
   • 机器人场景：激光雷达（如Velodyne VLP-16、Livox Mid-40）+ 里程计（IMU/轮式里程计）—— 适用于室外大规模环境或无纹理场景（如仓库、走廊）。
2. 核心优势与适用场景：
   • 优势：实时性强（内存管理优化）、闭环检测鲁棒（BoW模型）、多传感器兼容（RGB-D/立体/激光雷达）；
   • 适用场景：室内导航、机器人巡检、三维场景重建（如室内装修扫描、文物数字化），尤其适合需要长时间运行的大规模环境任务。
3. 与ROS 2的适配性：
   • RTAB-Map提供官方ROS 2包（支持Foxy/Humble/Iron等版本），可直接通过apt install ros-<distro>-rtabmap-ros安装；
   • 支持ROS 2的传感器消息（如sensor_msgs/Image、sensor_msgs/PointCloud2），可无缝对接机器人的传感器数据流，快速集成到ROS 2开发的机器人系统中。

标定

各种标定工具

https://github.com/PJLab-ADG/SensorsCalibration.git

多传感器通用标定工具箱
OpenCalib（上海人工智能实验室）

• 地址：https://github.com/PJLab-ADG/SensorsCalibration
• 特点：支持激光雷达-IMU、相机-IMU、多传感器到车体的标定，提供手动/自动/在线标定工具及基准数据集，被称为"自动驾驶标定代码库的首个全套解决方案"。

calibtoolkit（深蓝学院）

• 地址：https://github.com/calibtoolkit
• 特点：集成单双目相机、相机-激光雷达、激光雷达-激光雷达、激光雷达-IMU标定功能，附带测试数据便于算法验证。

相机-IMU标定
Kalibr（ETH Zurich）

• 地址：https://github.com/ethz-asl/kalibr/wiki/camera-imu-calibration
• 特点：ROS生态中最常用的相机-IMU标定工具，通过样条曲线建模系统姿态，支持滚动快门相机。

Crisp

• 地址：https://github.com/hovren/crisp
• 特点：Python库实现滚动快门相机与陀螺仪的联合标定，输出真实陀螺仪速率、时间偏移及坐标系旋转参数。

激光雷达-相机标定
Autoware Calibration Toolkit

• 地址：https://github.com/JunzWu/Autoware_Calibration_Camera_Lidar
• 特点：ROS兼容工具，需配合nlopt优化库，提供可视化界面调整激光雷达与相机外参。

LiDAR-Camera-Calibration-Tool

• 地址：https://github.com/onePPF/LiDAR-Camera-Calibration-Tool
• 安装：pip install opencv-python open3d && git clone [仓库地址]
• 适配场景：固态雷达直接用同步数据，机械雷达需先生成稠密点云。

手眼标定（机器人领域）
easy_handeye

• 地址：https://github.com/IFL-CAMP/easy_handeye
• 应用：配合Franka机械臂与RealSense D435相机，需修改aruco_ros源码以发布TF信息。

Hydra（2025新开源）

• 特点：无标记RGB-D手眼标定，仅需3个随机机械臂姿态即可实现90%成功率，精度达5mm，ROS 2兼容。

单传感器标定

• OpenCV相机标定：https://gitcode.com/gh_mirrors/opencv31/opencv，提供经典张氏标定法实现，支持鱼眼相机畸变校正。
• 激光雷达到车体标定：OpenCalib中的vehicle_calib模块，解决传感器安装位置误差问题。

激光雷达-IMU标定

IMU

EKF
https://github.com/i2Nav-WHU/KF-GINS
https://github.com/cmjang/F4_IMU_Altitude_EKF_Mahony/tree/main
https://github.com/pigknight/studyEKF
https://github.com/Shelfcol/gps_imu_fusion/tree/main?tab=readme-ov-file
https://github.com/zm0612/eskf-gps-imu-fusion?tab=readme-ov-file

IMU标定

使用imu_utils的详细步骤

使用 imu_utils 标定IMU，主要包含环境准备、数据采集和运行标定三个部分。

环境准备与编译

1. 编译 code_utils
   • 创建一个ROS工作空间（如果还没有的话），并将 code_utils 克隆到 src 目录下。
   • 注意：不要同时将 imu_utils 和 code_utils 放在 src 下编译。必须先单独编译 code_utils，再处理 imu_utils。
   • 进入 code_utils 目录，你可能需要根据你的系统环境对代码进行一些调整，例如：
     • 在 CMakeLists.txt 中，将 C++ 标准设置为 -std=c++14。
     • 在 sumpixel_test.cpp 中，修改头文件包含为 #include "code_utils/backward.hpp"。
2. 编译 imu_utils
   • 在 code_utils 编译成功后，再将 imu_utils 克隆到工作空间的 src 目录下。
   • 同样，可能需要修改其 CMakeLists.txt 中的 C++ 标准为 -std=c++14，并在 imu_an.cpp 中添加头文件 #include <fstream>。

编译 imu_utils：

catkin_make 

编译 code_utils：

catkin_make 

安装依赖
在终端中执行以下命令来安装必要的依赖库：

sudoapt-getinstall libdw-dev 

确保你已经全局安装了 Ceres Solver，因为 code_utils 依赖它。

数据采集

• 保持静止：整个采集过程中，IMU必须保持完全静止，任何振动都会影响标定结果。
• 时间要长：通常需要静止采集至少2小时的数据（有时4小时以上效果更好），以获得有效的艾伦方差曲线。
• 预热：建议让IMU上电运行10分钟后再开始录制，以上电瞬间开始录制会有较大误差。

录制数据包：将IMU传感器静止放置在桌面或其他稳定的地方，然后使用 rosbag 记录IMU数据话题。

rosbag record /your_imu_topic -O imu_static.bag 

关键点：

运行标定

1. 运行标定程序
   • 首先，确保ROS核心已经运行 (roscore)。
   • 此时，在第一个终端中你会看到 imu_utils 开始计算并输出信息。
2. 获取结果：标定完成后，结果文件（例如 my_imu_imu_param.yaml）会保存在 data_save_path 指定的路径中。这个YAML文件包含了加速度计和陀螺仪各轴的噪声密度（_n）和随机游走（_w）参数。

在另一个终端中，以较高的速率回放之前录制的数据包：

rosbag play -r 200 your_path/imu_static.bag 

在一个终端中启动标定节点：

roslaunch imu_utils my_imu.launch 

修改启动文件：在 imu_utils 的 launch 目录下，创建一个新的启动文件（例如 my_imu.launch），并正确设置参数：

<launch><nodepkg="imu_utils"type="imu_an"name="imu_an"output="screen"><paramname="imu_topic"type="string"value="/your_imu_topic"/><!-- 你的IMU话题名称 --><paramname="imu_name"type="string"value="my_imu"/><!-- 你的IMU名称 --><paramname="data_save_path"type="string"value="$(find imu_utils)/data/"/><paramname="max_time_min"type="int"value="120"/><!-- 最大时长（分钟） --><paramname="max_cluster"type="int"value="100"/></node></launch>

• 关于误差类型：imu_utils 主要用于标定IMU的随机误差。如果需要标定确定性误差（如刻度因子、非正交误差等），你可能需要结合使用 imu_tk 等工具。
• 数据质量是关键：标定结果的准确性严重依赖于数据采集的质量。务必确保IMU在数据采集过程中长时间静止且稳定。

4. navigation

以下是主流的强化学习避障开源库及GitHub地址，覆盖无人机、机器人等场景：

1. 通用强化学习框架（支持避障任务开发）

• Stable Baselines3

GitHub: https://github.com/DLR-RM/stable-baselines3
特点：基于PyTorch，集成PPO、DQN等算法，提供机器人避障示例。

• Ray RLlib

GitHub: https://github.com/ray-project/ray
特点：支持分布式训练，适合复杂避障任务（如多智能体协同避障）。

2. 无人机/机器人专用避障库

• AirSim RL避障示例

GitHub: https://github.com/microsoft/AirSim/tree/master/PythonClient/reinforcement_learning
特点：微软开源无人机仿真平台，提供深度强化学习避障Demo（如DQN、A3C）。

• gym-pybullet-drones

GitHub: https://github.com/utiasDSL/gym-pybullet-drones
特点：PyBullet物理引擎的无人机强化学习环境，包含避障任务接口。

3. 自动驾驶避障

• CARLA-RL

GitHub: https://github.com/carla-simulator/carla/tree/master/PythonAPI/examples/reinforcement_learning
特点：基于CARLA仿真器的自动驾驶避障训练框架，支持PPO、SAC等算法。

4. 轻量化部署工具

• ONNX-RL

GitHub: https://github.com/onnx/onnx-runtime/tree/main/onnxruntime/python/tools/transformers/models/rl
特点：将训练好的强化学习模型转为ONNX格式，便于嵌入式设备（如机器人）部署。

5. ROS LLM/VLM

1. 核心工具包汇总对比表

1. 纯离线终端设备（比如你的教育机器人不能时刻联网）：
   • 必选：llama_ros。这是目前唯一成熟的 ROS 2 本地量化 LLM 方案。
2. 复杂的语义导航（比如“去厨房拿可乐”）：
   • 架构：ROSA (做决策) + ConceptGraphs (做语义地图)。
   • 利用 ROSA 解析指令，利用 ConceptGraphs 提供的高级地图数据给 MoveBase/Nav2 发送坐标。
3. 如果你只是想快速跑通一个 Demo 给别人看：
   • 选：ROS-LLM 或 Tello LLM 的逻辑。配置最快，效果最直观。

2. 详细介绍与部署说明

（1） ROSA (Robot Operating System Agent)

• 功能介绍：NASA JPL 开发的通用框架。不仅支持自然语言控制，还内置了安全检查（Safety Guardrails）和状态诊断。它将 ROS 2 的 topic/service 自动映射为 LangChain 的 Tool。
• 开源地址：https://github.com/nasa-jpl/rosa
• 与 ROS 接口：
  • Topic：监听 /diagnostics 进行自我诊断。
  • Library：作为 Python 库直接嵌入在你的节点代码中，通过 agent.invoke() 调用。
• 部署步骤：
  1. pip install nasa-rosa langchain-openai
  2. 在 Python 节点中 import rosa 并实例化。
  3. 配置 OpenAI Key 即可运行。

（2） ROS-LLM (Auromix)

• 功能介绍：强调“低代码”和“云集成”。通过 JSON 配置文件定义机器人的能力（原子动作），支持 AWS Bedrock 和 OpenAI。
• 开源地址：https://github.com/Auromix/ROS-LLM
• 与 ROS 接口：
  • Service：提供 ROS Service 接收文本指令。
  • Action：通过 Action Client 调用底层的 Nav2 或其他节点。
• 部署步骤：
  1. 建立 ROS 2 工作空间，Clone 代码。
  2. rosdep install 安装依赖。
  3. colcon build 编译。
  4. 修改 config.json 添加你的 Nav2 动作。

（3） llama_ros (本地化部署首选)

• 功能介绍：这是 SLAM 开发者需要重点关注的项目。 它利用 llama.cpp 将 LLM 直接运行在机器人内部（如 Jetson Orin 或 NUC）。它不依赖 GPT-4，而是运行 Llama3-8B 或其他量化模型 (GGUF 格式)。
• 开源地址：https://github.com/bmgist/llama_ros (你提供的 gitcode 是其镜像)
• 与 ROS 接口：
  • Action：提供 GenerateResponse 动作服务器，你可以像调用导航一样调用 LLM 生成文本。
  • Topic：支持将生成的 token 实时流式传输（Streaming）到 Topic。
• 部署步骤：
  1. 安装 CUDA (如果有 N 卡) 或 OpenBLAS。
  2. Clone 仓库，使用 colcon build (编译过程会自动下载 llama.cpp)。
  3. 下载 .gguf 格式的模型文件（如 Llama-3-8B-Instruct-Q4_K_M.gguf）。
  4. 通过 Launch 文件加载模型路径启动节点。

（4） VLM-ROS (视觉语言模型融合)

• 功能介绍：加入了“眼睛”。它将 ROS 的图像话题 (sensor_msgs/Image) 发送给视觉大模型（如 GPT-4V 或开源 LLaVA），让机器人能理解画面内容。
• 开源地址：https://github.com/iamZhaoHang/VLM-ROS
• 与 ROS 接口：
  • Subscription：订阅 /camera/image_raw。
  • Service/Topic：接收查询（例如：“前面有什么？”），返回文本描述。
• 部署步骤：
  1. 安装 PyTorch 和 Transformer 库。
  2. 下载视觉模型权重（如果使用本地模型）。
  3. 修改 Launch 文件中的 Image Topic 名称以匹配你的相机。

（5） Tello LLM ROS (特定案例)

• 功能介绍：一个垂直领域的 Demo。整合了 OpenAI Whisper（语音转文字）+ LLM + Tello 驱动。
• 开源地址：https://github.com/GaohaoZhou-ops/Tello-LLM-ROS
• 与 ROS 接口：
  • Topic：发布 /cmd_vel 控制无人机。
  • External：调用麦克风 API 获取音频。
• 部署步骤：
  1. 需要麦克风硬件。
  2. 安装 openai-whisper。
  3. 运行脚本直接控制 Tello 无人机（通过 WiFi）。

3. 适合 SLAM/Planning 的开源项目

ConceptGraphs (语义 3D 场景图)

这是一个真正将 SLAM 与 LLM 深度结合的前沿开源项目。

• 功能：它在构建 3D 地图（RGB-D SLAM）的过程中，利用 VLM 识别物体，生成一个 3D 场景图 (3D Scene Graph)。
• 为什么适合你：
  • 它生成的不是黑白栅格地图，而是结构化的数据库（节点是椅子、桌子；边是“椅子在桌子旁边”）。
  • LLM 可以直接查询这个图数据库进行规划：“去那个离窗户最近的红椅子”。
• 开源地址：https://github.com/concept-graphs/concept-graphs
• 接口：输出 JSON/Graph 格式的地图数据，可供 ROS 规划器使用。

GPT-Driver (大模型直接生成行为树)

• 功能：专注于将自然语言指令转化为 Behavior Tree XML。
• 开源地址：虽然没有单一的统领级项目，但 BehaviorTree.CPP 官方提供了一些结合 LLM 的示例和 Prompt 模板。
• 参考：关注 BehaviorTree.CPP V4 的 Scripting 功能，非常适合与 LLM 生成的代码对接。