LeRobot 框架深度解析：架构、策略、硬件与数据采集实战

环境接口

基于 Gymnasium API，LeRobot 为多个模拟环境提供了一致接口。make_env() 工厂根据配置创建不同环境类型（Aloha、PushT、XArm）。系统包含观察预处理和环境特征转换工具，并生成向量环境以实现并行模拟。

机器人控制

控制系统提供了与物理机器人交互的接口，支持远程操作、记录、回放和校准等模式。control_robot.py 是核心脚本，通过电机（Dynamixel、Feetech）和相机（OpenCV、RealSense）的抽象层与硬件通信。记录模式与数据集系统集成，方便直接采集训练数据。

LeRobot 支持的策略

框架内置了多种主流策略，以下是详细对比：

这些策略均可通过 make_policy() 工厂函数创建，在不同任务和环境中切换非常便捷。

仿真平台和硬件支持

仿真环境

LeRobot 通过 Gymnasium 接口支持多个模拟环境，可作为额外依赖项安装：

pip install -e ".[aloha, pusht]"

硬件支持

框架重点支持经济实惠且功能强大的机器人平台：

1. 操作器机器人：SO100（基于 Koch 设计的双臂）、XArm（单臂）
2. 移动机器人：LeKiwi
3. 传感器和执行器：OpenCV 兼容相机、Intel RealSense 深度相机、Dynamixel/Feetech 伺服电机

SO100 机器人案例分析

SO100 是框架中重点支持的双臂机器人，基于 Koch 设计，适合研究和教育。

硬件架构：两个多自由度机械臂，Dynamixel 伺服驱动，配备视觉感知相机及控制电路。

控制流程：典型流程涉及状态读取、策略决策、动作执行及反馈闭环。

遥操作与数据采集

遥操作模式

允许用户手动控制机器人，用于测试硬件、实验动作或准备记录会话。

遥操作流程：连接硬件后，通过键盘或手柄输入指令，系统实时映射到关节空间。

配置参数：可通过 TeleoperateControlConfig 设置帧率 (fps)、持续时间 (teleop_time_s) 及是否显示数据 (display_data)。

命令示例：

无限频率遥操作：

python lerobot/scripts/control_robot.py \
    --robot.type=so100 \
    --control.type=teleoperate

限制频率以模拟记录：

python lerobot/scripts/control_robot.py \
    --robot.type=so100 \
    --control.type=teleoperate \
    --control.fps=30

数据记录模式

将观察和动作捕获到结构化数据集中，是收集训练数据的关键步骤。

记录配置：通过 RecordControlConfig 设置数据集 ID (repo_id)、任务描述 (single_task)、帧率、预热时间、片段时长等。

命令示例：

记录单个测试片段：

python lerobot/scripts/control_robot.py \
    --robot.type=so100 \
    --control.type=record \
    --control.fps=30 \
    --control.single_task="抓取乐高积木并将其放入箱中。" \
    --control.repo_id=username/test_dataset \
    --control.num_episodes=1 \
    --control.push_to_hub=True

记录完整训练集：

python lerobot/scripts/control_robot.py \
    --robot.type=so100 \
    --control.type=record \
    --control.fps=30 \
    --control.repo_id=username/training_dataset \
    --control.num_episodes=50 \
    --control.warmup_time_s=2 \
    --control.episode_time_s=30 \
    --control.reset_time_s=10

模拟环境数据采集

在模拟环境中收集数据有助于初始开发和测试：

python lerobot/scripts/control_sim_robot.py record \
    --robot-path lerobot/configs/robot/your_robot_config.yaml \
    --sim-config lerobot/configs/env/your_sim_config.yaml \
    --fps 30 \
    --repo-id $USER/robot_sim_test \
    --num-episodes 50 \
    --episode-time-s 30

数据格式规范

LeRobotDataset 概述

采用统一的 LeRobotDataset 格式，设计用于存储和管理多模态数据，可从 Hugging Face Hub 或本地加载。

文件结构

data/
├── chunk-000
│   ├── episode_000000.parquet
│   ├── episode_000001.parquet
│   └── ...
├── chunk-001
│   └── ...
meta/
├── episodes.jsonl
├── info.json
├── stats.json
└── tasks.jsonl
videos/
├── chunk-000
│   ├── observation.images.camera1
│   │   └── episode_000000.mp4
│   └── ...

核心组件

1. HF Dataset：基于 Arrow/Parquet，包含观察图像、状态观察、动作、索引和时间戳。
2. 元数据 (meta)：
   • episodes.jsonl：片段元信息（起始/结束帧、chunk 位置）。
   • info.json：整体信息（特征、fps、机器人型号）。
   • stats.json：数值特征统计（均值、方差等）。
   • tasks.jsonl：任务描述与片段对应关系。
3. 视频 (videos)：可选，若启用则按 chunk 和相机名称存储原始视频文件。

总结

LeRobot 框架凭借模块化设计、丰富的预训练模型以及对真实世界应用的关注，显著降低了机器人学习的门槛。无论是学术研究还是工程落地，它都提供了一个强大而灵活的平台。掌握其架构、策略选择及数据规范，将帮助你更高效地开展机器人学习探索。