LeRobot 框架深度解析：架构、策略、硬件与数据采集实战

1.4.4 机器人控制

控制系统提供与物理机器人交互的接口，支持不同的控制模式和硬件类型。control_robot.py 脚本是核心，支持远程操作、记录、回放和校准模式。它通过电机（Dynamixel、Feetech）和相机（OpenCV、RealSense）的抽象层与硬件对接，记录模式与数据集系统集成，方便直接采集训练数据。

LeRobot 支持的策略

LeRobot 实现了多种前沿策略架构，以下是详细对比：

这些策略可以通过统一的 make_policy() 工厂函数创建，使得在不同任务和环境中切换策略变得简单。

LeRobot 支持的仿真平台和硬件

3.1 支持的仿真环境

LeRobot 通过 Gymnasium 接口支持多个模拟环境，可作为额外依赖项安装：

pip install -e ".[aloha, pusht]"

3.2 硬件支持

LeRobot 支持多种物理机器人硬件，特别是经济实惠且功能强大的平台。

• 操作器机器人：SO100（基于 Koch 设计的双臂机器人）、XArm（单臂机器人）
• 移动机器人：LeKiwi（移动机器人平台）
• 传感器和执行器：相机（OpenCV 兼容、Intel RealSense）、电机（Dynamixel、Feetech）

3.3 SO100 机器人案例分析

SO100 是 LeRobot 重点支持的一种双臂机器人，基于 Koch 设计，适合研究和教育用途。

3.3.1 硬件架构

• 两个机械臂，每个臂有多个自由度
• Dynamixel 伺服电机作为关节驱动
• 一个或多个相机用于视觉感知
• 控制电路和电源系统

3.3.2 控制流程

控制 SO100 的典型流程涉及底层驱动通信与上层策略决策的交互，确保动作执行的实时性与准确性。

使用 LeRobot 进行遥操作和数据采集

4.1 遥操作模式

遥操作模式允许用户直接手动控制机器人，适用于测试硬件、实验动作或准备记录会话。

4.1.1 遥操作流程

基本流程包括连接硬件、初始化控制器并发送指令。系统会实时显示相机馈送以辅助操作。

4.1.2 遥操作配置

可通过 TeleoperateControlConfig 类配置参数：

4.1.3 命令示例

基本的无限频率遥操作：

python lerobot/scripts/control_robot.py \
    --robot.type=so100 \
    --control.type=teleoperate

限制频率的遥操作，模拟记录：

python lerobot/scripts/control_robot.py \
    --robot.type=so100 \
    --control.type=teleoperate \
    --control.fps=30

4.2 数据记录模式

记录模式将机器人的观察和动作捕获到结构化数据集中，这是收集训练数据的关键步骤。

4.2.1 记录流程

系统会同步录制视觉观测、状态信息和执行的动作，并按时间戳对齐。

4.2.2 使用策略记录

记录可以使用预训练策略控制机器人进行，这有助于评估策略性能。此时遥操作被禁用，策略根据观察生成动作。

4.2.3 记录配置

关键参数包括数据集标识符、任务描述、帧率、预热时间、片段时长等。

4.2.4 命令示例

记录单个测试片段：

python lerobot/scripts/control_robot.py \
    --robot.type=so100 \
    --control.type=record \
    --control.fps=30 \
    --control.single_task="抓取乐高积木并将其放入箱中。" \
    --control.repo_id=username/test_dataset \
    --control.num_episodes=1 \
    --control.push_to_hub=True

记录用于训练的完整数据集：

python lerobot/scripts/control_robot.py \
    --robot.type=so100 \
    --control.type=record \
    --control.fps=30 \
    --control.repo_id=username/training_dataset \
    --control.num_episodes=50 \
    --control.warmup_time_s=2 \
    --control.episode_time_s=30 \
    --control.reset_time_s=10

4.3 模拟环境中的数据采集

除了在实际机器人上收集数据外，LeRobot 还支持在模拟环境中收集数据，这对于初始开发和测试非常有用。

python lerobot/scripts/control_sim_robot.py record \
    --robot-path lerobot/configs/robot/your_robot_config.yaml \
    --sim-config lerobot/configs/env/your_sim_config.yaml \
    --fps 30 \
    --repo-id $USER/robot_sim_test \
    --num-episodes 50 \
    --episode-time-s 30

LeRobot 数据格式

5.1 格式概述

LeRobot 使用一种称为 LeRobotDataset 的统一数据格式，设计用于存储和管理机器人学习所需的多模态数据。这种格式可以轻松地从 Hugging Face Hub 或本地文件夹加载。

5.2 数据集结构

文件结构组织如下：

├── data
│   ├── chunk-000
│   │   ├── episode_000000.parquet
│   │   ├── episode_000001.parquet
│   │   └── ...
│   ├── chunk-001
│   │   ├── episode_001000.parquet
│   │   └── ...
├── meta
│   ├── episodes.jsonl
│   ├── info.json
│   ├── stats.json
│   └── tasks.jsonl
└── videos
    ├── chunk-000
    │   ├── observation.images.camera1
    │   │   ├── episode_000000.mp4
    │   ├── observation.images.camera2
    ├── chunk-001
    └── ...

5.3 数据集组件

• HF Dataset：基于 Arrow/Parquet 的数据集，包含观察图像（VideoFrame 格式或路径）、状态观察（如关节位置）、动作（如关节目标位置）、片段索引、帧索引、时间戳及任务描述。
• 元数据 (meta)：
  • episodes.jsonl: 包含每个片段的元信息，如起始/结束帧索引、所属 chunk 等。
  • info.json: 数据集的整体信息，包括特征、fps、机器人信息等。
  • stats.json: 数值特征的统计信息（最大值、均值、最小值、标准差）。
  • tasks.jsonl: 如果数据集包含多个任务，这里会列出任务描述和对应的片段。
• 视频 (videos)：如果 info.json 中指定使用视频存储图像，则原始视频文件存储在此处，按 chunk 和相机名称组织。

结论

LeRobot 框架通过其模块化的设计、丰富的预训练模型和数据集支持，以及对真实世界机器人应用的关注，显著降低了机器人学习的门槛。无论是进行学术研究还是开发实际应用，LeRobot 都提供了一个强大而灵活的平台。希望这篇深度剖析能帮助您快速上手并有效利用 LeRobot 进行机器人学习的探索与创新。