LeRobot 框架深度解析：架构、策略、硬件与数据流程

环境接口

LeRobot 基于 Gymnasium API 为多个模拟环境提供了一致的接口。make_env() 工厂根据配置创建不同的环境类型（Aloha、PushT、XArm）。该系统包括用于预处理观察（preprocess_observation()）和将环境特征转换为策略特征（env_to_policy_features()）的工具。工厂生成 Gymnasium 向量环境，实现并行模拟。

机器人控制

机器人控制系统提供了与物理机器人交互的接口，支持不同的控制模式和硬件类型。control_robot.py 脚本是机器人控制系统的核心组件，支持不同的控制模式（远程操作、记录、回放、校准）和机器人类型（操作器、移动）。该系统通过电机（Dynamixel、Feetech）和相机（OpenCV、RealSense）的抽象与硬件接口。记录模式与 LeRobotDataset 系统集成，用于数据收集。

LeRobot 支持的策略

LeRobot 实现了几种最先进的策略架构，以下是详细介绍：

这些策略可以通过统一的 make_policy() 工厂函数创建，使得在不同任务和环境中切换策略变得简单。

LeRobot 支持的仿真平台和硬件

支持的仿真环境

LeRobot 通过 Gymnasium 接口支持多个模拟环境：

这些环境可以作为额外依赖项安装：

pip install -e ".[aloha, pusht]"

硬件支持

LeRobot 支持多种物理机器人硬件，特别是专注于经济实惠且功能强大的机器人平台。以下是主要支持的硬件类型：

1. 操作器机器人：SO100（基于 Koch 设计的双臂机器人）、XArm（单臂机器人）
2. 移动机器人：LeKiwi（移动机器人平台）
3. 传感器和执行器：相机（OpenCV 兼容相机、Intel RealSense 深度相机）、电机（Dynamixel 伺服电机、Feetech 伺服电机）

SO100 机器人案例分析

SO100 是 LeRobot 框架中重点支持的一种双臂机器人，基于 Koch 设计。它是一个经济实惠的双臂机器人平台，特别适合研究和教育用途。

SO100 硬件架构

SO100 机器人由以下主要组件组成：

• 两个机械臂，每个臂有多个自由度
• Dynamixel 伺服电机作为关节驱动
• 一个或多个相机用于视觉感知
• 控制电路和电源系统

SO100 控制流程

控制 SO100 机器人的典型流程如下：

使用 LeRobot 进行遥操作和数据采集

遥操作模式

遥操作模式允许用户直接手动控制机器人。这种模式对于测试机器人硬件、实验动作或准备记录会话非常有用。

遥操作流程

遥操作配置

遥操作可以通过 TeleoperateControlConfig 类进行配置，该类提供以下选项：

遥操作命令示例

基本的无限频率遥操作：

python lerobot/scripts/control_robot.py \
    --robot.type=so100 \
    --control.type=teleoperate

限制频率的遥操作，模拟记录：

python lerobot/scripts/control_robot.py \
    --robot.type=so100 \
    --control.type=teleoperate \
    --control.fps=30

数据记录模式

记录模式将机器人的观察和动作捕获到结构化数据集中。这种模式对于收集用于机器人学习策略的训练数据至关重要。

记录流程

使用策略记录

记录可以使用预训练策略控制机器人进行，这对于评估策略性能很有用。使用策略记录时，遥操作被禁用，策略根据观察生成动作。

记录配置

记录通过 RecordControlConfig 类配置，具有以下关键参数：

记录命令示例

记录单个测试片段：

python lerobot/scripts/control_robot.py \
    --robot.type=so100 \
    --control.type=record \
    --control.fps=30 \
    --control.single_task="抓取乐高积木并将其放入箱中。" \
    --control.repo_id=username/test_dataset \
    --control.num_episodes=1 \
    --control.push_to_hub=True

记录用于训练的完整数据集：

python lerobot/scripts/control_robot.py \
    --robot.type=so100 \
    --control.type=record \
    --control.fps=30 \
    --control.repo_id=username/training_dataset \
    --control.num_episodes=50 \
    --control.warmup_time_s=2 \
    --control.episode_time_s=30 \
    --control.reset_time_s=10

模拟环境中的数据采集

除了在实际机器人上收集数据外，LeRobot 还支持在模拟环境中收集数据，这对于初始开发和测试非常有用。

python lerobot/scripts/control_sim_robot.py record \
    --robot-path lerobot/configs/robot/your_robot_config.yaml \
    --sim-config lerobot/configs/env/your_sim_config.yaml \
    --fps 30 \
    --repo-id $USER/robot_sim_test \
    --num-episodes 50 \
    --episode-time-s 30

LeRobot 数据格式

LeRobotDataset 格式概述

LeRobot 使用一种称为 LeRobotDataset 的统一数据格式，它设计用于存储和管理机器人学习所需的多模态数据。这种格式可以轻松地从 Hugging Face Hub 或本地文件夹加载。

数据集结构

LeRobotDataset 的文件结构组织如下：

data/
├── chunk-000
│   ├── episode_000000.parquet
│   ├── episode_000001.parquet
│   └── ...
├── chunk-001
│   ├── episode_001000.parquet
└── ...
meta/
├── episodes.jsonl
├── info.json
├── stats.json
└── tasks.jsonl
videos/
├── chunk-000
│   ├── observation.images.camera1
│   │   ├── episode_000000.mp4
│   ├── observation.images.camera2
├── chunk-001
└── ...

数据集组件

LeRobotDataset 包含以下主要组件：

1. HF Dataset：基于 Arrow/Parquet 的数据集，包含以下特征：

   • 观察图像（VideoFrame 格式或路径）
   • 状态观察（例如关节位置）
   • 动作（例如关节目标位置）
   • 片段索引和帧索引
   • 时间戳
   • 任务描述

2. 元数据 (meta)：

   • episodes.jsonl: 包含每个片段的元信息，如起始/结束帧索引、在哪个 chunk 等。
   • info.json: 数据集的整体信息，包括特征、fps、机器人信息等。
   • stats.json: 数据集中每个数值特征的统计信息（最大值、均值、最小值、标准差）。
   • tasks.jsonl: 如果数据集包含多个任务，这里会列出任务描述和对应的片段。

3. 视频 (videos) (可选)：如果 info.json 中指定使用视频存储图像，则原始视频文件存储在此处，按 chunk 和相机名称组织。

总结

LeRobot 框架通过其模块化的设计、丰富的预训练模型和数据集支持，以及对真实世界机器人应用的关注，显著降低了机器人学习的门槛。无论是进行学术研究还是开发实际应用，LeRobot 都提供了一个强大而灵活的平台。