LeRobot 框架架构、策略、仿真平台与数据采集详解

lerobot 策略系统

1.4.2 数据集管理

数据集系统处理机器人数据集的加载、处理和可视化，重点关注多模态数据。LeRobotDataset 类是核心组件，提供了加载和管理机器人数据集的功能。数据集可以从 Hugging Face Hub 或本地存储访问。make_dataset() 工厂根据配置创建数据集实例。该系统处理片段、视频处理和图像转换，通过 Rerun 或 HTML/Flask 接口进行可视化。

数据集管理

1.4.3 环境接口

LeRobot 基于 Gymnasium API 为多个模拟环境提供了一致的接口。make_env() 工厂根据配置创建不同的环境类型（Aloha、PushT、XArm）。该系统包括用于预处理观察（preprocess_observation()）和将环境特征转换为策略特征（env_to_policy_features()）的工具。工厂生成 Gymnasium 向量环境，实现并行模拟。

环境配置

1.4.4 机器人控制

机器人控制系统提供了与物理机器人交互的接口，支持不同的控制模式和硬件类型。control_robot.py 脚本是机器人控制系统的核心组件，支持不同的控制模式（远程操作、记录、回放、校准）和机器人类型（操作器、移动）。该系统通过电机（Dynamixel、Feetech）和相机（OpenCV、RealSense）的抽象与硬件接口。记录模式与 LeRobotDataset 系统集成，用于数据收集。

robot control 模块

LeRobot 支持的策略

LeRobot 实现了几种最先进的策略架构，以下是对这些策略的详细介绍：

这些策略可以通过统一的 make_policy() 工厂函数创建，使得在不同任务和环境中切换策略变得简单。

LeRobot 支持的仿真平台和硬件

3.1 支持的仿真环境

LeRobot 通过 Gymnasium 接口支持多个模拟环境：

这些环境可以作为额外依赖项安装：

pip install -e ".aloha, pusht"

(README.md:122-129)

3.2 硬件支持

LeRobot 支持多种物理机器人硬件，特别是专注于经济实惠且功能强大的机器人平台。以下是主要支持的硬件类型：

1. 操作器机器人：
   • SO100（基于 Koch 设计的双臂机器人）
   • XArm（单臂机器人）
2. 移动机器人：
   • LeKiwi（移动机器人平台）
3. 传感器和执行器：
   • 相机：OpenCV 兼容相机、Intel RealSense 深度相机
   • 电机：Dynamixel 伺服电机、Feetech 伺服电机

3.3 SO100 机器人案例分析

SO100 是 LeRobot 框架中重点支持的一种双臂机器人，基于 Koch 设计。它是一个经济实惠的双臂机器人平台，特别适合研究和教育用途。

3.3.1 SO100 硬件架构

SO100 机器人由以下主要组件组成：

• 两个机械臂，每个臂有多个自由度
• Dynamixel 伺服电机作为关节驱动
• 一个或多个相机用于视觉感知
• 控制电路和电源系统

3.3.2 SO100 控制流程

控制 SO100 机器人的典型流程如下：

使用 LeRobot 进行遥操作和数据采集

4.1 遥操作模式

遥操作模式允许用户直接手动控制机器人。这种模式对于测试机器人硬件、实验动作或准备记录会话非常有用。

4.1.1 遥操作流程

(参考 control_robot.py:233-242)

4.1.2 遥操作配置

遥操作可以通过 TeleoperateControlConfig 类进行配置，该类提供以下选项：

4.1.3 遥操作命令示例

基本的无限频率遥操作：

python lerobot/scripts/control_robot.py \
    --robot.type=so100 \
    --control.type=teleoperate

(control_robot.py:29-39)

限制频率的遥操作，模拟记录：

python lerobot/scripts/control_robot.py \
    --robot.type=so100 \
    --control.type=teleoperate \
    --control.fps=30

(control_robot.py:42-48)

4.2 数据记录模式

记录模式将机器人的观察和动作捕获到结构化数据集中。这种模式对于收集用于机器人学习策略的训练数据至关重要。

4.2.1 记录流程

(参考 control_robot.py:246-340)

4.2.2 使用策略记录

记录可以使用预训练策略控制机器人进行，这对于评估策略性能很有用。使用策略记录时，遥操作被禁用，策略根据观察生成动作。

(control_utils.py:213-288)

4.2.3 记录配置

记录通过 RecordControlConfig 类配置，具有以下关键参数：

4.2.4 记录命令示例

记录单个测试片段：

python lerobot/scripts/control_robot.py \
    --robot.type=so100 \
    --control.type=record \
    --control.fps=30 \
    --control.single_task="抓取乐高积木并将其放入箱中。" \
    --control.repo_id=username/test_dataset \
    --control.num_episodes=1 \
    --control.push_to_hub=True

(control_robot.py:50-59)

记录用于训练的完整数据集：

python lerobot/scripts/control_robot.py \
    --robot.type=so100 \
    --control.type=record \
    --control.fps=30 \
    --control.repo_id=username/training_dataset \
    --control.num_episodes=50 \
    --control.warmup_time_s=2 \
    --control.episode_time_s=30 \
    --control.reset_time_s=10

(control_robot.py:82-91)

4.3 模拟环境中的数据采集

除了在实际机器人上收集数据外，LeRobot 还支持在模拟环境中收集数据，这对于初始开发和测试非常有用。

python lerobot/scripts/control_sim_robot.py record \
    --robot-path lerobot/configs/robot/your_robot_config.yaml \
    --sim-config lerobot/configs/env/your_sim_config.yaml \
    --fps 30 \
    --repo-id $USER/robot_sim_test \
    --num-episodes 50 \
    --episode-time-s 30

(control_sim_robot.py:65-72)

LeRobot 数据格式

5.1 LeRobotDataset 格式概述

LeRobot 使用一种称为 LeRobotDataset 的统一数据格式，它设计用于存储和管理机器人学习所需的多模态数据。这种格式可以轻松地从 Hugging Face Hub 或本地文件夹加载。

lerobot 数据格式

5.2 数据集结构

LeRobotDataset 的文件结构组织如下：

data
├── chunk-000
│   ├── episode_000000.parquet
│   ├── episode_000001.parquet
│   └── ...
├── chunk-001
│   ├── episode_001000.parquet
└── ...
meta
├── episodes.jsonl
├── info.json
├── stats.json
└── tasks.jsonl
videos
├── chunk-000
│   ├── observation.images.camera1  # 'camera1' 是示例名称
│   │   ├── episode_000000.mp4
│   ├── observation.images.camera2
├── chunk-001
└── ...

(lerobot_dataset.py:400-438)

5.3 数据集组件

LeRobotDataset 包含以下主要组件：

1. HF Dataset：基于 Arrow/Parquet 的数据集，包含以下特征：
   • 观察图像（VideoFrame 格式或路径）
   • 状态观察（例如关节位置）
   • 动作（例如关节目标位置）
   • 片段索引和帧索引
   • 时间戳
   • 任务描述
2. 元数据 (meta)：
   • episodes.jsonl: 包含每个片段的元信息，如起始/结束帧索引、在哪个 chunk 等。
   • info.json: 数据集的整体信息，包括特征、fps、机器人信息等。
   • stats.json: 数据集中每个数值特征的统计信息（最大值、均值、最小值、标准差）。
   • tasks.jsonl: 如果数据集包含多个任务，这里会列出任务描述和对应的片段。
3. 视频 (videos) (可选)：如果 info.json 中指定使用视频存储图像，则原始视频文件存储在此处，按 chunk 和相机名称组织。

结论

LeRobot 框架通过其模块化的设计、丰富的预训练模型和数据集支持，以及对真实世界机器人应用的关注，显著降低了机器人学习的门槛。无论是进行学术研究还是开发实际应用，LeRobot 都提供了一个强大而灵活的平台。希望本篇深度剖析能帮助您快速上手并有效利用 LeRobot 进行机器人学习的探索与创新。