LeRobot 框架架构、支持策略、仿真平台与数据格式详解

这种结构使得开发者可以轻松地找到所需的组件，并理解它们之间的关系。

1.4 主要组件

1.4.1 策略系统

LeRobot 通过统一的工厂接口实现多种最先进的策略架构。make_policy() 工厂函数为创建不同类型的策略提供了统一的接口。训练（train.py）和评估（eval.py）脚本通过这个工厂与策略交互。所有策略都实现了 PreTrainedPolicy 接口，其中包括动作选择和模型训练的方法。

lerobot 策略系统

1.4.2 数据集管理

数据集系统处理机器人数据集的加载、处理和可视化，重点关注多模态数据。LeRobotDataset 类是核心组件，提供了加载和管理机器人数据集的功能。数据集可以从 Hugging Face Hub 或本地存储访问。make_dataset() 工厂根据配置创建数据集实例。该系统处理片段、视频处理和图像转换，通过 Rerun 或 HTML/Flask 接口进行可视化。

数据集管理

1.4.3 环境接口

LeRobot 基于 Gymnasium API 为多个模拟环境提供了一致的接口。make_env() 工厂根据配置创建不同的环境类型（Aloha、PushT、XArm）。该系统包括用于预处理观察（preprocess_observation()）和将环境特征转换为策略特征（env_to_policy_features()）的工具。工厂生成 Gymnasium 向量环境，实现并行模拟。

环境配置

1.4.4 机器人控制

机器人控制系统提供了与物理机器人交互的接口，支持不同的控制模式和硬件类型。control_robot.py 脚本是机器人控制系统的核心组件，支持不同的控制模式（远程操作、记录、回放、校准）和机器人类型（操作器、移动）。该系统通过电机（Dynamixel、Feetech）和相机（OpenCV、RealSense）的抽象与硬件接口。记录模式与 LeRobotDataset 系统集成，用于数据收集。

robot control 模块

LeRobot 支持的策略

LeRobot 实现了几种最先进的策略架构，以下是对这些策略的详细介绍：

这些策略可以通过统一的 make_policy() 工厂函数创建，使得在不同任务和环境中切换策略变得简单。

LeRobot 支持的仿真平台和硬件

3.1 支持的仿真环境

LeRobot 通过 Gymnasium 接口支持多个模拟环境：

这些环境可以作为额外依赖项安装：

pip install -e ".aloha, pusht"

3.2 硬件支持

LeRobot 支持多种物理机器人硬件，特别是专注于经济实惠且功能强大的机器人平台。以下是主要支持的硬件类型：

(1) 操作器机器人： SO100（基于 Koch 设计的双臂机器人） XArm（单臂机器人）

(2) 移动机器人： LeKiwi（移动机器人平台）

(3) 传感器和执行器： 相机：OpenCV 兼容相机、Intel RealSense 深度相机 电机：Dynamixel 伺服电机、Feetech 伺服电机

3.3 SO100 机器人案例分析

SO100 是 LeRobot 框架中重点支持的一种双臂机器人，基于 Koch 设计。它是一个经济实惠的双臂机器人平台，特别适合研究和教育用途。

3.3.1 SO100 硬件架构

SO100 机器人由以下主要组件组成： 两个机械臂，每个臂有多个自由度 Dynamixel 伺服电机作为关节驱动 一个或多个相机用于视觉感知 控制电路和电源系统

3.3.2 SO100 控制流程

控制 SO100 机器人的典型流程如下：

使用 LeRobot 进行遥操作和数据采集

4.1 遥操作模式

遥操作模式允许用户直接手动控制机器人。这种模式对于测试机器人硬件、实验动作或准备记录会话非常有用。

4.1.1 遥操作流程

4.1.2 遥操作配置

遥操作可以通过 TeleoperateControlConfig 类进行配置，该类提供以下选项：

4.1.3 遥操作命令示例

基本的无限频率遥操作：

python lerobot/scripts/control_robot.py \
    --robot.type=so100 \
    --control.type=teleoperate

限制频率的遥操作，模拟记录：

python lerobot/scripts/control_robot.py \
    --robot.type=so100 \
    --control.type=teleoperate \
    --control.fps=30

4.2 数据记录模式

记录模式将机器人的观察和动作捕获到结构化数据集中。这种模式对于收集用于机器人学习策略的训练数据至关重要。

4.2.1 记录流程

4.2.2 使用策略记录

记录可以使用预训练策略控制机器人进行，这对于评估策略性能很有用。使用策略记录时，遥操作被禁用，策略根据观察生成动作。

4.2.3 记录配置

记录通过 RecordControlConfig 类配置，具有以下关键参数：

4.2.4 记录命令示例

记录单个测试片段：

python lerobot/scripts/control_robot.py \
    --robot.type=so100 \
    --control.type=record \
    --control.fps=30\
    --control.single_task="抓取乐高积木并将其放入箱中。"\
    --control.repo_id=username/test_dataset \
    --control.num_episodes=1\
    --control.push_to_hub=True

记录用于训练的完整数据集：

python lerobot/scripts/control_robot.py \
    --robot.type=so100 \
    --control.type=record \
    --control.fps=30\
    --control.repo_id=username/training_dataset \
    --control.num_episodes=50\
    --control.warmup_time_s=2\
    --control.episode_time_s=30\
    --control.reset_time_s=10

4.3 模拟环境中的数据采集

除了在实际机器人上收集数据外，LeRobot 还支持在模拟环境中收集数据，这对于初始开发和测试非常有用。

python lerobot/scripts/control_sim_robot.py record \
    --robot-path lerobot/configs/robot/your_robot_config.yaml \
    --sim-config lerobot/configs/env/your_sim_config.yaml \
    --fps 30\
    --repo-id $USER/robot_sim_test \
    --num-episodes 50\
    --episode-time-s 30

LeRobot 数据格式

5.1 LeRobotDataset 格式概述

LeRobot 使用一种称为 LeRobotDataset 的统一数据格式，它设计用于存储和管理机器人学习所需的多模态数据。这种格式可以轻松地从 Hugging Face Hub 或本地文件夹加载。

lerobot 数据格式

5.2 数据集结构

LeRobotDataset 的文件结构组织如下：

data
├── chunk-000
│   ├── episode_000000.parquet
│   ├── episode_000001.parquet
│   └── ...
├── chunk-001
│   ├── episode_001000.parquet
└── ...
meta
├── episodes.jsonl
├── info.json
├── stats.json
└── tasks.jsonl
videos
├── chunk-000
│   ├── observation.images.camera1  # 'camera1' 是示例名称
│   │   ├── episode_000000.mp4
│   ├── observation.images.camera2
├── chunk-001
└── ...

5.3 数据集组件

LeRobotDataset 包含以下主要组件：

(1) HF Dataset：基于 Arrow/Parquet 的数据集，包含以下特征： 观察图像（VideoFrame 格式或路径） 状态观察（例如关节位置） 动作（例如关节目标位置） 片段索引和帧索引 时间戳 任务描述

(2) 元数据 (meta)： episodes.jsonl: 包含每个片段的元信息，如起始/结束帧索引、在哪个 chunk 等。 info.json: 数据集的整体信息，包括特征、fps、机器人信息等。 stats.json: 数据集中每个数值特征的统计信息（最大值、均值、最小值、标准差）。 tasks.jsonl: 如果数据集包含多个任务，这里会列出任务描述和对应的片段。

(3) 视频 (videos) (可选)：如果 info.json 中指定使用视频存储图像，则原始视频文件存储在此处，按 chunk 和相机名称组织。

结论

LeRobot 框架通过其模块化的设计、丰富的预训练模型和数据集支持，以及对真实世界机器人应用的关注，显著降低了机器人学习的门槛。无论是进行学术研究还是开发实际应用，LeRobot 都提供了一个强大而灵活的平台。希望本篇深度剖析能帮助您快速上手并有效利用 LeRobot 进行机器人学习的探索与创新。