PNP机器人学习——剖析LeRobot框架的架构、支持的策略、仿真平台和硬件、数据采集和训练过程，以及数据格式，帮助读者快速入门

PNP机器人学习——剖析LeRobot框架的架构、支持的策略、仿真平台和硬件、数据采集和训练过程，以及数据格式，帮助读者快速入门

张旭 PnP机器人 2025年11月12日 10:30 加拿大

00

引言

01

LeRobot框架架构

1.1 框架概述

LeRobot是一个专注于实际机器人应用的机器人学习框架，它提供了一系列预训练模型、数据集和工具，特别关注模仿学习和强化学习方法。框架的目标是降低机器人技术的入门门槛，使研究人员和开发者能够更容易地开发和部署机器人应用。

(README.md:55-59)

1.2 系统架构

LeRobot的系统架构由几个相互连接的子系统组成，这些子系统协同工作，支持机器人学习。核心基础设施支持机器人学习算法的策略系统、训练数据的数据集管理、模拟的环境接口以及物理硬件交互的机器人控制。示例目录展示了这些系统如何一起使用。

lerobot系统架构

1.3 代码架构

LeRobot的代码结构清晰，便于开发者理解和扩展：

.

├── examples             # 示例和教程，从这里开始学习LeRobot

│   └── advanced         # 包含更高级的示例

├── lerobot

│   ├── configs          # 包含可以在命令行中覆盖的所有选项的配置类

│   ├── common           # 包含核心功能类和工具

│   │   ├── datasets     # 各种人类演示数据集：aloha, pusht, xarm

│   │   ├── envs         # 各种模拟环境：aloha, pusht, xarm

│   │   ├── policies     # 各种策略实现：act, diffusion, tdmpc等

│   │   ├── robot_devices # 硬件接口：dynamixel电机，opencv相机，koch机器人

│   │   └── utils        # 各种工具函数

│   └── scripts          # 包含通过命令行执行的函数

│       ├── eval.py      # 加载策略并在环境中评估

│       ├── train.py     # 通过模仿学习和/或强化学习训练策略

│       ├── control_robot.py # 远程操作真实机器人，记录数据，运行策略

│       ├── pushdatasetto_hub.py # 将数据集转换为LeRobot数据集格式并上传到Hugging Face hub

│       └── visualize_dataset.py # 加载数据集并渲染其演示

├── outputs              # 包含脚本执行结果：日志、视频、模型检查点

└── tests                # 包含用于持续集成的pytest工具

(README.md:142-159)

这种结构使得开发者可以轻松地找到所需的组件，并理解它们之间的关系。

1.4 主要组件

1.4.1 策略系统

LeRobot通过统一的工厂接口实现多种最先进的策略架构。make_policy()工厂函数为创建不同类型的策略提供了统一的接口。训练（train.py）和评估（eval.py）脚本通过这个工厂与策略交互。所有策略都实现了PreTrainedPolicy接口，其中包括动作选择和模型训练的方法。

lerobot策略系统

1.4.2 数据集管理

数据集系统处理机器人数据集的加载、处理和可视化，重点关注多模态数据。LeRobotDataset类是核心组件，提供了加载和管理机器人数据集的功能。数据集可以从Hugging Face Hub或本地存储访问。make_dataset()工厂根据配置创建数据集实例。该系统处理片段、视频处理和图像转换，通过Rerun或HTML/Flask接口进行可视化。

数据集管理

1.4.3 环境接口

LeRobot基于Gymnasium API为多个模拟环境提供了一致的接口。makeenv()工厂根据配置创建不同的环境类型（Aloha、PushT、XArm）。该系统包括用于预处理观察（preprocessobservation()）和将环境特征转换为策略特征（envtopolicy_features()）的工具。工厂生成Gymnasium向量环境，实现并行模拟。

环境配置

1.4.4 机器人控制

机器人控制系统提供了与物理机器人交互的接口，支持不同的控制模式和硬件类型。control_robot.py脚本是机器人控制系统的核心组件，支持不同的控制模式（远程操作、记录、回放、校准）和机器人类型（操作器、移动）。该系统通过电机（Dynamixel、Feetech）和相机（OpenCV、RealSense）的抽象与硬件接口。记录模式与LeRobotDataset系统集成，用于数据收集。

robot control模块

02

LeRobot支持的策略

LeRobot实现了几种最先进的策略架构，以下是对这些策略的详细介绍：

这些策略可以通过统一的make_policy()工厂函数创建，使得在不同任务和环境中切换策略变得简单。

03

LeRobot支持的仿真平台和硬件

3.1 支持的仿真环境

LeRobot通过Gymnasium接口支持多个模拟环境：

这些环境可以作为额外依赖项安装：

pip install -e ".aloha, pusht"

(README.md:122-129)

3.2 硬件支持

LeRobot支持多种物理机器人硬件，特别是专注于经济实惠且功能强大的机器人平台。以下是主要支持的硬件类型：

(1)操作器机器人：

SO100（基于Koch设计的双臂机器人）

XArm（单臂机器人）

(2)移动机器人：

LeKiwi（移动机器人平台）

(3)传感器和执行器：

相机：OpenCV兼容相机、Intel RealSense深度相机

电机：Dynamixel伺服电机、Feetech伺服电机

3.3 SO100机器人案例分析

SO100是LeRobot框架中重点支持的一种双臂机器人，基于Koch设计。它是一个经济实惠的双臂机器人平台，特别适合研究和教育用途。

3.3.1 SO100硬件架构

SO100机器人由以下主要组件组成：

两个机械臂，每个臂有多个自由度

Dynamixel伺服电机作为关节驱动

一个或多个相机用于视觉感知

控制电路和电源系统

3.3.2 SO100控制流程

控制SO100机器人的典型流程如下：

04

使用LeRobot进行遥操作和数据采集

4.1 遥操作模式

遥操作模式允许用户直接手动控制机器人。这种模式对于测试机器人硬件、实验动作或准备记录会话非常有用。

4.1.1 遥操作流程

(参考 control_robot.py:233-242)

4.1.2 遥操作配置

遥操作可以通过TeleoperateControlConfig类进行配置，该类提供以下选项：

4.1.3 遥操作命令示例

基本的无限频率遥操作：

python lerobot/scripts/control_robot.py \    --robot.type=so100 \    --control.type=teleoperate

(control_robot.py:29-39)

限制频率的遥操作，模拟记录：

python lerobot/scripts/control_robot.py \    --robot.type=so100 \    --control.type=teleoperate \    --control.fps=30

(control_robot.py:42-48)

4.2 数据记录模式

记录模式将机器人的观察和动作捕获到结构化数据集中。这种模式对于收集用于机器人学习策略的训练数据至关重要。

4.2.1 记录流程

(参考 control_robot.py:246-340)

4.2.2 使用策略记录

记录可以使用预训练策略控制机器人进行，这对于评估策略性能很有用。使用策略记录时，遥操作被禁用，策略根据观察生成动作。

(control_utils.py:213-288)

4.2.3 记录配置

记录通过RecordControlConfig类配置，具有以下关键参数：

4.2.4 记录命令示例

记录单个测试片段：

python lerobot/scripts/controlrobot.py \    --robot.type=so100 \    --control.type=record \    --control.fps=30\    --control.singletask="抓取乐高积木并将其放入箱中。"\    --control.repoid=username/testdataset \    --control.numepisodes=1\    --control.pushto_hub=True

(control_robot.py:50-59)

记录用于训练的完整数据集：

python lerobot/scripts/controlrobot.py \    --robot.type=so100 \    --control.type=record \    --control.fps=30\    --control.repoid=username/trainingdataset \    --control.numepisodes=50\    --control.warmuptimes=2\    --control.episodetimes=30\    --control.resettimes=10

(control_robot.py:82-91)

4.3 模拟环境中的数据采集

除了在实际机器人上收集数据外，LeRobot还支持在模拟环境中收集数据，这对于初始开发和测试非常有用。

python lerobot/scripts/controlsimrobot.py record \    --robot-path lerobot/configs/robot/yourrobotconfig.yaml \    --sim-config lerobot/configs/env/yoursimconfig.yaml \    --fps 30\    --repo-id $USER/robotsimtest \    --num-episodes 50\    --episode-time-s 30

(controlsimrobot.py:65-72)

05

LeRobot数据格式

5.1 LeRobotDataset格式概述

LeRobot使用一种称为LeRobotDataset的统一数据格式，它设计用于存储和管理机器人学习所需的多模态数据。这种格式可以轻松地从Hugging Face Hub或本地文件夹加载。

lerobot数据格式

5.2 数据集结构

LeRobotDataset的文件结构组织如下：

├── data

│   ├── chunk-000

│   │   ├── episode_000000.parquet

│   │   ├── episode_000001.parquet

│   │   └── ...

│   ├── chunk-001

│   │   ├── episode_001000.parquet

│   └── ...

├── meta

│   ├── episodes.jsonl

│   ├── info.json

│   ├── stats.json

│   └── tasks.jsonl

└── videos

├── chunk-000

│   ├── observation.images.camera1  # 'camera1' 是示例名称

│   │   ├── episode_000000.mp4

│   ├── observation.images.camera2

├── chunk-001

└── ...

(lerobot_dataset.py:400-438)

5.3 数据集组件

LeRobotDataset包含以下主要组件：

(1)HF Dataset：基于Arrow/Parquet的数据集，包含以下特征：

观察图像（VideoFrame格式或路径）

状态观察（例如关节位置）

动作（例如关节目标位置）

片段索引和帧索引

时间戳

任务描述

(2)元数据 (meta)：

episodes.jsonl: 包含每个片段的元信息，如起始/结束帧索引、在哪个chunk等。

info.json: 数据集的整体信息，包括特征、fps、机器人信息等。

stats.json: 数据集中每个数值特征的统计信息（最大值、均值、最小值、标准差）。

tasks.jsonl: 如果数据集包含多个任务，这里会列出任务描述和对应的片段。

(3)视频 (videos) (可选)：如果info.json中指定使用视频存储图像，则原始视频文件存储在此处，按chunk和相机名称组织。

06

结论

LeRobot框架通过其模块化的设计、丰富的预训练模型和数据集支持，以及对真实世界机器人应用的关注，显著降低了机器人学习的门槛。无论是进行学术研究还是开发实际应用，LeRobot都提供了一个强大而灵活的平台。希望本篇深度剖析能帮助您快速上手并有效利用LeRobot进行机器人学习的探索与创新。

文/张旭，已获得转载授权