在 NVIDIA Jetson 上基于 HuggingFace LeRobot 实现端到端机器人学习

c. PulseAudio 音频设置

LeRobot 的数据捕获流程使用 Speech Dispatcher 通过 espeak TTS 提供音频提示。我们需要配置 PulseAudio 以允许 root 用户访问 socket 文件。

重启 PulseAudio 服务：

pulseaudio --kill
pulseaudio --start

找到加载 module-native-protocol-unix的部分，并添加 auth-anonymous=1：

### Load several protocols
.ifexists module-esound-protocol-unix.so
load-module module-esound-protocol-unix auth-anonymous=1
.endif

编辑 /etc/pulse/default.pa：

sudo vi /etc/pulse/default.pa

d. 为 ACM 设备设置 udev 规则

为了让程序能以唯一的名称找到 leader 和 follower 机械臂，我们设置 udev 规则。

• /dev/ttyACM_kochleader: Leader arm
• /dev/ttyACM_kochfollower: Follower arm

对 follower 臂重复此过程，然后将规则文件复制到 /etc/udev/rules.d/并重启 Jetson。

sudo cp ./99-usb-serial.rules /etc/udev/rules.d/
sudo reboot

编辑 99-usb-serial.rules文件，填入序列号：

SUBSYSTEM=="tty", ATTRS{idVendor}=="2f5d", ATTRS{idProduct}=="2202", ATTRS{serial}=="BA98C8C350304A46462E3120FF121B06", SYMLINK+="ttyACM_kochleader"
SUBSYSTEM=="tty", ATTRS{idVendor}=="2f5d", ATTRS{idProduct}=="2202", ATTRS{serial}=="<YOUR_FOLLOWER_ARM_SERIAL>", SYMLINK+="ttyACM_kochfollower"

仅连接 leader 臂，记录其序列号：

ll /dev/serial/by-id/
# 输出示例:
# lrwxrwxrwx 1 root root 13 Sep 24 13:07 usb-ROBOTIS_OpenRB-150_BA98C8C350304A46462E3120FF121B06-if00 -> ../../ttyACM1

e. 增加交换文件大小

为了防止在训练 ACT 模型时内存不足，建议增加交换空间。

# 增加 8GB 交换空间
swapoff -a -v
sudo rm /swfile
sudo systemctl disable nvzramconfig
sudo fallocate -l 8G /ssd/8GB.swap
sudo chmod 600 /ssd/8GB.swap
sudo mkswap /ssd/8GB.swap
sudo sh -c 'echo "/ssd/8GB.swap swap swap defaults 0 0" >> /etc/fstab'
sudo reboot

f. 启动 lerobot容器

# 进入 jetson-containers 目录
cd jetson-containers
# 启动容器，并将主机上的 lerobot 目录挂载进去
./run.sh \
  -v ${PWD}/data/lerobot/:/opt/lerobot/ \
  $(./autotag lerobot)

真实机器人工作流程：容器内操作

💡 JupyterLab 提示：lerobot容器启动后，JupyterLab 服务也会启动。您可以通过 http://localhost:8888/访问，其中包含与官方教程各部分对应的 notebooks。

1. 组装 Koch v1.1 机械臂

您可以从 ROBOTIS 订购 Koch v1.1 套件（注意：不包含 3D 打印部件）。

2. 配置电机、校准机械臂、进行遥操作

请跟随 Jupyter notebook 7-2_real-robot_configure-motors.ipynb中的步骤操作。

3. 记录并可视化您的数据集

💡 Bash 历史提示：在容器的控制台中，您可以按 Up 键滚动浏览预注册的常用命令。

# 登录 wandb
wandb login
# 设置 HuggingFace 用户名
export HF_USER=<your_username>
# 运行数据记录脚本
python lerobot/scripts/control_robot.py record \
  --robot-path lerobot/configs/robot/koch.yaml \
  --fps 30 \
  --root data \
  --repo-id ${HF_USER}/koch_test_$(date +%Y%m%d_%H%M%S) \
  --tags tutorial \
  --warmup-time-s 5 \
  --episode-time-s 30 \
  --reset-time-s 30 \
  --num-episodes 10

4. 在您的数据上训练一个策略

# 登录 wandb
wandb login
# 运行训练脚本
DATA_DIR=data python lerobot/scripts/train.py \
  dataset_repo_id=${HF_USER}/koch_test \
  policy=act_koch_real \
  env=koch_real \
  hydra.run.dir=outputs/train/act_koch_test \
  hydra.job.name=act_koch_test \
  device=cuda \
  wandb.enable=true

5. 评估您的策略

# 运行评估脚本，-p 参数指向训练好的模型
python lerobot/scripts/control_robot.py record \
  --robot-path lerobot/configs/robot/koch.yaml \
  --fps 30 \
  --root data \
  --repo-id ${HF_USER}/eval_koch_test_01 \
  --tags tutorial eval \
  --warmup-time-s 5 \
  --episode-time-s 30 \
  --reset-time-s 30 \
  --num-episodes 10 \
  -p outputs/train/act_koch_test/checkpoints/last/pretrained_model \
  --run-compute-stats 0
# 可视化评估结果
python lerobot/scripts/visualize_dataset.py \
  --root data \
  --repo-id ${HF_USER}/eval_koch_test

基础演练（无需真实机器人）

可视化数据集

LeRobot 使用 rerun.io 进行可视化。

# 在主机上安装并运行 rerun
pip3 install rerun-sdk rerun
# 在容器中运行可视化脚本
jetson-containers run -w /opt/lerobot $(autotag lerobot) \
  python3 lerobot/scripts/visualize_dataset.py \
  --repo-id lerobot/pusht \
  --episode-index 0

评估预训练的扩散策略

此命令将下载并在 PushT 环境上运行一个预训练的扩散模型。

jetson-containers run -w /opt/lerobot $(autotag lerobot) \
  python3 lerobot/scripts/eval.py \
  -p lerobot/diffusion_pusht \
  eval.n_episodes=10 \
  eval.batch_size=10

训练您自己的 ACT 策略

接下来，在 Aloha 操作环境上训练 ACT 策略。

jetson-containers run -w /opt/lerobot $(autotag lerobot) \
  python3 lerobot/scripts/train.py \
  policy=act \
  env=aloha \
  env.task=AlohaInsertion-v0 \
  dataset_repo_id=lerobot/aloha_sim_insertion_human

结论

本教程展示了在 NVIDIA Jetson 上使用 LeRobot 进行端到端机器人学习的完整流程。从硬件设置到数据收集、训练和评估，开发者可以利用 Jetson 强大的计算能力，在边缘设备上快速迭代和部署机器人学习模型。无论是使用低成本的 Koch v1.1 进行真实世界实验，还是在模拟环境中进行快速验证，LeRobot 都提供了一套强大而灵活的工具。