NVIDIA Jetson 部署 LeRobot 端到端机器人学习流程

为了使数据在容器重启后不丢失，我们在主机上创建 lerobot 目录并挂载到容器中。

cd jetson-containers
./packages/robots/lerobot/clone_lerobot_dir_under_data.sh
./packages/robots/lerobot/copy_overlay_files_in_data_lerobot.sh

3. PulseAudio 音频设置

LeRobot 的数据捕获流程使用 Speech Dispatcher 通过 espeak TTS 提供音频提示。我们需要配置 PulseAudio 以允许 root 用户访问 socket 文件。

重启 PulseAudio 服务：

pulseaudio --kill
pulseaudio --start

编辑 /etc/pulse/default.pa，找到加载 module-native-protocol-unix 的部分，并添加 auth-anonymous=1：

sudo vi /etc/pulse/default.pa

修改内容如下：

### Load several protocols
.ifexists module-esound-protocol-unix.so
load-module module-esound-protocol-unix auth-anonymous=1
.endif

4. ACM 设备 udev 规则

为了让程序能以唯一的名称找到 leader 和 follower 机械臂，我们设置 udev 规则。

• /dev/ttyACM_kochleader: Leader arm
• /dev/ttyACM_kochfollower: Follower arm

对 follower 臂重复此过程，然后将规则文件复制到 /etc/udev/rules.d/ 并重启 Jetson。

sudo cp ./99-usb-serial.rules /etc/udev/rules.d/
sudo reboot

编辑 99-usb-serial.rules 文件，填入序列号：

SUBSYSTEM=="tty", ATTRS{idVendor}=="2f5d", ATTRS{idProduct}=="2202", ATTRS{serial}=="BA98C8C350304A46462E3120FF121B06", SYMLINK+="ttyACM_kochleader"
SUBSYSTEM=="tty", ATTRS{idVendor}=="2f5d", ATTRS{idProduct}=="2202", ATTRS{serial}=="<YOUR_FOLLOWER_ARM_SERIAL>", SYMLINK+="ttyACM_kochfollower"

仅连接 leader 臂，记录其序列号：

ll /dev/serial/by-id/
# 输出示例：lrwxrwxrwx 1 root root 13 Sep 24 13:07 usb-ROBOTIS_OpenRB-150_BA98C8C350304A46462E3120FF121B06-if00 -> ../../ttyACM1

5. 增加交换空间

为了防止在训练 ACT 模型时内存不足，建议增加交换空间。

swapoff -a -v
sudo rm /swfile
sudo systemctl disable nvzramconfig
sudo fallocate -l 8G /ssd/8GB.swap
sudo chmod 600 /ssd/8GB.swap
sudo mkswap /ssd/8GB.swap
sudo sh -c 'echo "/ssd/8GB.swap swap swap defaults 0 0" >> /etc/fstab'
sudo reboot

6. 启动容器

cd jetson-containers
./run.sh \
  -v ${PWD}/data/lerobot/:/opt/lerobot/ \
  $(./autotag lerobot)

真实机器人工作流程：容器内操作

💡 JupyterLab 提示: lerobot 容器启动后，JupyterLab 服务也会启动。您可以通过 http://localhost:8888/ 访问，其中包含与官方教程各部分对应的 notebooks。

1. 组装机械臂

您可以从 ROBOTIS 订购 Koch v1.1 套件（注意：不包含 3D 打印部件）。

2. 配置电机与遥操作

请跟随 Jupyter notebook 7-2_real-robot_configure-motors.ipynb 中的步骤操作。

3. 记录并可视化数据集

💡 Bash 历史提示: 在容器的控制台中，您可以按 Up 键滚动浏览预注册的常用命令。

# 登录 wandb
wandb login

# 设置 HuggingFace 用户名
export HF_USER=<your_username>

# 运行数据记录脚本
python lerobot/scripts/control_robot.py record \
  --robot-path lerobot/configs/robot/koch.yaml \
  --fps 30 \
  --root data \
  --repo-id ${HF_USER}/koch_test_$(date +%Y%m%d_%H%M%S) \
  --tags tutorial \
  --warmup-time-s 5 \
  --episode-time-s 30 \
  --reset-time-s 30 \
  --num-episodes 10

4. 训练策略

# 登录 wandb
wandb login

# 运行训练脚本
DATA_DIR=data python lerobot/scripts/train.py \
  dataset_repo_id=${HF_USER}/koch_test \
  policy=act_koch_real \
  env=koch_real \
  hydra.run.dir=outputs/train/act_koch_test \
  hydra.job.name=act_koch_test \
  device=cuda \
  wandb.enable=true

5. 评估策略

# 运行评估脚本，-p 参数指向训练好的模型
python lerobot/scripts/control_robot.py record \
  --robot-path lerobot/configs/robot/koch.yaml \
  --fps 30 \
  --root data \
  --repo-id ${HF_USER}/eval_koch_test_01 \
  --tags tutorial_eval \
  --warmup-time-s 5 \
  --episode-time-s 30 \
  --reset-time-s 30 \
  --num-episodes 10 \
  -p outputs/train/act_koch_test/checkpoints/last/pretrained_model \
  --run-compute-stats 0

# 可视化评估结果
python lerobot/scripts/visualize_dataset.py \
  --root data \
  --repo-id ${HF_USER}/eval_koch_test

基础演练（无需真实机器人）

可视化数据集

LeRobot 使用 rerun.io 进行可视化。

# 在主机上安装并运行 rerun
pip3 install rerun-sdk rerun

# 在容器中运行可视化脚本
jetson-containers run -w /opt/lerobot $(autotag lerobot) \
  python3 lerobot/scripts/visualize_dataset.py \
  --repo-id lerobot/pusht \
  --episode-index 0

评估预训练的扩散策略

此命令将下载并在 PushT 环境上运行一个预训练的扩散模型。

jetson-containers run -w /opt/lerobot $(autotag lerobot) \
  python3 lerobot/scripts/eval.py \
  -p lerobot/diffusion_pusht \
  eval.n_episodes=10 \
  eval.batch_size=10

训练自己的 ACT 策略

接下来，在 Aloha 操作环境上训练 ACT 策略。

jetson-containers run -w /opt/lerobot $(autotag lerobot) \
  python3 lerobot/scripts/train.py \
  policy=act \
  env=aloha \
  env.task=AlohaInsertion-v0 \
  dataset_repo_id=lerobot/aloha_sim_insertion_human

总结

本教程展示了在 NVIDIA Jetson 上使用 LeRobot 进行端到端机器人学习的完整流程。从硬件设置到数据收集、训练和评估，开发者可以利用 Jetson 强大的计算能力，在边缘设备上快速迭代和部署机器人学习模型。无论是使用低成本的 Koch v1.1 进行真实世界实验，还是在模拟环境中进行快速验证，LeRobot 都提供了一套强大而灵活的工具。