宇树 G1 人形机器人 VR 遥操作与 LeRobot 数据训练指南

1.2.3 启用 Apple Vision Pro 的 WebXR 相关功能、进入 VR

设置 >> Apps >> Safari 浏览器 >> 高级 >> 功能标志 >> 启用 WebXR 相关功能。 在新版本 Vision OS 2 系统中，该步骤有所不同：将证书通过 AirDrop 复制到 Apple Vision Pro 设备后，将会在设置 APP 中左上角账户栏的下方出现证书相关信息栏，点击进去即可启用对该证书的信任。

接下来，便可以进入 VR：

cd ~/avp_teleoperate/teleop
python teleop_hand.py

打开 Apple Vision Pro 的浏览器输入 https://192.168.123.2:8012?ws=wss://192.168.123.2:8012，点击 "Enter VR" 并且允许跟踪。

1.3 硬件清单：涉及 VR、头部的双目相机、手腕上的深度相机 D405

1.3.1 VR 和头部的双目相机

1.3.2 手腕上的深度相机 D405

1.4 启动程序

在执行遥操作的程序前，需要预先启动一些服务支撑的程序。

1.4.1 开启灵巧手服务

可以参考《RH56DFX 灵巧手开发》配置相关环境和编译控制程序。

1. 下载灵巧手控制接口程序，并将之拷贝到 机器人 Unitree H1_2 的 PC2 中。
2. 在 PC2 中解压完成后，使用下述命令进行编译：

   sudo apt install libboost-all-dev libspdlog-dev
   mkdir build & cd build
   cmake .. -DCMAKE_BUILD_TYPE=Release
   make
   # 终端 1. 运行 h1 inspire 手部服务
   sudo ./inspire_hand -s /dev/ttyUSB0
   # 终端 2. 运行示例
   ./h1_hand_example
   

1.4.2 开启图像推流服务 image_server

把 avp_teleoperate/teleop/image_server 目录中的 image_server.py 拷贝到机器人 Unitree G1/H1/H1_2 的 开发计算单元 PC2 中，并在 PC2 内执行下面命令：

# 提醒：目前该图像传输程序支持 OpenCV 和 Realsense SDK 两种读取图像的方式
python image_server.py

注意：这里需要检查 OpenCV 读取图像时的参数是否与双目相机硬件匹配，以及对于推流使用的默认 5555 端口是否可用。

1.4.3 启动遥操作程序

在需要使用 SDK 进行开发调试时，请务必确保 G1 已经进入调试模式「阻尼：① 长按 L2 + 单击 B，或零力矩：长按 L2 + 单击 Y 模式下，遥控器长按 L2 + 单击 R2 进入调试模式」。

1. 操作员 B：修改 ~/avp_teleoperate/teleop/teleop_hand_and_arm.py 中 if name == 'main': 代码下方的 img_config 图像客户端配置。
2. 操作员 A：戴上 Apple Vision Pro 设备。在 Apple Vision Pro 上打开 Safari，访问对应 IP 地址。
3. 启动：操作员 B 在终端中按下 r 键以启动远程操作程序。

根据你的机器人配置选择不同的启动参数：

# 1. G1(29DoF) 机器人 + Dex3-1 灵巧手
python teleop_hand_and_arm.py --arm=G1_29 --hand=dex3
# 2. 仅 G1(29DoF) 机器人
python teleop_hand_and_arm.py
# 3. G1 (23DoF) 机器人
python teleop_hand_and_arm.py --arm=G1_23
# 4. 开启数据可视化 + 录制
python teleop_hand_and_arm.py --arm=G1_23 --record

1.5 avp_teleoperate 与 OpenTeleVision 的差异对比

1.5.1 核心架构的差异对比

1.5.2 代码结构上的差异对比

avp_teleoperate 的代码结构整体结构与 TeleVision 保持一致，以下是与 Unitree Robot 相关的文件目录：

avp_teleoperate/
├── act 存放模仿学习策略相关文件
├── assets 存放机器人 URDF 相关文件
├── scripts 存放一些工具类文件
└── teleop 存放遥操作主要文件
    ├── image_server/ 图像推流服务端与客户端相关代码
    ├── robot_control/ 存放 IK 解算、手臂控制相关文件
    └── utils/ 工具函数

第二部分 xr_teleoperate：avp_teleoperate 的升级版

2.1 安装

xr 整个系统的示意图和原来 avp 的差不太多。系统依然是 Ubuntu 20.04 或 Ubuntu 22.04。

2.1.1 基础环境

# 创建 conda 基础环境
conda create -n tv python=3.10 pinocchio=3.1.0 numpy=1.26.4 -c conda-forge
conda activate tv
# 克隆本仓库
git clone https://github.com/unitreerobotics/xr_teleoperate.git
cd xr_teleoperate
git submodule update --init --depth 1
# 安装 televuer 模块
cd teleop/televuer
pip install -e .
# 生成 televuer 模块所需的证书文件
openssl req -x509 -nodes -days 365 -newkey rsa:2048 -keyout key.pem -out cert.pem
# 安装 dex-retargeting 模块
cd ../robot_control/dex-retargeting/
pip install -e .
# 安装本仓库所需的其他依赖库
cd ../../../
pip install -r requirements.txt

2.1.2 unitree_sdk2_python

git clone https://github.com/unitreerobotics/unitree_sdk2_python.git
cd unitree_sdk2_python
pip install -e .

注意：在 xr_teleoperate >= v1.1 版本中，unitree_sdk2_python 仓库的 commit 必须是等于或高于特定版本。

2.2 仿真部署

2.2.1 环境配置

首先，请安装 unitree_sim_isaaclab。其次，启动 unitree_sim_isaaclab 仿真环境。假设使用 G1(29 DoF) 和 Dex3 灵巧手配置进行仿真：

conda activate unitree_sim_env
cd ~/unitree_sim_isaaclab
python sim_main.py --device cpu --enable_cameras --task Isaac-PickPlace-Cylinder-G129-Dex3-Joint --enable_dex3_dds --robot_type g129

2.2.2 启动遥操

以下是本程序的启动参数说明：

根据上述参数说明以及仿真环境配置，我们假设选择手势跟踪来控制 G1(29 DoF) + Dex3 灵巧手设备，同时开启仿真模式和数据录制模式：

python teleop_hand_and_arm.py --xr-mode=hand --arm=G1_29 --ee=dex3 --sim --record

程序正常启动后，戴上 XR 头显设备，连接对应的 WiFi 热点。在终端中按下 r 键后，正式开启遥操作程序。

2.3 真机部署

实际部署与仿真部署步骤基本相似，下面将重点指出不同的要点。

2.3.1 图像服务

将 xr_teleoperate/teleop/image_server 目录中的 image_server.py 复制到宇树机器人（G1/H1/H1_2 等）的开发计算单元 PC2，并在 PC2 上执行以下命令：

python image_server.py

在图像服务启动后，可以在主机终端上使用 image_client.py 测试通信是否成功。

2.3.2 BrainCo 手部服务

请参考官方文档。安装完毕后，请手动启动两个巧手的服务：

# Terminal 1.
sudo ./brainco_hand --id 126 --serial /dev/ttyUSB1
# Terminal 2.
sudo ./brainco_hand --id 127 --serial /dev/ttyUSB2

2.3.3 启动遥操

1. 在没有开启运动控制模式（--motion）时，请务必确保机器人已经进入调试模式（L2+R2），停止向运动控制程序发送指令。
2. 如果要开启运动控制模式遥操作，请提前使用 R3 遥控确保机器人进入主运控模式。
3. 开启运动控制模式（--motion）时，右手柄按钮 A 为遥操作退出功能按钮；左手柄和右手柄的两个摇杆按键同时按下为软急停按键。

第三部分 unitree_IL_lerobot 的安装与运行

依据宇树官方的 Github：unitreerobotics/unitree_IL_lerobot，按照下述这一系列步骤，逐一执行即可。

3.1 环境安装与数据采集、转换

3.1.1 环境安装：LeRobot 环境安装、unitree_sdk2_python

其次是 unitree_sdk2_python，而针对 Unitree 机器人 dds 通讯需要安装一些依赖：

git clone https://github.com/unitreerobotics/unitree_sdk2_python.git
cd unitree_sdk2_python && pip install -e .

本项的目的是使用 LeRobot 开源框架训练并测试基于 Unitree 机器人采集的数据。所以首先需要安装 LeRobot 相关依赖：

# 下载源码
git clone --recurse-submodules https://github.com/unitreerobotics/unitree_IL_lerobot.git
git submodule update --init --recursive
# 创建 conda 环境
conda create -y -n unitree_lerobot python=3.10
conda activate unitree_lerobot
# 安装 LeRobot
cd lerobot && pip install -e .
cd .. && pip install -e .

3.1.2 数据采集：可以用已经录制好的 (lerobot 格式)，也可以用 avp/xr 现采的 (json)

首先是数据采集

1. 数据采集：通过 avp/xr 现采 想录制自己的数据集，可以使用上面第一部分介绍的 avp_teleoperate，或上面第二部分介绍的 xr_teleoperate，对 Unitree G1 人形机器人进行数据采集。

如果你想加载已经录制好的数据集，你可以从 huggingface 上加载 unitreerobotics/G1_ToastedBread_Dataset 数据集。

from lerobot.common.datasets.lerobot_dataset import LeRobotDataset
import tqdm
episode_index = 1
dataset = LeRobotDataset(repo_id="unitreerobotics/G1_ToastedBread_Dataset")
from_idx = dataset.episode_data_index["from"][episode_index].item()
to_idx = dataset.episode_data_index["to"][episode_index].item()
for step_idx in tqdm.tqdm(range(from_idx, to_idx)):
    step = dataset[step_idx]

可视化：

cd unitree_lerobot/lerobot
python lerobot/scripts/visualize_dataset.py \
  --repo-id unitreerobotics/G1_ToastedBread_Dataset \
  --episode-index 0

3.1.3 针对 avp/xr 现采数据的数据转换：json 格式转换到 lerobot 格式

如果是使用『avp_teleoperate/xr_teleoperate』现场现采的数据，其采用 JSON 格式进行存储，需要做下数据格式上的转换。 假如采集的数据存放在：$HOME/datasets/g1_grabcube_double_hand 目录中，格式如下：

g1_grabcube_double_hand/ #任务名称
├── episode_0001 #第一条轨迹
│   ├──audios/ #声音信息
│   ├──colors/ #图像信息
│   ├──depths/ #深度图像信息
│   └──data.json #状态以及动作信息
├── episode_0002
└── ...

转换 json 格式到 lerobot 格式——通过 convert_unitree_json_to_lerobot 函数，你可以根据 ROBOT_CONFIGS 去定义自己的 robot_type：

python unitree_lerobot/utils/convert_unitree_json_to_lerobot.py \
  --raw-dir $HOME/datasets/g1_grabcube_double_hand \
  --repo-id your_name/g1_grabcube_double_hand \
  --robot_type Unitree_G1_Dex3 \
  --push_to_hub true

排序和重命名：生成 lerobot 的数据集时，最好保证数据的 episode_0 命名是从 0 开始且是连续的，使用下面脚本对数据进行排序处理：

python unitree_lerobot/utils/sort_and_rename_folders.py \
  --data_dir $HOME/datasets/g1_grabcube_double_hand

3.2 训练与测试

3.2.1 训练

训练 pi0：

cd unitree_lerobot/lerobot
python lerobot/scripts/train.py \
  --dataset.repo_id=unitreerobotics/G1_ToastedBread_Dataset \
  --policy.type=pi0

训练 diffusion policy：

cd unitree_lerobot/lerobot
python lerobot/scripts/train.py \
  --dataset.repo_id=unitreerobotics/G1_ToastedBread_Dataset \
  --policy.type=diffusion

训练 ACT：

cd unitree_lerobot/lerobot
python lerobot/scripts/train.py \
  --dataset.repo_id=unitreerobotics/G1_ToastedBread_Dataset \
  --policy.type=act 

3.2.2 真机测试

在打开 image_server 之后，然后执行以下程序：

# --policy.path 训练保存模型路径
# --repo_id 训练加载的数据集
python unitree_lerobot/eval_robot/eval_g1/eval_g1.py \
  --policy.path=unitree_lerobot/lerobot/outputs/train/2025-03-25/22-11-16_diffusion/checkpoints/100000/pretrained_model \
  --repo_id=unitreerobotics/G1_ToastedBread_Dataset

如果你想验证模型在数据集上的表现，使用下面去测试：

python unitree_lerobot/eval_robot/eval_g1/eval_g1_dataset.py \
  --policy.path=unitree_lerobot/lerobot/outputs/train/2025-03-25/22-11-16_diffusion/checkpoints/100000/pretrained_model \
  --repo_id=unitreerobotics/G1_ToastedBread_Dataset