宇树 VR 遥操与 IL：从 xr_teleoperate 到 unitree_IL_lerobot 的 G1 开发实践

1.2.3 启用 Apple Vision Pro 的 WebXR 相关功能

设置 >> Apps >> Safari 浏览器 >> 高级 >> 功能标志 >> 启用 WebXR 相关功能。 启动 VR：

cd ~/avp_teleoperate/teleop
python teleop_hand.py

浏览器输入 https://<主机 IP>:8012?ws=wss://<主机 IP>:8012，点击 Enter VR。

1.3 硬件清单

1.4 启动程序

1.4.1 开启灵巧手服务

下载灵巧手控制接口程序，拷贝至机器人 PC2 中编译运行。

sudo ./inspire_hand -s /dev/ttyUSB0
./h1_hand_example

1.4.2 开启图像推流服务 image_server

将 image_server.py 拷贝到机器人 PC2 并执行：

python image_server.py

注意检查 OpenCV 读取参数及端口可用性。

1.4.3 启动遥操作程序

确保 G1 进入调试模式（L2+R2）。操作员 A 佩戴 XR 设备访问网页，操作员 B 在终端按 r 键启动。

# G1(29DoF) + Dex3-1
python teleop_hand_and_arm.py --arm=G1_29 --hand=dex3
# 开启录制
python teleop_hand_and_arm.py --arm=G1_23 --record

1.5 avp_teleoperate 与 OpenTeleVision 的差异对比

第二部分 xr_teleoperate：avp_teleoperate 的升级版

2.1 安装

conda create -n tv python=3.10 pinocchio=3.1.0 numpy=1.26.4 -c conda-forge
conda activate tv
git clone https://github.com/unitreerobotics/xr_teleoperate.git
cd xr_teleoperate
git submodule update --init --depth 1
cd teleop/televuer
pip install -e .
openssl req -x509 -nodes -days 365 -newkey rsa:2048 -keyout key.pem -out cert.pem
cd ../robot_control/dex-retargeting/
pip install -e .
cd ../../../
pip install -r requirements.txt

安装 unitree_sdk2_python 库。

2.2 仿真部署

安装 unitree_sim_isaaclab 并启动仿真环境：

conda activate unitree_sim_env
cd ~/unitree_sim_isaaclab
python sim_main.py --device cpu --enable_cameras --task Isaac-PickPlace-Cylinder-G129-Dex3-Joint --enable_dex3_dds --robot_type g129

启动遥操命令示例：

python teleop_hand_and_arm.py --xr-mode=hand --arm=G1_29 --ee=dex3 --sim --record

2.3 真机部署

1. 图像服务：复制 image_server.py 至 PC2 并运行。
2. BrainCo 手部服务：手动启动两个巧手的服务。

   sudo ./brainco_hand --id 126 --serial /dev/ttyUSB1
   sudo ./brainco_hand --id 127 --serial /dev/ttyUSB2
   

3. 启动遥操：确保机器人处于调试模式或运控模式，按 r 键启动。

第三部分 unitree_IL_lerobot 的安装与运行

3.1 环境安装与数据采集、转换

3.1.1 环境安装

git clone --recurse-submodules https://github.com/unitreerobotics/unitree_IL_lerobot.git
git submodule update --init --recursive
conda create -y -n unitree_lerobot python=3.10
conda activate unitree_lerobot
cd lerobot && pip install -e .
cd .. && pip install -e .

3.1.2 数据采集

可使用 avp/xr 现采数据，或从 HuggingFace 加载数据集：

from lerobot.common.datasets.lerobot_dataset import LeRobotDataset
dataset = LeRobotDataset(repo_id="unitreerobotics/G1_ToastedBread_Dataset")

3.1.3 数据转换

将 json 格式转换为 lerobot 格式：

python unitree_lerobot/utils/convert_unitree_json_to_lerobot.py \
--raw-dir $HOME/datasets/g1_grabcube_double_hand \
--repo-id your_name/g1_grabcube_double_hand \
--robot_type Unitree_G1_Dex3 \
--push_to_hub true

3.2 训练与测试

3.2.1 训练

# 训练 pi0
cd unitree_lerobot/lerobot
python lerobot/scripts/train.py --dataset.repo_id=unitreerobotics/G1_ToastedBread_Dataset --policy.type=pi0

# 训练 diffusion policy
python lerobot/scripts/train.py --dataset.repo_id=unitreerobotics/G1_ToastedBread_Dataset --policy.type=diffusion

# 训练 ACT
python lerobot/scripts/train.py --dataset.repo_id=unitreerobotics/G1_ToastedBread_Dataset --policy.type=act

3.2.2 真机测试

python unitree_lerobot/eval_robot/eval_g1/eval_g1.py \
--policy.path=<模型路径> \
--repo_id=unitreerobotics/G1_ToastedBread_Dataset