前言
本文解读基于宇树 G1 人形机器人的 VR 遥操作及模仿学习开发流程。涉及开源库 unitree_IL_lerobot 及遥操程序 xr_teleoperate（前身为 avp_teleoperate）。无论使用傅利叶集成的 idp3 还是宇树集成的 pi0，均可通过宇树开源的摇操代码收集数据。
第一部分 基于宇树开源的 avp(xr 以前的版本) 摇操程序
1.1 Ubuntu、双臂 inverse kinematics 环境配置、unitree_sdk2_python 配置
- 操作系统：Ubuntu 20.04 和 Ubuntu 22.04。
- 通信库：原
unitree_dds_wrapper已更新为 Python 版控制通信库unitree_sdk2_python。git clone https://github.com/unitreerobotics/unitree_sdk2_python.git
cd unitree_sdk2_python
pip install -e .
3. **逆运动学环境**：使用 pinocchio 和 CasADi 库加载 URDF 并进行逆运动学计算，meshcat 用于可视化调试。 bash
conda create -n tv python=3.8
conda activate tv
确保 pinocchio 版本为 3.1.0
conda install pinocchio -c conda-forge pip install meshcat pip install casadi ```
1.2 TeleVision 环境配置和 Apple Vision Pro 通信配置
1.2.1 基本环境配置和 Isaac Gym 安装
git clone https://github.com/unitreerobotics/avp_teleoperate.git
cd avp_teleoperate
pip install -r requirements.txt
下载 Isaac Gym 安装包并解压，在 isaacgym/python 目录下执行：
pip install -e .
1.2.2 证书生成相关配置
由于苹果不允许在非 HTTPS 连接上使用 WebXR，需创建自签名证书。
- 安装 mkcert：
brew install mkcert eval "$(/home/linuxbrew/.linuxbrew/bin/brew shellenv)" sudo apt-get install build-essential procps curl file git - 生成证书：
mkcert -CAROOT # 将 rootCA.pem 发送到 Apple Vision Pro sudo ufw allow 8012 mkcert -install && mkcert -cert-file cert.pem -key-file key.pem <本机 IP> localhost 127.0.0.1 cert.pem key.pem ~/avp_teleoperate/teleop/
