前言
本文解读基于宇树人形机器人的二次开发与开源库，重点介绍如何基于 G1 进行 manipulation 开发。目前市面上的人形机器人开发多基于宇树、智元、傅利叶等厂商本体。
- 傅利叶将 idp3 封装进了 Lerobot。
- 宇树通过开源库
unitree_IL_lerobot集成了 Lerobot，该库包含了π0策略。
无论使用哪种集成方案，都可以使用宇树开源的摇操代码（如 xr_teleoperate）去收集数据。
第一部分 基于宇树开源的 avp(xr 以前的版本) 摇操程序：让苹果 VR 摇操机器人
本部分介绍如何使用 Apple Vision Pro 进行遥操作，以控制宇树科技的 Unitree H1_2 或 G1 手臂的示例程序。 avp 基于 Open-television 改造，对应的 GitHub 地址为：github.com/unitreerobotics/avp_teleoperate。
开发者只需佩戴 Vision Pro，即可通过摄像头进行手势追踪以操作机器人。
以下是网络拓扑图，以 G1 机器人为例。
1.1 Ubuntu、双臂 inverse kinematics 环境配置、unitree_dds_wrapper 配置
- 操作系统：Ubuntu 20.04 和 Ubuntu 22.04。
- 通信库：原 h1_2 分支中的临时版本
unitree_dds_wrapper已更新为 Python 版控制通信库unitree_sdk2_python。
# 安装 unitree_sdk2_python 库 (tv)
unitree@Host:~$ git clone https://github.com/unitreerobotics/unitree_sdk2_python.git
cd unitree_sdk2_python
pip install -e .
- 双臂 inverse kinematics 环境配置：用于求解末端位姿逆运动学相关的软件库。使用 pinocchio 和 CasADi 库加载 URDF 并进行逆运动学计算。
conda create -n tv python=3.8
conda activate tv
# 确保 pinocchio 版本为 3.1.0
conda install pinocchio -c conda-forge
pip install meshcat
pip install casadi
注意：使用 pip 安装的 pinocchio 有可能不是最新版本 3.1.0，本环境需要使用 3.1.0 版本。
1.2 TeleVision 环境配置和 Apple Vision Pro 通信配置
1.2.1 基本环境配置和 Isaac Gym 安装
cd ~
git clone https://github.com/unitreerobotics/avp_teleoperate.git
cd avp_teleoperate
pip install -r requirements.txt
下载 Isaac Gym 安装包并解压，执行 pip install -e .。
1.2.2 证书生成相关配置
由于苹果不允许在非 HTTPS 连接上使用 WebXR，需要创建自签名证书。
