人形机器人 VR 遥操作
项目背景
本项目基于 avp_teleoperate 框架进行二次开发，旨在实现人形机器人的 VR 远程遥操作。通过调研开源项目（如 human-arm-retarget、宇树 avp_teleoperate 等），选定 avp_teleoperate 作为基础架构，并针对特定机器人型号完成适配与落地。
一、VR 设备选型及环境配置
可选设备包括 Apple Vision Pro、PICO 4 Ultra Enterprise 或 Meta Quest 3。考虑到成本与功能实现，选用 PICO 4 Ultra Enterprise。配置流程参考官方教程。
1. 创建 Conda 环境
conda create -n tv python=3.8
conda activate tv
conda install pinocchio -c conda-forge
pip install meshcat
2. 克隆项目并安装依赖
cd ~
git clone https://github.com/unitreerobotics/avp_teleoperate.git
cd avp_teleoperate
pip install -r requirements.txt
3. 安装 mkcert
# Linux 环境示例
sudo apt-get install build-essential procps curl file git
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
echo 'eval "$(/home/linuxbrew/.linuxbrew/bin/brew shellenv)"' >> $HOME/.bash_profile
eval "$(/home/linuxbrew/.linuxbrew/bin/brew shellenv)"
brew install mkcert
4. 生成证书
# 查看本机 IP
ifconfig | grep inet
# 假设 IP 为 192.168.100.133
mkcert -install && mkcert -cert-file cert.pem -key-file key.pem 192.168.100.133 localhost 127.0.0.1
# 拷贝证书到项目目录
cp cert.pem key.pem ~/avp_teleoperate/teleop/
# 开放防火墙端口
sudo ufw allow 8012
# 在 VR 设备中安装证书
mkcert -CAROOT
二、修改 avp_teleoperate
1. 代码目录结构
avp_teleoperate/
├── act # 模仿学习策略相关文件
├── assets
├── scripts
└── teleop
├── image_server/
├── robot_control/
│ ├── robot_arm_ik.py
│ ├── robot_arm.py
│ └── robot_hand.py
├── teleop_hand_and_arm.py
└── teleop_hand.py