TeleGrip：基于 VR 的机械臂遥操作系统源码解析

SO100 安装完成后，开始进行本项目的配置，在 git clone 之后直接 pip install -e . 即可。需注意 OpenSSL 生成签名证书，如果未进行过相关配置，是必须要执行的，最好在项目目录执行该命令。

首次运行时需要进行机械臂活动范围的标定，如果之前没有在 LeRobot 进行过，是必要的步骤，标定需要在配置的环境下执行如下命令 telegrip --log-level info --left-port 机械臂的端口号。标定完成之后，打断进行正常的运行，得到网址在本机的浏览器运行连接机械臂，并在 VR 端的浏览器输入网址，即可进行遥操。

特别注意，在 Ubuntu 系统部署的用户在执行时需要提前给定 机械臂端口权限，如：sudo chmod 666 /dev/ttySO100*

二、项目流程与源码解析

在 GitHub 上有简略的运行流程图。

由图可知，输入数据包括 VR 手柄与键盘，前者通过 WebSocket 进行数据传输，后者监听运行服务器的键盘，接着一块送入 Control Loop 中进行解算处理，最后将解算的位姿更新到 pybullet 与实际硬件。其与代码对应关系为如下表：

从代码角度看整体运行流程如下：

整体大致可分为采集、数据格式统一处理、解算并发送三个流程，其中采集采用 浏览器插件 A-Frame，其是一个基于 HTML 的 WebXR 框架，用于构建虚拟现实（VR）、增强现实（AR）和 3D 场景，运行在普通网页浏览器中。它是 Mozilla 开发的开源项目，目标是让 任何人都能通过写 HTML 快速搭建 3D/VR 应用，此处是使用其进行手柄位置与姿态的采集，同时在该部分使用 websocket 将在 VR 端采集到的数据发送服务端；

接着在服务端 vr_ ws_server.py 的进行接收并进行数据的统一处理，注意此处仅包括 VR 端数据，键盘数据因为是本地监听，在监听时就已经做了处理；

处理完成后通过 python 内部通信传输到 control_ loop.py，在 pybullet 中进行 IK 解算，解算完成后将对应的位姿发送到 pybullet 的仿真以及外部实际的硬件中。

各部分详细处理大致如下所示：

[图片]

[图片]

[图片]

三、小结与运行效果

TeleGrip 项目以 浏览器端 VR 控制 → WebSocket 数据传输 → 后端控制循环解算 → 机械臂动作执行 为核心流程，实现了从虚拟空间到物理空间的实时映射。其系统结构层次清晰、模块划分明确、易于扩展，是一个轻量化的 VR 远程操控框架。

通过 TeleGrip，可以在普通 PC + Meta Quest + 入门级 SO100 机械臂的低成本配置下，实现高精度、低延迟的远程动作控制。

前端基于 A-Frame 框架进行位姿采集与可视化，后端以 Python 为主线，实现了命令队列管理、控制循环计算、运动插值与姿态解算，并支持 PyBullet 仿真与实际硬件同步。

该框架不仅可用于 VR 操控实验、具身智能交互研究、双臂协作任务验证，也可作为后续多模态交互系统（如语音控制、视觉识别、策略优化）的基础模块。

[图片]

在大幅度动作时，有些动作对应不上，可能是采用的 IK 解算方法为比较基础的 DLS（阻尼最小二乘法）的关系，也可能是中间数据没有进行插值的原因（简单插值后动作会顺滑一些）。