使用 NVIDIA Isaac 构建医疗机器人：从仿真到部署

在仿真环境中采集数据：

# With keyboard teleoperation
python -m simulation.environments.teleoperation_record \
    --enable_cameras \
    --record \
    --dataset_path=/path/to/save/dataset.hdf5 \
    --teleop_device=keyboard

# With SO-ARM101 leader arm
python -m simulation.environments.teleoperation_record \
    --port=<your_leader_arm_port_id> \
    --enable_cameras \
    --record \
    --dataset_path=/path/to/save/dataset.hdf5

仿真遥操作控制

没有 SO-ARM101 硬件的用户可以使用键盘控制仿真机械臂：

• 关节 1 (肩部旋转) ：Q (+) / U (-)
• 关节 2 (肩部抬起) ：W (+) / I (-)
• 关节 3 (肘部弯曲) ：E (+) / O (-)
• 关节 4 (手腕弯曲) ：A (+) / J (-)
• 关节 5 (手腕旋转) ：S (+) / K (-)
• 关节 6 (夹爪开合) ：D (+) / L (-)
• R 键：重置录制环境
• N 键：标记当前演示成功

模型训练流程

完成仿真与真实数据采集后，将其转换并组合训练：

# Convert simulation data to LeRobot format
python -m training.hdf5_to_lerobot \
    --repo_id=surgical_assistance_dataset \
    --hdf5_path=/path/to/your/sim_dataset.hdf5 \
    --task_description="Autonomous surgical instrument handling and preparation"

# Fine-tune GR00T N1.5 on mixed dataset
python -m training.gr00t_n1_5.train \
    --dataset_path /path/to/your/surgical_assistance_dataset \
    --output_dir /path/to/surgical_checkpoints \
    --data_config so100_dualcam

训练后的模型可处理自然语言指令，如'为医生准备手术刀'或'把镊子递给我'，并控制机器人执行相应动作。借助 LeRobot 的最新版本 (0.4.0)，你可以直接在 LeRobot 中原生训练 Gr00t N1.5！

完整的仿真采集 - 训练 - 评估流程

仿真在形成'采集→训练→评估→部署'的循环中最具价值。

从 v0.3 开始，IsaacLab 完整支持这一流程：

在仿真中生成合成数据

• 使用键盘或硬件控制器遥操作机器人
• 记录多摄像头视角、机器人状态与动作
• 构建包含极端情况的多样化数据集，这些情况在现实中难以安全采集

训练和评估策略

• 深度集成 Isaac Lab 的强化学习框架 (如 PPO)
• 可同时运行数千个仿真环境
• 内置轨迹分析与成功率指标
• 支持在多种情境下进行统计验证

将模型转换为 TensorRT

• 自动化优化以适应生产部署需求
• 支持动态输入形状和多摄像头推理
• 提供性能基准测试工具，确保实时运行能力

这极大地缩短了从实验到部署的周期，让 sim2real 成为日常开发的一部分。

快速开始

SO-ARM 入门工作流已开放，开始使用：

1. 克隆代码库：git clone https://github.com/isaac-for-healthcare/i4h-workflows.git
2. 选择工作流：推荐从 SO-ARM 入门工作流开始，也可以探索其他工作流
3. 运行初始化脚本：每个工作流都带有自动化的安装脚本 (如 tools/env_setup_so_arm_starter.sh)

资源链接

• GitHub 项目地址：完整工作流实现
• 官方文档：安装与使用说明
• GR00T 模型页面：预训练模型下载
• 硬件指南：SO-ARM101 安装配置说明
• LeRobot 项目：端到端机器人学习平台
• GitHub 项目地址：https://github.com/isaac-for-healthcare/i4h-workflows
• 官方文档：https://isaac-for-healthcare.github.io/i4h-docs/
• GR00T 模型页面：https://hf.co/nvidia/GR00T-N1.5-3B
• 硬件指南：https://hf.co/docs/lerobot/so101
• LeRobot 项目：https://github.com/huggingface/lerobot