整个流程是**'仿真闭环验证→实物迁移落地'**的递进式架构，核心逻辑如下：
- 环境层：用 MuJoCo 构建高保真机器人仿真环境，复现机器人动力学（关节摩擦、连杆质量等），替代真实环境完成低成本、无风险的前期训练；
- 数据层：针对行为克隆（BC）需要'专家示范数据'，针对强化学习（RL）可在线收集'交互数据'，数据是模型学习的核心输入；
- 模型层：BC 是监督学习（模仿专家行为），适合快速落地；RL 是在线试错学习（最大化累计奖励），适合复杂任务优化，两者可结合（如 BC 初始化 RL 模型）；
- 验证层：先在仿真环境内完成定量 + 定性验证，确保模型性能达标，再通过'域适配'缩小仿真与现实的差距；
- 部署层：将验证通过的模型移植到真实机器人，通过硬件驱动、实时推理实现闭环控制，并进行线下调优。
步骤 1：MuJoCo Gym 仿真环境搭建
1. 核心依赖安装
首先配置环境依赖，推荐使用 Gymnasium（Gym 升级版，更好支持 MuJoCo）
2. 环境初始化与核心接口
核心接口包括 reset()（环境重置）、step()（动作执行）、render()（可视化）。
步骤 2：数据集收集
根据任务类型（BC/RL），数据集收集分为'专家数据收集（BC 专用）'和'在线交互数据收集（RL 专用）'两类。
1. 行为克隆（BC）：专家数据收集
BC 的核心是'模仿专家'，因此需要高质量专家示范数据（观测→动作的映射），专家来源有 3 种：
- 手工规则专家：通过手动编写控制逻辑生成最优行为；
- 预训练 RL 专家：用高性能 RL 模型（如 PPO 训练到收敛）作为专家；
- 人类演示专家：通过键鼠 / 手柄控制机器人生成数据（需额外交互接口）。
2. 强化学习（RL）：在线交互数据收集
RL 无需提前准备数据集，而是在训练过程中通过'智能体 - 环境'在线交互实时收集数据，存储在经验回放池（Replay Buffer）中，用于后续模型更新。
步骤 3：模型训练
1. 行为克隆（BC）训练
BC 本质是监督学习任务：以专家数据中的'观测'为输入，'动作'为标签，训练一个拟合两者映射关系的神经网络，无需奖励函数，训练简单、收敛快。
2. 强化学习（RL）训练
以经典的 PPO 算法为例（适合 MuJoCo 机器人连续控制任务），直接使用 stable-baselines3 封装的模型，无需手动构建网络，快速落地。
步骤 4：模型验证（仿真内 + 定量评估）
模型训练完成后，需先在仿真环境内完成全面验证，确保性能达标，再进行实物部署。验证分为'定性可视化'和'定量指标评估'。
定量评估：核心指标计算
针对机器人任务，核心评估指标包括：
| 指标名称 | 含义 | 计算方式 |
|---|---|---|
| 平均累计奖励 | 模型在多轮任务中的平均表现，反映整体性能 | 运行 N 轮任务，计算每轮累计奖励的均值 ± 标准差 |
| 任务成功率 | 完成目标任务的轮次占比（如机械臂是否到达目标位置） | 成功轮次 / 总评估轮次 × 100%（通过 env.info 中的标志判断，如 Fetch 的 is_success） |
| 动作平滑度 | 相邻步骤动作的差异，反映控制稳定性（平滑度越高，机器人损耗越小） | 计算每轮动作序列的 L2 范数均值，值越小越平滑 |
| 轨迹误差 | BC 模型与专家轨迹的偏差，反映模仿精度 | 计算模型观测轨迹与专家观测轨迹的均方误差（MSE） |
