宇树 G1 人形机器人强化学习训练实战指南

关键参数包括：pos 设定仿真初始位置；default_joint_angles 定义自然站立姿态；num_observations 和 num_actions 分别对应观测空间与动作空间的维度。

扩展到 23 自由度模型

高自由度模型的挑战

将 G1 从 12 自由度扩展至 23 自由度时，新增的 11 个自由度主要分布在上肢，包括腰部、肩部和肘部关节。这不仅增加了参数数量，更导致动作空间指数级扩展，训练难度显著提升。

创建 23 自由度配置

为避免破坏现有任务，建议在 legged_gym/envs/g1/ 下新建 g1_config_23.py：

from legged_gym.envs.base.legged_robot_config import LeggedRobotCfg, LeggedRobotCfgPPO

class G1_23RoughCfg(LeggedRobotCfg):
    class init_state(LeggedRobotCfg.init_state):
        pos = [0.0, 0.0, 0.8]
        default_joint_angles = {
            # 腿部关节（保持原有配置）
            'left_hip_yaw_joint': 0., 'left_hip_roll_joint': 0,
            'left_hip_pitch_joint': -0.1, 'left_knee_joint': 0.3,
            'left_ankle_pitch_joint': -0.2, 'left_ankle_roll_joint': 0,
            'right_hip_yaw_joint': 0., 'right_hip_roll_joint': 0,
            'right_hip_pitch_joint': -0.1, 'right_knee_joint': 0.3,
            'right_ankle_pitch_joint': -0.2, 'right_ankle_roll_joint': 0,
            # 新增的上肢关节
            'waist_yaw_joint': 0,  # 注意：torso_joint 改名为 waist_yaw_joint
            'left_shoulder_pitch_joint': 0., 'left_shoulder_roll_joint': 0,
            'left_shoulder_yaw_joint': 0., 'left_elbow_joint': 0.,
            'left_wrist_roll_joint': 0., 'right_shoulder_pitch_joint': 0.,
            'right_shoulder_roll_joint': 0.0, 'right_shoulder_yaw_joint': 0.,
            'right_elbow_joint': 0., 'right_wrist_roll_joint': 0.
        }

观测维度的重新计算

足式机器人的标准观测包含基座角速度、重力投影、运动命令、关节状态等。对于 23 自由度模型，观测维度计算如下： 3(角速度) + 3(重力) + 3(命令) + 23×3(关节状态) + 2(相位) = 75 维。 实际查看 g1_env.py 会发现多了基座线速度（3 维），因此总观测维度为 80 维。

class env(LeggedRobotCfg.env):
    num_observations = 80  # 普通观测维度
    num_privileged_obs = 83  # 特权观测维度（多了基座线速度 3 维）
    num_actions = 23  # 动作维度

控制参数配置

针对新增关节需配置 PD 控制参数，不同部位刚度与阻尼设置有所不同：

class control(LeggedRobotCfg.control):
    control_type = 'P'
    stiffness = {
        'hip_yaw': 100, 'hip_roll': 100, 'hip_pitch': 100,
        'knee': 150, 'ankle': 40, 'waist_yaw': 250,
        'shoulder': 100, 'elbow': 50, 'wrist': 50
    }
    damping = {
        'hip_yaw': 2, 'hip_roll': 2, 'hip_pitch': 2,
        'knee': 4, 'ankle': 2, 'waist_yaw': 6,
        'shoulder': 2, 'elbow': 2, 'wrist': 2
    }
    action_scale = 0.25
    decimation = 4

最后更新资源文件路径并在 __init__.py 中注册新任务即可开始训练：

python legged_gym/scripts/train.py --task=g1_23

奖励函数架构深度解析

核心作用与设计

奖励函数是强化学习的唯一指导信号。良好的设计需平衡稳定性、任务完成度、能耗及动作自然性。宇树框架采用模块化设计，每个组件专注于特定行为特征，便于精细调节。

配置详解

在 G1RoughCfg 类中，通过继承重写配置奖励权重：

class G1RoughCfg(LeggedRobotCfg):
    class rewards(LeggedRobotCfg.rewards):
        soft_dof_pos_limit = 0.9
        base_height_target = 0.78

        class scales(LeggedRobotCfg.rewards.scales):
            tracking_lin_vel = 1.0
            tracking_ang_vel = 0.5
            lin_vel_z = -2.0
            ang_vel_xy = -0.05
            orientation = -1.0
            base_height = -10.0
            dof_acc = -2.5e-7
            dof_vel = -1e-3
            action_rate = -0.01
            feet_air_time = 0.0
            contact = 0.18
            contact_no_vel = -0.2
            feet_swing_height = -20.0
            collision = 0.0
            dof_pos_limits = -5.0
            alive = 0.15
            hip_pos = -1.0

soft_dof_pos_limit 设为 URDF 限制的 90%，保护机械结构；base_height_target 设定理想身体高度以维持稳定。

初始化与执行机制

_prepare_reward_function() 方法负责构建奖励列表，动态查找非零权重的函数。compute_reward() 则在每个仿真步调用所有有效函数计算总奖励。这种机制允许仅通过配置权重即可激活或调整特定行为约束。

关键函数解析

轨迹跟踪使用指数衰减奖励，误差越小奖励越接近 1。姿态与高度控制则通过平方误差进行惩罚。动作平滑性通过加速度和变化率进行约束，避免剧烈抖动。

理解这些底层逻辑后，开发者可根据实际需求调整权重，优化机器人的运动表现。