宇树 G1 人形机器人强化学习训练配置与奖励函数解析

这里的关键参数包括：pos 定义仿真中的初始位置；default_joint_angles 对应自然站立姿态；num_observations 包含身体姿态和关节状态等信息；num_actions 对应可控制的关节数量。

扩展到 23 自由度模型

高自由度模型的挑战

将 G1 从 12 自由度扩展到 23 自由度时，新增的 11 个自由度主要分布在上肢：腰部 3 个，左右肩部各 3 个，左右肘部各 1 个，左右手腕各 1 个。这不仅增加了参数数量，更导致动作空间指数级扩展和训练难度提升。

创建 23 自由度配置

为避免破坏现有 G1 任务，我们在 legged_gym/envs/g1/ 目录下创建新配置文件 g1_config_23.py：

from legged_gym.envs.base.legged_robot_config import LeggedRobotCfg, LeggedRobotCfgPPO

class G1_23RoughCfg(LeggedRobotCfg):
    class init_state(LeggedRobotCfg.init_state):
        pos = [0.0, 0.0, 0.8]
        default_joint_angles = {
            # 腿部关节（保持原有配置）
            'left_hip_yaw_joint': 0., 'left_hip_roll_joint': 0, 'left_hip_pitch_joint': -0.1,
            'left_knee_joint': 0.3, 'left_ankle_pitch_joint': -0.2, 'left_ankle_roll_joint': 0,
            'right_hip_yaw_joint': 0., 'right_hip_roll_joint': 0, 'right_hip_pitch_joint': -0.1,
            'right_knee_joint': 0.3, 'right_ankle_pitch_joint': -0.2, 'right_ankle_roll_joint': 0,
            # 新增的上肢关节
            'waist_yaw_joint': 0,  # 注意：torso_joint 改名为 waist_yaw_joint
            'left_shoulder_pitch_joint': 0., 'left_shoulder_roll_joint': 0, 'left_shoulder_yaw_joint': 0.,
            'left_elbow_joint': 0., 'left_wrist_roll_joint': 0.,
            'right_shoulder_pitch_joint': 0., 'right_shoulder_roll_joint': 0.0, 'right_shoulder_yaw_joint': 0.,
            'right_elbow_joint': 0., 'right_wrist_roll_joint': 0.
        }

观测维度的重新计算

足式机器人标准观测包括基座角速度、重力投影、运动命令、关节位置偏差、关节速度、上一步动作及相位信息。对于 23 自由度 G1，观测维度计算如下：3 + 3 + 3 + 23×3 + 2 = 80 维。查看 /unitree_rl_gym/legged_gym/envs/g1/g1_env.py 发现多了 base_lin_vel（线速度）3 维。

class env(LeggedRobotCfg.env):
    num_observations = 80  # 普通观测维度
    num_privileged_obs = 83  # 特权观测维度（多了基座线速度 3 维）
    num_actions = 23  # 动作维度

控制参数配置

针对新增关节需配置 PD 控制参数。不同类型关节需要不同的刚度和阻尼设置：

class control(LeggedRobotCfg.control):
    control_type = 'P'  # PD 控制
    stiffness = {
        'hip_yaw': 100, 'hip_roll': 100, 'hip_pitch': 100, 'knee': 150, 'ankle': 40,
        'waist_yaw': 250,  # 腰部需要更高刚度
        'shoulder': 100, 'elbow': 50, 'wrist': 50
    }
    damping = {
        'hip_yaw': 2, 'hip_roll': 2, 'hip_pitch': 2, 'knee': 4, 'ankle': 2,
        'waist_yaw': 6,  # 腰部阻尼
        'shoulder': 2, 'elbow': 2, 'wrist': 2
    }
    action_scale = 0.25  # 动作缩放因子
    decimation = 4  # 控制频率分频

资源文件更新

最后更新机器人模型文件路径：

class asset(LeggedRobotCfg.asset):
    file = '{LEGGED_GYM_ROOT_DIR}/resources/robots/g1_description/g1_23dof_rev_1_0.urdf'
    name = "g1"
    foot_name = "ankle_roll"
    penalize_contacts_on = ["hip", "knee"]
    terminate_after_contacts_on = ["pelvis"]
    self_collisions = 0
    flip_visual_attachments = False

完成配置后，在 __init__.py 中注册新任务：

from legged_gym.envs.g1.g1_config_23 import G1_23RoughCfg, G1_23RoughCfgPPO
task_registry.register("g1_23", G1Robot, G1_23RoughCfg(), G1_23RoughCfgPPO())

现在可以使用以下命令开始 23 自由度的训练：

python legged_gym/scripts/train.py --task=g1_23 

奖励函数架构深度解析

奖励函数的核心作用

在强化学习中，奖励函数是算法学习的唯一指导信号。对于足式机器人，良好的奖励函数设计需平衡稳定性、任务完成度、能耗效率及动作自然性。宇树框架采用模块化设计，每个组件专注于特定行为特征，便于精细调节。

G1 机器人奖励函数配置详解

在 G1RoughCfg 类中，奖励函数通过继承和重写配置：

class G1RoughCfg(LeggedRobotCfg):
    class rewards(LeggedRobotCfg.rewards):
        soft_dof_pos_limit = 0.9  # 柔性关节位置限制，保护机械结构
        base_height_target = 0.78  # 期望的机器人身体高度
        class scales(LeggedRobotCfg.rewards.scales):
            tracking_lin_vel = 1.0  # 线速度跟踪奖励权重
            tracking_ang_vel = 0.5  # 角速度跟踪奖励权重
            lin_vel_z = -2.0  # z 方向线速度惩罚（防跳跃）
            ang_vel_xy = -0.05  # xy 轴角速度惩罚（防翻滚）
            orientation = -1.0  # 姿态偏离惩罚
            base_height = -10.0  # 高度偏离惩罚
            dof_acc = -2.5e-7  # 关节加速度惩罚
            dof_vel = -1e-3  # 关节速度惩罚
            action_rate = -0.01  # 动作变化率惩罚
            contact = 0.18  # 足部接触奖励
            feet_swing_height = -20.0  # 足部摆动高度惩罚
            alive = 0.15  # 存活奖励
            hip_pos = -1.0  # 髋部位置惩罚

注意 soft_dof_pos_limit 设置为 URDF 限制的 90%，当关节接近极限位置时开始惩罚，保护机械结构。base_height_target 设定为 0.78 米，用于维持稳定的站立姿态。

奖励函数的初始化机制

在 LeggedRobot 类初始化过程中，_prepare_reward_function() 方法负责构建奖励函数列表。它动态查找非零权重的奖励函数，这意味着只需定义函数并在配置中设置权重，系统就会自动纳入训练过程。

def _prepare_reward_function(self):
    """准备奖励函数列表，查找所有非零权重的奖励函数"""
    for key in list(self.reward_scales.keys()):
        scale = self.reward_scales[key]
        if scale == 0:
            self.reward_scales.pop(key)
        else:
            self.reward_scales[key] *= self.dt  # 转换为每秒奖励
    
    self.reward_functions = []
    self.reward_names = []
    for name, scale in self.reward_scales.items():
        if name == "termination":
            continue
        self.reward_names.append(name)
        function_name = '_reward_' + name
        self.reward_functions.append(getattr(self, function_name))
    
    self.episode_sums = {
        name: torch.zeros(self.num_envs, dtype=torch.float, device=self.device, requires_grad=False)
        for name in self.reward_scales.keys()
    }

核心奖励函数解析

几个关键的奖励函数实现如下： 轨迹跟踪奖励鼓励机器人按指令移动，使用指数衰减机制：误差越小，奖励越接近 1。

def _reward_tracking_lin_vel(self):
    """线速度跟踪奖励 - 鼓励机器人按指令移动"""
    lin_vel_error = torch.sum(torch.square(
        self.commands[:, :2] - self.base_lin_vel[:, :2]), dim=1)
    return torch.exp(-lin_vel_error / self.cfg.rewards.tracking_sigma)

def _reward_tracking_ang_vel(self):
    """角速度跟踪奖励 - 鼓励机器人按指令转向"""
    ang_vel_error = torch.square(self.commands[:, 2] - self.base_ang_vel[:, 2])
    return torch.exp(-ang_vel_error / self.cfg.rewards.tracking_sigma)

稳定性奖励惩罚身体倾斜或高度偏离。

def _reward_orientation(self):
    """姿态稳定性奖励 - 惩罚身体倾斜"""
    return torch.sum(torch.square(self.projected_gravity[:, :2]), dim=1)

def _reward_base_height(self):
    """高度控制奖励 - 保持目标高度"""
    base_height = self.root_states[:, 2]
    return torch.square(base_height - self.cfg.rewards.base_height_target)

动作平滑性奖励避免剧烈动作。

def _reward_action_rate(self):
    """动作变化率惩罚 - 鼓励平滑控制"""
    return torch.sum(torch.square(self.last_actions - self.actions), dim=1)

def _reward_dof_acc(self):
    """关节加速度惩罚 - 避免剧烈动作"""
    return torch.sum(torch.square((self.last_dof_vel - self.dof_vel) / self.dt), dim=1)