深入理解多智能体近端策略优化（MAPPO）算法与调参

• DQN (Deep Q-Network)：结合神经网络的 Q-learning。
• Double DQN：解决 DQN 过估计问题。
• Dueling DQN：分离状态价值和动作优势。

优点

• 样本利用率高（数据可多次利用）。
• 更适合数据采样成本高的任务（如真实机器人交互）。

缺点

• 更新的稳定性较差（需要经验回放和目标网络）。
• 训练复杂度较高。

对比总结

形象比喻

on-policy 有点像个调皮的小孩子，被打了/奖励了，当场就长记性的那种。而 off-policy 这种小孩子，被打了/奖励了，它还得回味下，这是一次偶然的惩罚还是这样做就是不好的，他还会去调皮的捣蛋，直到被打怕了（学习到了）。

On-Policy 的小孩

• '被打了/奖励了，当场就长记性' 贴合 on-policy 的特点：
  • on-policy 是即时性学习，完全依赖于当前策略的反馈进行调整。
  • 它专注于当前的策略表现，而不会回头复盘过去的错误或奖励。
  • 优点：即时调整，学习过程直接且明确。
  • 缺点：缺乏对历史的反思和利用，样本效率低。

Off-Policy 的小孩

• '回味一下，这是一场偶然的惩罚还是这样做就是不好的'
  • 描述了 off-policy 的核心机制：利用经验回放。off-policy 会保存大量的历史经验，在反复回顾和分析中找到优化策略的方法。
  • 这种行为类似一个喜欢'钻牛角尖'的小孩，经过无数次试验才明白真正的规律。
• '调皮地捣蛋，直到被打怕了'
  • off-policy 算法在学习时确实会反复尝试甚至冒险探索（如 DQN 的 ϵ-greedy 策略），不断调整对环境的理解。
  • 它的学习过程可能显得缓慢，但通过深入分析历史数据，它最终会学得更全面和稳定。

它们的关键区别：

• 即时性 vs 历史性：on-policy 专注于当前，而 off-policy 反思过去。
• 效率 vs 深度：on-policy 快速适应环境，而 off-policy 更深刻地理解长期规律。

MAPPO 是 On-Policy，如何学习历史经验？

有了上面的基础，MAPPO 是 on-policy。它的缓冲区（buffer）在每次新的 episode 开始时会被清空，而不像 off-policy 算法那样长期保留数据。这主要体现在以下几点：

为什么会清空缓冲区？

On-Policy 的约束 On-policy 算法（如 PPO 和 MAPPO）的策略更新只能依赖最新策略采样的数据，历史数据与当前策略分布不一致，因此被舍弃。这确保了策略更新的稳定性。

如何应对这个问题？

尽管无法直接使用历史经验，仍然可以通过以下方法弥补：

1. 加大采样量（buffer size） 增加单次采样的 episode_length 或 batch_size，让模型在每次采样时接触更多样本。
2. 使用 advantage 标准化 通过标准化 GAE 或 Q 值来减小不同 episode 数据间的方差，从而稳定更新。
3. 调整训练步数 MAPPO 的一个优势是，它通常以 centralized critic 方式加速策略学习。通过适当增加训练步数，可以弥补无法利用历史经验的缺陷。
4. 环境重置机制 对于训练环境，确保多样性，例如引入 domain randomization 或多种初始化状态，间接增加训练数据的广度。

MAPPO 算法的调参建议

MAPPO 的核心参数调节分为以下几类：

超参数相关

• 学习率（learning rate） 适当调低学习率可以提高稳定性，尤其在多智能体环境中噪声较大的情况下。通常建议从 1e−4 或 5e−4 开始测试。
• 折扣因子（gamma） γγ 控制长期回报的权重，推荐从 0.95 或 0.99 开始，根据任务的时间跨度调整。
• GAE λ（lambda for Generalized Advantage Estimation） 通常设置为 0.95 左右，平衡偏差与方差的影响。
• clip range（裁剪范围） PPO 的核心超参数，通常设置为 0.1 到 0.3 之间，越小代表对策略更新的限制越强。

网络结构相关

• 隐藏层大小（hidden size） 可以调试网络的层数和每层的单元数。典型设置为两层，每层 64 到 256 个单元，视环境复杂度而定。
• 共享网络与独立网络 MAPPO 支持共享网络（centralized critic）或独立网络（decentralized critic）。如果任务需要高效协作，建议使用共享网络。

环境相关

• batch size 批量大小对训练效率有很大影响，推荐设置为每次采样 2048 到 4096 个 time steps，或者按环境规模调整。
• episode length 对于 MAPPO，episode_length 确实非常关键，因为它决定了每次采样的数据量。可以根据环境复杂度和任务长度动态调整，通常从 200 到 1000 步之间。

更新频率

• policy update iterations 每次采样后，建议进行 4 到 10 次梯度更新（epochs），以保证策略能够充分利用每批数据。

Python On-Policy 和 Off-Policy 实现

以 Proximal Policy Optimization (PPO) 为例：

"""Initialize policy network πθ with parameters θ Initialize value network Vϕ with parameters ϕ for iteration = 1, 2, ..., N do # Collect trajectories (states, actions, rewards) using current policy πθ trajectories = [] for episode = 1, ..., M do state = environment.reset() episode_trajectory = [] for t = 1, ..., T do action = πθ(state) # Sample action from current policy next_state, reward, done = environment.step(action) episode_trajectory.append((state, action, reward)) if done: break state = next_state trajectories.append(episode_trajectory) # Compute advantages using GAE or Monte Carlo returns advantages, returns = compute_advantages(trajectories, Vϕ) # Update policy πθ using clipped surrogate objective for _ in range(policy_update_epochs): policy_loss = compute_policy_loss(πθ, advantages) θ = θ - α_policy * ∇(policy_loss) # Update value network Vϕ for _ in range(value_update_epochs): value_loss = compute_value_loss(Vϕ, returns) ϕ = ϕ - α_value * ∇(value_loss) 

以 Deep Q-Learning (DQN) 为例：

"""Initialize Q-network Qθ with parameters θ Initialize target network Qθ' with parameters θ' = θ Initialize replay buffer D for iteration = 1, 2, ..., N do state = environment.reset() for t = 1, ..., T do # ε-greedy policy for exploration if random() < ε: action = random_action() else: action = argmax(Qθ(state)) next_state, reward, done = environment.step(action) # Store transition in replay buffer D.append((state, action, reward, next_state, done)) # Sample minibatch from replay buffer minibatch = random_sample(D, batch_size) # Compute target values target_values = [] for (s, a, r, s_, done) in minibatch: if done: target = r else: target = r + γ * max(Qθ'(s')) target_values.append(target) # Update Q-network Qθ loss = compute_loss(Qθ, minibatch, target_values) θ = θ - α * ∇(loss) # Update state if done: break state = next_state # Periodically update target network if iteration % target_update_freq == 0: θ' = θ 

注意事项

on-policy 关键点：

• 数据从环境实时采样，不存储历史数据。
• 更新策略和价值网络时仅使用当前采样的数据。
• 每次策略更新后，之前的数据会被丢弃。

off-policy 关键点：

• 使用 replay buffer 保存历史数据，重复利用经验。
• 策略与目标网络更新分离，数据可以来自不同的策略。
• 数据利用率高，但需要经验回放和目标网络来稳定训练。

总结

MAPPO 是一个高效、稳定且适应性强的多智能体强化学习算法，通过结合 PPO 的稳定性和多智能体环境的需求，为协作与竞争场景提供了强有力的解决方案。