DPO，RM，RLHF 傻傻分不清楚
DPO，RM，RLHF 傻傻分不清楚
曹宇 2024年09月10日 17:28 江苏
知乎：曹宇
链接：https://zhuanlan.zhihu.com/p/718913850
编辑：AI椰青 | 深度学习自然语言处理 公众号
纯学术分享，侵删
DPO 的论文引用最近已经破千了，成了斯坦福的Chelsea Finn组的机器人超猛PhD学生R.M. Rafailov的第一被引论文。又由于第二梯队的大模型频繁提及DPO的变种，DPO+RM的用法未来估计机器人界的思潮对于LLM的正向影响不会削弱。
按照我平时使用的体验，我们可以将当前的主要头部三强划分为第一梯队，头部开源三强划分成为第二梯队，再加上我一直比较关心的应用侧玩家Apple:
可以发现几点：
超头部玩家的对齐策略清一色的还是 RL 类方法。
开源头部玩家采用 DPO 的较多。
不论是什么 PO，基本都是采用了和 RM 结合的 xPO + RM 的做法，没有纯原始 DPO 的玩法。
大多数对齐玩家都使用了多阶段对齐的策略。
这个其实就让很多小伙伴很疑惑了，明明 DPO 的宣言是 “Your language model is secretly a reward model”，为啥在实际操作的过程中还是需要一个训练好的 RM 才能 work 呢？DPO 原始论文中的做法，也是直接将偏好对在 SFT 之后的 LLM 上训练就取得了甚至超过 PPO 的做法，为什么在实际的实操中几乎没有头部大模型复现出来这个成果呢？同时更为让人吃惊的是 DPO 作为 off-policy 算法，原理上可以直接使用专家示教做类似 imitation learning 的，但是实际上几乎所有的训练范式都在朝着 on-policy 的方向走呢？
带着这些疑问，我们可以尝试从最近的一些非常确定的技术趋势和研究来看一看，以帮助我们真正理解什么是大语言模型的对齐，从而帮助我们在实操的过程中积累正确的技术判断能力。
Discriminator-Generator Gap，现代偏好学习的基础
我们知道在老的 GAN 时代，训练一个模型的方法是使用 generator 和 discriminator 对抗的方式完成的。generator 尽量产生让 discriminator 无法判别出好坏的样本，而 discriminator D 则尽量尝试识别 generator G 的样本。
这里面有一个细节，就是我们在利用 D-G gap 的时候，D 和 G 的更新不是同步做的。D 的更新在内环，第三步就做了，而 G 的更新在外环第五步才做。为什么要这么做呢？因为如果同时更新 D 和 G，对抗的 loss 会同时反向传播到这两个网络，从梯度上来看 D 和 G 的微小 gap 就弥散在了整个网络里，对抗的效率容易打折扣。
那么传统的 RLHF 是怎么做的呢？最早版本的 online PPO（InstructGPT）之前的早古版本，是通过固定训练时的 discriminator 实现的，generator 做完整个 epoch 的 rollout 之后再样本送人标。后期由于 online 版本的送标成本高，就采用了 offline 的 RM 代替了人类 discriminator。这种做法也是在一定时间段内固定 discriminator 的方式，来留给 generator 足够的时间机会进行偏好学习。
直接同时学习偏好（discriminator）和行为（generator）的方式在原始的 DPO 论文中，被认为是超越 PPO 学习效率和效果的一种好的方式。
DPO 在相同 KL 散度条件下的 Reward 更好，相同 Temperature 下的 win rate 更高。
看起来从效果方面妥妥吊打了 PPO 这种比较复杂的算法，同时由于不需要训练单独的 Reward Model 似乎也是一个比较快见效的业务算法。
深入研究 DPO 和 RL
https://openreview.net/pdf?id=lNEFatlsQb
针对 DPO 在纸面上效果很好，打榜上效果很好，但是在实际业务中仍然需要 RM 辅助的状况，Ziniu 博士比较早期的理论建模工作给出了一些解释：其中最主要的聚焦点在于三个：
Reward Model 建模任务的区别
偏好数据不足导致的可能迁移
纯离线数据推理的 offline performance gap
1. Reward Model 建模任务的区别
Reward Model 作为一个神经网络而言，它的输入是 state 和 action。也就是对应着之前的所有状态（对话历史），action 则是模型最近一轮的输出，它的目标是输出对于 state 和 action 的 reward 估计。
而 Policy network 则是根据 state 输出对应 token 的概率，再加上合适的解码策略之后，变成合适的 action。这两个网络从结构上看起来就不太一样，而这种不一样正是前面讲的 discriminator 和 generator 拥有 gap 的基础。
2. 偏好数据不足导致的迁移问题
Reward Model 本身的泛化性，使得其能够在一定程度上外插一个没有见过的 state 和 action 给出自己的 reward 判断。对于 DPO 而言，要同时学行为和判断就已经不容易了，还要同时学行为和判断泛化就是难上加难了。
3. offline performance gap
在同样 on-policy 的条件下，在线训练的效果往往更好。传统 DPO 采用了大量的 offline 数据在训练早期进行推理，但随着训练的进行，offline 数据的 off-policy 程度会变高，导致生产的数据与正在优化的 policy 之间距离过大的问题，难以取得较好的效果。
一些近期实验上的例子
Yong Lin在Apple实习期间详细研究了DPO的泛化性问题：
这里面主要是对于刚刚第二点进行了实验中的比较和理论阐释。implicit reward model这个概念比较抽象，简单理解就是我们采用DPO的方法同时学偏好和行为的方式。
Apple做这种研究非常合理，因为面对海量用户时，用户的意图非常复杂，同时prompt和response都有可能存在distribution shift的现象。研究的目标不是为了在各种In-distribution的榜单上取得好成绩，所以我们可以看看他的实验结论作为参考。
实验的概念解释：
EXRM：RL方法中单独训练出来的Reward Model。
DPORM：假设BT loss之后的DPO训练可以recover出Reward值（DPO也可以得到reward，很多人忽视了这一点，直接拿policy去评测了）。
实验过程：
在控制变量的条件下，对这两种RM建模方式进行比较，并混合了prompt shift（Reward Model没见过的prompt）和response shift（Reward Model没见过的回答）。实验结果显示，用DPORM的方式在ID（in-distribution）的混合场景中表现较好，但一旦面对OOD（out-of-distribution）场景，RM的精度急剧下降。尤其是对于OOD的response shift，表现最差，难以匹配EXRM的效果。而在控制变量的OOD实验中，EXRM比ID好95.2%。
这验证了第二点的假设：同时学习偏好和行为似乎不如专门学习偏好的专有网络效果好。尤其是在我们期望的RL scaling领域，如果只能通过大量数据堆叠的方式来覆盖偏好，那么通用AI系统的实现将充满挑战。
实际应用中的做法
Shusheng Xu在ICML的研究中也给出了相关的实验，主要讨论了用DPO学习policy的潜在问题。我在此展开该思路。
https://slideslive.com/39022063/is-dpo-superior-to-ppo-for-llm-alignment-a-comprehensive-study?ref=account-138648-presentations
假设我们有一个待优化的policy，他在两个可能的actions合原始概率分布各占一半，假设我们按照偏好给定这个模型进行优化。理想中我们希望拉高降低，其实这两种算法都能达到。但是我们特别想避免的是拉高一个分布外的，因为分布外的这个回答极有可能给我一个巨大的惊喜。
为什么DPO优化中允许这种情况发生呢？
因为从DPO的loss来看，这种优化目标太专注于通过压制来获得chosen和reject的gap。对于分布外的样本其实根本不在这个优化目标的考虑范围内，如果很好那么赚到，如果不好，那也只能认赔。
那PPO就不会有这个问题了嘛？我们假设PPO的Reward Model就是有问题的，他就认为这个分布外的最好。从机制上就没有什么关系，因为假设我们采样到了这个回答，由于这个回答是分布外的，所以作为KL散度约束的分母，会把KL惩罚做的极大，消除所有reward的收益。
所以聪明的你估计已经看到了，针对在RM的不足，最好的方式是在DPO的时候加上RM的弥补泛化性的不足。然后由于offline带来的DPO分布外的训练不足，需要尽量使得DPO的更新和迭代和PPO一样online化。从头部开源玩家的方法来看，迭代式DPO加RM似乎是一个比较奏效的打榜玩法。
但是问题就来了，DPO加了RM，加了on-policy，又加了online，好像再加一个advantage估计和baseline就是纯RL方法了。这个方法比RL还RL，为什么还叫DPO呢。
