基于 Google DeepMind 的实证研究，探讨了在对齐 AI 时在线方法为何总是优于离线方法。文章对比了 RLHF 与 DPO 等离线算法的差异，指出在同等 KL 散度预算下，在线算法性能更佳。研究通过验证数据覆盖、数据集质量、分类能力、损失函数及模型扩展等假设，发现单纯扩展模型规模或改进分类器无法弥合差距。核心原因在于在线采样能通过动态调整分布提升生成质量，而离线方法受限于静态数据集的次优性。结论表明策略采样的动态特性对模型对齐至关重要，未来需探索混合方法以平衡成本与效果。
在人工智能对齐（AI Alignment）领域，在线方法似乎总是优于离线方法。这一现象背后的原因是什么？近日，Google DeepMind 发表了一篇论文，通过基于假设验证的实证研究给出了详细解答。
根据人类反馈的强化学习（Reinforcement Learning from Human Feedback, RLHF）随着大型语言模型（LLM）的发展，已成为 AI 对齐的常用框架。然而，近期直接偏好优化（Direct Preference Optimization, DPO）等离线方法异军突起。这类方法无需主动式的在线交互，仅使用离线数据集即可直接对齐 LLM。
离线方法的效率很高，且已得到实证研究的证明。但这引出了一个关键问题：AI 对齐是否必需在线强化学习？
从实证角度看，相比于常用的在线 RLHF（由偏好建模和从模型采样组成），离线算法实现起来更简单，成本也更低。因此，收集有关离线算法充分性的证据可以让 AI 对齐变得更加简单。另一方面，如果能明晰常用在线 RLHF 的优势，也能让我们理解在线交互的基本作用，洞见离线对齐方法的某些关键挑战。
要公平地比较在线和离线算法并非易事，因为它们存在许多实现和算法方面的差异。例如，在线算法所需的计算量往往大于离线算法，因为它需要采样和训练另一个模型。
为了比较公平，需要在衡量性能时对不同算法所耗费的预算进行一定的校准。在 DeepMind 的这项研究中，研究团队并未将计算量作为一个优先考虑因素，而是采用了 Gao et al. (2023) 的论文《Scaling laws for reward model overoptimization》中的设置：使用 RLHF 策略和参考 SFT（Supervised Fine-Tuning）策略之间的 KL 散度作为预算的衡量指标。
在不同的算法和超参数设置中，KL 散度是以一种统一的方式衡量 RLHF 策略与 SFT 策略的偏离程度，从而能以一种经过校准的方式对算法进行比较。这意味着我们可以在相同的'偏离预算'下，观察哪种算法能获得更好的性能。
首先，该团队比较了在线和离线算法的过度优化（over-optimization）行为——该行为可通过将古德哈特定律外推至 AI 对齐领域而预测得到。
简单总结起来，古德哈特定律（Goodhart's law）可以表述成：一项指标一旦变成了目标，它将不再是个好指标。
在 AI 对齐的语境下，这意味着如果模型过度优化奖励函数（即评价指标），它可能会找到奖励函数的漏洞，导致生成的内容虽然得分高但质量下降或出现有害行为。
该团队采用了与 Gao et al. (2023) 类似的设置，基于一组开源数据集进行了实验。结果表明：在同等的优化预算（相对于 SFT 策略的 KL 散度）下，在线算法的性能表现通常优于离线算法。
图中的每个数据点代表了在训练过程中某个特定检查点下，针对特定一组超参数的策略评估结果。对于在线算法，超参数并未被大量调整，而是始终使用一组固定的超参数；对于离线算法，则是将不同超参数的结果池化后得出。
可以观察到如下结果：
总之，在线算法完全胜过离线算法，这也奠定了后续研究的基础。
为了更好地理解在线和离线算法性能差异的根源，该团队通过假设验证的形式进行了研究。他们提出了以下五个核心假设：
为了验证上述假设，该团队进行了大量对照实验。所有实验都使用 T5X 模型，并搭配了 T5X 数据和计算框架。为了较好地覆盖 RLHF 问题，他们研究了四种任务：OpenAI 摘要、Anthropic 辅助、聊天竞技场、Anthropic 无害性。
该团队提出的一些假设涉及到离线数据集的性质。其中包括假设离线数据集的覆盖情况比在线生成的数据集差；假设离线算法对离线数据集更敏感，而离线数据集中响应的绝对质量要差一些。
尽管这些假设听上去似乎是对的，但实验结果表明它们无法可信地解释在线和离线算法的性能差距。他们通过消融研究发现，提升离线优化的一种有效方法是生成分布上接近起始 RLHF 策略（这里就刚好是 SFT 策略）的数据，这本质上就模仿了在线算法的起始阶段。
该团队发现判别能力和生成能力之间存在一种有趣的相互作用：尽管离线策略的分类能力胜过在线策略，但离线策略生成的响应却更差。
不管是类间分类还是类内分类实验，分类性能和生成性能之间的关联似乎都不大。尽管离线和在线采样都是针对一个判别目标优化的，但离线采样是提升在一个静态数据集上的分类准确度，而在线采样则是通过不断改变采样分布来提升生成质量。实验表明，离线策略的生成性能提升不如在线策略的直接。
为了确保所得结果更普适，他们还研究了用于 RLHF 的对比式和非对比式损失函数。在线与离线性能之间的差距似乎总体上持续存在，尽管这种差异的根本原因可能与算法有关。
他们也研究了性能差距随策略网络规模扩展的变化情况。性能差距一直存在这一事实说明：只是扩展模型规模可能无法解决采样问题。这表明采样分布的动态调整对于对齐至关重要，单纯增加参数量无法弥补离线数据的静态局限性。
尽管实验结果暗示了在策略采样对模型对齐的根本重要性，但这些结果也许有助于揭示离线对齐算法的实验内部工作原理，并揭示性能差异的根源。总而言之，这些发现为 RLHF 实践者提供了有趣的见解和挑战，并为更有效的 AI 对齐实践铺平了道路。
根据现有的强化学习研究成果，在线比离线更好似乎是显而易见的结论。在线和离线强化学习算法之间的性能差距也已经被多项研究发现，所以这项研究给出了什么不一样的结论呢？
最重要的是，在线 RLHF 算法依赖于一个学习后的奖励模型，该奖励模型是使用与离线 RLHF 算法一样的成对偏好数据集训练得到的。这与常规强化学习设置存在根本性差异——常规强化学习假设能以在线方式获取基本真值奖励，在这种情况下，在线强化学习的优势明显。假设 RLHF 受到奖励信号的瓶颈限制，我们就不清楚在线与离线的差距是否还会这样显著。
从更技术性的角度来看，许多 RLHF 算法采用了上下文赌博机的设计形式，并针对参考策略应用了正则化。这样的算法细节让 RLHF 偏离了常规的强化学习设置，这可能会影响离策略学习问题的严重程度。
随着大模型能力的不断提升，如何平衡在线交互的成本与离线方法的便捷性将是未来的重要研究方向。虽然在线方法目前表现更优，但其高昂的计算成本和延迟限制了其在大规模场景中的应用。未来的研究可能需要探索混合方法，结合离线的高效性和在线的适应性，以在保证安全对齐的同时降低资源消耗。
此外，理解奖励模型的瓶颈也是关键。如果奖励信号本身存在偏差或噪声，无论在线还是离线方法都可能面临挑战。因此，构建更鲁棒的奖励模型以及开发能够自我修正的对齐算法，将是提升 AI 系统可靠性的核心路径。
通过对在线与离线方法的深入剖析，我们不仅明确了当前技术的边界，也为下一代对齐算法的设计提供了理论依据。在实际应用中，开发者应根据具体的任务需求、资源约束和安全标准，谨慎选择合适的方法论。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online
