论文阅读：Training language models to follow instructions with human feedback

优质文章学习记录

— 6 min read

Ouyang L, Wu J, Jiang X, et al. Training language models to follow instructions with human feedback[J]. Advances in neural information processing systems, 2022, 35: 27730-27744.

引言

引言首先指出了当前大型语言模型（LMs）存在的一个核心问题：模型规模变大并不意味着它们能更好地遵循用户的意图 。具体而言，大型模型经常生成不真实、有毒或对用户毫无帮助的输出，这是因为语言模型的训练目标（预测网页上的下一个 token）与用户希望的目标（“有用且安全地遵循指令”）是错位的。作者的目标是让模型在“有用性”（Helpful）、“诚实性”（Honest）和“无害性”（Harmless）这三个方面与用户意图对齐。

为了解决上述问题，论文提出使用人类反馈强化学习（RLHF）来微调 GPT-3，使其能遵循广泛的书面指令，该方法分为三个步骤展开，其中监督学习部分使用标注者编写的 prompt 和演示数据微调 GPT-3 ；奖励模型构建部分收集模型输出的排名数据，训练一个奖励模型；强化学习部分使用 PPO 算法，根据奖励模型的反馈进一步微调模型。

在 RLHF 过程中，模型在公共 NLP 数据集上的性能可能会下降。作者发现通过将 PPO 更新与预训练分布的对数似然更新混合（即 PPO-ptx 模型），可以大大减少这种性能衰退。经过RLHF的模型模型不仅符合训练它的标注者的偏好，也能很好地泛化到未参与训练数据的“保留（held-out）”标注者的偏好上，此外能够将“遵循指令”的能力泛化到其微调数据中很少见的任务上的潜力，例如非英语语言和代码相关的任务。

方法与实验细节

从预训练语言模型，通过三个步骤使其与用户意图对齐。其中，步骤一监督微调（SFT）收集由人类标注者针对输入的 prompt 提供期望的输出行为，而后使用这些数据对预训练的 GPT-3 模型进行监督学习微调；步骤二训练奖励模型（RM）收集比较数据。对于同一个 prompt，模型生成多个输出，由人类标注者根据优劣进行排名，利用这些排名数据训练一个奖励模型，该模型的目标是预测人类更偏好哪个输出；步骤三强化学习（RL）使用 PPO算法针对奖励模型优化策略，奖励模型的输出作为标量奖励，指导 SFT 模型进行微调，使其生成的输出能获得更高的奖励。

其中，RM使用6B参数的模型，通过让标注者对 K 个（4到9个）响应进行排名来提高效率，一次性训练所有

\binom{K}{2}

个比较对，RL环境是一个“老虎机”（bandit）环境，给定 prompt 生成响应并获得奖励，为了防止模型过度优化奖励模型而偏离原始分布，在每个 token 上增加了 KL 散度惩罚，此外为了解决在公共 NLP 数据集上的性能退化问题，作者在 PPO 更新中混合了预训练梯度，由此得到的模型是PPO-ptx

本部分需要补充的内容：

1.KL散度

KL 散度（也称为相对熵）是衡量两个概率分布之间差异的一种非对称度量。它量化了当使用分布 Q来近似真实分布P时所损失的信息量。对于离散概率分布P和Q，其公式为：

D_{KL}(P || Q) = \sum_{x} P(x) \log \left( \frac{P(x)}{Q(x)} \right)

，在Instruct GPT中，KL散度的添加是为了为了防止强化学习模型在优化奖励模型时过拟合，具体而言，在强化学习的每一步，模型生成的最终奖励R(x,y)不仅仅是奖励模型给出的分数

r_\theta(x, y)

，还减去了一个 KL 惩罚项：

R(x, y) = r_\theta(x, y) - \beta \log \left( \frac{\pi^{RL}(y|x)}{\pi^{SFT}(y|x)} \right)

，其中带有RL/SFT上标的分别为当前正在训练的强化学习模型的输出概率和原始监督微调模型的输出概率。

注意，这里是RL模型根据提示词生成一个完整的回复序列，而后计算自己生成每个token yt的概率

P_{RL}(y_t | x, y_{<t})

，而后将完全相同的序列输入SFT模型中，计算“如果是我，生成这个token yt的概率是多少”，即

P_{SFT}(y_t | x, y_{<t})

，所以这里不存在长度不一致的问题，因而KL散度可以进行计算。

2.如何在更新中混合预训练梯度

作者发现单纯使用 RLHF（即只优化人类偏好奖励）会导致模型在公共 NLP 数据集（如问答、阅读理解等）上的性能下降，这种现象被称为“对齐税”。因此作者在在进行PPO梯度更新的同时，混合了预训练梯度的更新，训练的目标函数变成了一个组合目标：既要最大化人类偏好奖励（PPO 目标），又要最大化预训练数据分布的对数似然。总的优化目标函数可以表示为：

\text{Objective} = \text{Objective}_{PPO} + \gamma \cdot \mathbb{E}_{x \sim D_{pretrain}} [\log \pi(x)]

，其中

\text{Objective}_{PPO}

是包含KL惩罚的标准的强化学习目标，

\gamma \cdot \mathbb{E}_{x \sim D_{pretrain}} [\log \pi(x)]

这是预训练损失项，

D_{pretrain}

是原始的预训练数据集。【这里说人话就是在训练 PPO 的同时，随机抽取一些原始的预训练文本让模型填空（相当于重复预训练过程），并将这部分的损失纳入PPO的优化指标】

Read more

一文通透OpenVLA——在Prismatic VLM(SigLIP、DinoV2、Llama 2)的架构上：基于“下一个token预测技术”预测离散化动作

一文通透OpenVLA——在Prismatic VLM(SigLIP、DinoV2、Llama 2)的架构上：基于“下一个token预测技术”预测离散化动作

前言 当对机器人动作策略的预测越来越成熟稳定之后(比如ACT、比如扩散策略diffusion policy)，为了让机器人可以拥有更好的泛化能力，比较典型的途径之一便是基于预训练过的大语言模型中的广泛知识，然后加一个policy head(当然，一开始背后的模型比较简单，比如有用LSTM或MLP——RoboFlamingo) 再之后，便出来了越来越多成熟稳定的专门的VLA模型，比如OpenVLA，再比如近期介绍过过的π0——用于通用机器人控制的VLA模型：一套框架控制7种机械臂(基于PaliGemma和流匹配的3B模型) 1. π0的意义在于，首次用同一套策略/算法操作不同机器人/机械臂，这种基于机器人大模型的「预训练-微调」模式，很快会越来越多(犹如此前大模型革命NLP 其次CV等各模态，目前到了robot领域)，算是代表了通用机器人的核心发展方向 2. 且π0 比英伟达的HOVER早一点，当然，同时期的RDT GR2也有这个潜力的，期待这两 后续的更新 一个多月前(本文首发于25年1月)，有朋友曾说，一个月内，π0 会开源来着，当时虽然觉得不太可能，但还是抱着期待，可还

LFM2.5-1.2B-Thinking效果展示：小身材大能量的AI写作

LFM2.5-1.2B-Thinking效果展示：小身材大能量的AI写作 1. 惊艳开场：小模型的大惊喜 当我第一次看到LFM2.5-1.2B-Thinking这个模型时，说实话有点怀疑——只有12亿参数的文本生成模型，能有多强的能力？但实际测试后，我被彻底打脸了。 这个模型就像是一个小巧但功能齐全的瑞士军刀，虽然体积不大，但该有的功能一个不少。它能写文章、能对话、能创作故事，甚至还能帮你写代码注释。最让人惊喜的是，它的响应速度极快，在普通电脑上就能流畅运行，完全不需要昂贵的显卡。 2. 实际效果展示：文字创作的惊喜体验 2.1 创意写作能力 让我给你看看这个模型的实际创作效果。我输入了一个简单的提示："写一段关于秋天的散文，要求有诗意和画面感" 模型生成的文字让我眼前一亮： "秋日的阳光透过稀疏的枝叶，在地上洒下斑驳的光影。微风轻拂，落叶如金色的蝴蝶般翩翩起舞，在空中划出优雅的弧线后悄然落地。空气中弥漫着成熟果实的香甜，混合着泥土的清新气息，这是季节更迭时独有的味道。远处的山峦披上了五彩的衣裳，深红、

1.2秒出片！Wan2.1-I2V让RTX 4060实现专业级视频生成，AIGC创作平民化拐点来临

1.2秒出片！Wan2.1-I2V让RTX 4060实现专业级视频生成，AIGC创作平民化拐点来临 【免费下载链接】Wan2.1-I2V-14B-480P-StepDistill-CfgDistill-Lightx2v 项目地址: https://ai.gitcode.com/hf_mirrors/lightx2v/Wan2.1-I2V-14B-480P-StepDistill-CfgDistill-Lightx2v 在AIGC视频生成领域，一个革命性的突破正在发生！Wan2.1-I2V-14B-480P-StepDistill-CfgDistill-Lightx2v模型仅需4步推理就能生成高质量视频，让普通玩家用RTX 4060显卡也能体验到专业级的视频生成效果。这标志着AIGC创作真正走向平民化的历史性拐点！ 🚀 极速视频生成：1.2秒创造奇迹 传统的视频生成模型往往需要数十步甚至上百步的推理过程，耗时漫长。而Wan2.1-I2V通过创新的步数蒸馏技术，将推理步骤压缩到惊人的4步，在RTX 4060上仅需1.2秒就能完成视频生成！这种突破性的效率提升，让实时视频创作成为

Mac M系列芯片适配：mlc-llm与llama.cpp对比

Mac M系列芯片适配：mlc-llm与llama.cpp对比 在大语言模型（LLM）逐步从云端走向本地终端的今天，如何在消费级设备上高效运行数十亿参数的模型，成为开发者和研究者共同面对的挑战。苹果自推出搭载M系列芯片的Mac以来，其基于ARM架构的统一内存架构（UMA）与强大的GPU性能，为本地化推理提供了前所未有的硬件基础。然而，由于主流深度学习生态长期依赖CUDA，而Mac缺乏NVIDIA GPU支持，使得多数框架难以直接发挥其全部潜力。 在此背景下，mlc-llm 与 llama.cpp 脱颖而出——它们不依赖传统深度学习运行时，而是通过底层优化，在Apple Silicon上实现了令人惊喜的推理效率。两者路径迥异：一个走“编译驱动、GPU加速”的技术路线，另一个则坚持“极简主义、CPU优先”的哲学。究竟谁更适合你的使用场景？本文将深入剖析二者在Mac平台的技术实现、性能表现与适用边界。 技术内核解析：两条不同的优化路径 mlc-llm：用编译器挖掘Metal的极限算力 mlc-llm并非简单的推理引擎，它本质上是一个面向大模型的端到端编译系统。其核心思想是利用TV