开源大模型微调技术详解：从 Prompt Tuning 到 RLHF

2.3 P-tuning v2

V2 版本主要是基于 P-tuning 和 prefix-tuning 技术，引入 Deep Prompt Encoding 和 Multi-task Learning 等策略进行优化的。

实验表明，仅精调 0.1% 参数量，在 330M 到 10B 不同参数规模 LM 模型上，均取得和 Fine-tuning 相比肩的性能。

下面是 v1 和 v2 框架对比，我们可以看到右侧的 p-tuning v2 中，将 continuous prompt 加在序列前端，并且每一层都加入可训练的 prompts。在左图 v1 模型中，只将 prompt 插入 input embedding 中，会导致可训练的参数被句子的长度所限制。此外 P-Tuning v2 还包括以下改进：

• 移除了 Repamerization 加速训练方式；
• 采用了多任务学习优化：基于多任务数据集的 Prompt 进行预训练，然后再适配的下游任务。
• 舍弃了词汇 Mapping 的 Verbalizer 的使用，重新利用 [CLS] 和字符标签，跟传统 finetune 一样利用 cls 或者 token 的输出做 NLU，以增强通用性，可以适配到序列标注任务。

总而言之，P-tuning v2 就是将 Prefix-tuning 应用到 NLU 任务上的一种方法。同时由于 P-tuning v2 每层插入了 token，增大模型训练的改变量，所以更加适用于小一点的模型。

3. LoRA (Low-Rank Adaptation)

LoRA 的本质就是对所有权重矩阵套了一层'壳'，这些壳会对原来的预训练权重矩阵进行加减使其更加适合下游任务，即实现微调。他的假设前提是预训练语言模型具有低的'内在维度'，因此认为在模型适配下游任务的过程中，权重更新也应该具有低的'内在秩'。

在对大语言模型进行微调的公式可以简化为下面的公式：

$$W = W_0 + \Delta W$$

其中 $W$ 是微调过后的矩阵权重（是大语言模型中的对应的稠密层，一般这些矩阵都是满秩的），$W_0$ 是预训练的权重，$\Delta W$ 是通过微调而更新的梯度。将上面的 $\Delta W$ 做一些变换，将他变成两个矩阵相乘：

$$W = W_0 + \Delta W = W_0 + BA$$

在其中引入了秩 $r$，$r << min(d, k)$，在训练过程中 lora 会冻结预训练权重 $W_0$，只训练 $A$ 和 $B$，减少了需要训练的参数的量，一般来讲，对于 lora 微调模型来讲 r 设置的越大其微调效果会越好。

LoRA 算法的核心思想是，将原始矩阵分解为两个低秩矩阵 X 和 Y 的乘积形式，即 $A = X \cdot Y$。具体地，LoRA 算法会首先对原始矩阵进行 SVD 分解，得到矩阵 $A = U \Sigma V^T$，其中 $U$ 和 $V$ 分别是 $AA^T$ 和 $A^TA$ 的特征向量矩阵，$\Sigma$ 是奇异值矩阵。然后，LoRA 算法会取 $U$ 的前 $k$ 列和 $V$ 的前 $k$ 行，得到低秩矩阵 $X = U(:,1:k)$ 和 $Y = V(1:k,:)$，其中 $k$ 是预设的参数，表示矩阵 A 的秩。最后，LoRA 算法将近似矩阵 $A_k = X \cdot Y$ 作为原始矩阵 A 的近似，即 $A_k \approx A$。

最终我们得到的一个权重文件会是各层的 BA，在推理时是需要计算一下 $W = W_0 + BA$，就可以得到最终需要的微调之后的模型权重，该方法的好处如下所示：

1. 减少了需要推理的参数量
2. 相较于添加 adapter 层的方式去微调模型，因为他并没有在模型中添加额外的层，只是在原来的权重上进行权重的加减，微调前后模型的推理时间不变
3. 因为他最后生成的权重是各层的 BA，并没有改变原模型的权重参数，所以其结果相当于一个插件，可以即插即用，可以为多个不同的微调任务生成各自的 lora 微调权重值，也方便存储。

一般在使用 lora 去对模型进行微调的时候需要注意的参数就两个：r 和 lora_target_modules。前者决定了 lora 微调时构造的矩阵的秩的大小（这里也可以简单的理解为矩阵 B 和 A 的大小），以及在大语言模型中应用的不同模块。后者模块的具体名称需要依据不同的模型去决定。

3.1 LoRA 代码实现示例

以下是一个使用 Hugging Face peft 库进行 LoRA 微调的简单示例：

from peft import LoraConfig, get_peft_model
from transformers import AutoModelForCausalLM, AutoTokenizer

# 加载预训练模型和分词器
model_name = "your_model_name"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

# 配置 LoRA
lora_config = LoraConfig(
    r=16,  # 秩
    lora_alpha=32,
    target_modules=["q_proj", "v_proj"],  # 目标模块
    lora_dropout=0.1,
    bias="none",
    task_type="CAUSAL_LM"
)

# 应用 LoRA
model = get_peft_model(model, lora_config)
model.print_trainable_parameters()

4. RLHF–人类反馈强化学习

RLHF 的思想就是使用强化学习的方式直接优化带有人类反馈的语言模型。RLHF 使得在一般文本数据语料库上训练的语言模型能和复杂的人类价值观对齐。RLHF 是一项涉及多个模型和不同训练阶段的复杂概念，一般会分为三步，这也是一个生成自己大模型所必需的。

第一步是 supervised-fintuning，即使用上文提到的数据集进行模型微调，预训练一个语言模型 (LM)。

第二步是训练一个奖励模型，它通过对于同一个 prompt 的不同输出进行人工排序，聚合问答数据并训练一个奖励模型 (Reward Model，RM)；

第三步则是用强化学习算法 (RL) 方式微调 LM。

Step 1. 预训练语言模型

首先，我们使用经典的预训练目标训练一个语言模型。对这一步的模型，OpenAI 在其第一个流行的 RLHF 模型中使用了较小版本的 GPT-3; Anthropic 使用了 1000 万 ～ 520 亿参数的 Transformer 模型进行训练；DeepMind 使用了自家的 2800 亿参数模型。

这里可以用额外的文本或者条件对这个 LM 进行微调，例如 OpenAI 对'更可取'(preferable) 的人工生成文本进行了微调，而 Anthropic 按'有用、诚实和无害'的标准在上下文线索上蒸馏了原始的 LM。这里或许使用了昂贵的增强数据，但并不是 RLHF 必须的一步。由于 RLHF 还是一个尚待探索的领域，对于'哪种模型'适合作为 RLHF 的起点并没有明确的答案。

接下来，我们会基于 LM 来生成训练奖励模型 (RM，也叫偏好模型) 的数据，并在这一步引入人类的偏好信息。

Step 2. 训练奖励模型

RM 的训练是 RLHF 区别于旧范式的开端。这一模型接收一系列文本并返回一个标量奖励，数值上对应人的偏好。我们可以用端到端的方式用 LM 建模，或者用模块化的系统建模 (比如对输出进行排名，再将排名转换为奖励)。这一奖励数值将对后续无缝接入现有的 RL 算法至关重要。

关于模型选择方面，RM 可以是另一个经过微调的 LM，也可以是根据偏好数据从头开始训练的 LM。例如 Anthropic 提出了一种特殊的预训练方式，即用偏好模型预训练 (Preference Model Pretraining，PMP) 来替换一般预训练后的微调过程。因为前者被认为对样本数据的利用率更高。但对于哪种 RM 更好尚无定论。

关于训练文本方面，RM 的提示 - 生成对文本是从预定义数据集中采样生成的，并用初始的 LM 给这些提示生成文本。Anthropic 的数据主要是通过 Amazon Mechanical Turk 上的聊天工具生成的，而 OpenAI 使用了用户提交给 GPT API 的 prompt。

关于训练奖励数值方面，这里需要人工对 LM 生成的回答进行排名。起初我们可能会认为应该直接对文本标注分数来训练 RM，但是由于标注者的价值观不同导致这些分数未经过校准并且充满噪音。通过排名可以比较多个模型的输出并构建更好的规范数据集。

对具体的排名方式，一种成功的方式是对不同 LM 在相同提示下的输出进行比较，然后使用系统建立一个完整的排名。这些不同的排名结果将被归一化为用于训练的标量奖励值。

这个过程中一个有趣的产物是目前成功的 RLHF 系统使用了和生成模型具有不同大小的 LM (例如 OpenAI 使用了 175B 的 LM 和 6B 的 RM，Anthropic 使用的 LM 和 RM 从 10B 到 52B 大小不等，DeepMind 使用了 70B 的 Chinchilla 模型分别作为 LM 和 RM)。一种直觉是，偏好模型和生成模型需要具有类似的能力来理解提供给它们的文本。

接下来是最后一步：利用 RM 输出的奖励，用强化学习方式微调优化 LM。

Step 3. 用强化学习微调

长期以来出于工程和算法原因，人们认为用强化学习训练 LM 是不可能的。而目前多个组织找到的可行方案是使用策略梯度强化学习 (Policy Gradient RL) 算法、近端策略优化 (Proximal Policy Optimization，PPO) 微调初始 LM 的部分或全部参数。因为微调整个 10B～100B+ 参数的成本过高 (相关工作参考低秩适应和 DeepMind 的 LM)。PPO 算法已经存在了相对较长的时间，有大量关于其原理的指南，因而成为 RLHF 中的有利选择。

事实证明，RLHF 的许多核心 RL 进步一直在弄清楚如何将熟悉的 RL 算法应用到更新如此大的模型。

让我们首先将微调任务表述为 RL 问题。首先，该策略 (policy) 是一个接受提示并返回一系列文本 (或文本的概率分布) 的 LM。这个策略的行动空间 (action space) 是 LM 的词表对应的所有词元 (一般在 50k 数量级)，观察空间 (observation space) 是可能的输入词元序列，也比较大 (词汇量 ^ 输入标记的数量)。奖励函数是偏好模型和策略转变约束 (Policy shift constraint) 的结合。

最后根据 PPO 算法，我们按当前批次数据的奖励指标进行优化 (来自 PPO 算法 on-policy 的特性)。PPO 算法是一种信赖域优化 (Trust Region Optimization，TRO) 算法，它使用梯度约束确保更新步骤不会破坏学习过程的稳定性。DeepMind 对 Gopher 使用了类似的奖励设置，但是使用 A2C () 算法来优化梯度。

5. DeepSpeed ZeRO----零冗余优化

Deepspeed 是微软的大规模分布式训练工具。专门用于训练超大模型。其具有的 3D 并行同时解决了训练万亿参数模型的两个基本挑战：显存效率和计算效率。因此，DeepSpeed 可以扩展至在显存中放下最巨大的模型，而不会牺牲速度。

然后使用 DeepSpeed+Zero 的结合方式就可以实现全参数的微调。当然，使用 DeepSpeed 进行 full finetuning，对于显存要求较高，且训练较慢。但这个无疑是一个比较好的办法，因为 DeepSpeed ZeRO-2 主要用于训练，因为它的功能对推理没有用。但是当 DeepSpeed 发展到 ZeRO-3 后，也可用于推理，因为它允许在多个 GPU 上加载大型模型，这在单个 GPU 上是不可能的。

在 Python 中，Accelerate 库提供了简单的 API，使我们可以在任何类型的单节点或分布式节点 (单 CPU、单 GPU、多 GPU 和 TPU) 上运行，也可以在有或没有混合精度 (fp16) 的情况下运行。

这里是我用 Accelerator 和 DeepSpeedPlugin 做个示例，这里需要提前知道梯度累积步骤 gradient_accumulation_steps 和 梯度累积计算。

6. 总结与建议

选择合适的微调方法取决于具体的应用场景、资源限制以及任务需求。对于资源有限的场景，LoRA 和 P-tuning v2 是极佳的选择，它们能以极少的参数更新获得接近全量微调的效果。而对于追求极致对齐效果的场景，RLHF 虽然成本高，但能显著提升模型的安全性和有用性。在实际工程中，建议先从小规模数据验证 PEFT 方法的有效性，再逐步扩展到大规模部署。