大语言模型四种主流微调技术解析

而且，秩 $r \ll \min(d, k)$。

此时，修正后的正向传播计算公式就变成：

$$ h = W_0 x + \Delta W x = W_0 x + B A x $$

在模型微调时，$W_0$ 被冻结，不接受梯度更新，只微调参数 $A$ 和 $B$。与所有参数参与模型微调相比，此时该步骤模型微调的参数量由 $d \times k$ 变成 $d \times r + r \times k$，而 $r \ll \min(d, k)$，因此微调参数量大量减少了。

对 Transformer 的每一层结构都采用 LoRA 微调的方式，最终可以使得模型微调参数量大大减少。当部署到生产环境中时，只需要计算和存储 $W = W_0 + BA$，并像往常一样执行推理。与其它方法相比，没有额外的延迟，因为不需要附加更多的层。

在 Transformer 体系结构中，自注意力机制模块中有四个权重矩阵 ($W_q, W_k, W_v, W_o$)，MLP 模块中有两个权重矩阵。LoRA 在下游任务微调时，只调整自注意力机制模块的权重，并冻结 MLP 模块。所以对于大型 Transformer，使用 LoRA 可减少高达 2/3 的显存（VRAM）使用量。比如在 GPT-3 175B 上，使用 LoRA 可以将训练期间的 VRAM 消耗从 1.2TB 减少到 350GB。

2.3 主要优势

1. 参数共享：预训练模型参数可以被共享，用于为不同的任务构建许多小的 LoRA 模块。冻结共享模型，并通过替换矩阵 A 和 B 可以有效地切换任务，从而显著降低存储需求和多个任务切换的成本。
2. 硬件门槛降低：当使用自适应优化器时，由于不需要计算梯度以及保存太多模型参数，LoRA 使得微调效果更好，并将微调的硬件门槛降低了 3 倍。
3. 零推理延迟：低秩分解采用线性设计的方式使得在部署时能够将可训练的参数矩阵与冻结的参数矩阵合并，与完全微调的方法相比，不引入推理延迟。
4. 兼容性：LoRA 与其它多种微调方法不冲突，可以与其它微调方法相结合，比如下节实训将要介绍的前缀调优方法等。

3. P-tuning v2 微调方法

3.1 相关技术背景

传统的微调方法需要微调整个预训练语言模型，对于大语言模型的微调需要大量的资源和时间，急需更加高效的微调方法。理解 P-tuning v2 微调方法，首先需要了解 prefix-tuning 微调方法和 P-tuning v1 微调方法。

3.1.1 Prefix-tuning 微调方法

Prefix-tuning 微调方法在模型中加入 prefix，即连续的特定任务向量，微调时只优化这一小段参数。对于条件生成任务，输入是文本 $x$，输出是序列 $y$。在自回归语言模型前添加 prefix 后，$z=[PREFIX;x;y]$ 或者 $z=[PREFIX;x;PREFIX;y]$。Prefix-tuning 通过初始化可训练矩阵 $P_\theta$ 来存储 prefix 参数。训练对象与 Fine-tuning 相同，但语言模型的参数 $\phi$ 固定，仅 prefix 参数 $\theta$ 是可训练的参数。

3.1.2 P-tuning v1 微调方法

P-tuning v1 微调方法是将 Prompt 加入到微调过程中，只对 Prompt 部分的参数进行训练，而语言模型的参数固定不变。P-tuning v1 设计一个自动的生成连续 prompt 的方法来提升模型的微调效果。在面对下游任务微调时，通过优化 $h$ 的参数来进行模型微调。

3.1.3 存在不足

P-tuning v1 微调方法缺少普遍性。实验表明，当模型规模超过 100 亿个参数时，P-tuning v1 可以与全参数微调方法相媲美，但对于那些较小的模型，P-tuning v1 方法和全参数微调方法的表现有很大差异，效果很差。同时，P-tuning v1 缺少跨任务的通用性，在序列标注任务中的有效性没有得到验证。此外，当模型层数很深时，微调时模型的稳定性难以保证。

3.2 P-tuning v2 的原理

P-tuning v2 微调方法是 P-tuning v1 微调方法的改进版，同时借鉴了 prefix-tuning 微调的方法。与 P-tuning v1 微调方法相比，P-tuning v2 微调方法采用了 prefix-tuning 的做法，在输入前面的每一层都加入可微调的参数。在 prefix 部分，每一层的 transformer 的 embedding 输入都需要被微调，而 P-tuning v1 只在第一层进行微调。同时，对于 prefix 部分，每一层 transformer 的输入不是从上一层输出，而是随机初始化的 embedding 作为输入。

此外，P-Tuning v2 还包括以下改进：

• 移除 Reparamerization 加速训练方式；
• 采用多任务学习优化：基于多任务数据集的 Prompt 进行预训练，然后再适配的下游任务；
• 舍弃词汇 Mapping 的 Verbalizer 的使用，重新利用 [CLS] 和字符标签，跟传统微调方法一样利用 cls 或者 token 的输出做自然语言理解，以增强通用性，可以适配到序列标注任务。

3.3 优点

P-tuning v2 微调方法解决了 P-tuning v1 方法的缺陷，是一种参数高效的大语言模型微调方法。

1. 性能媲美全参数微调：P-tuning v2 微调方法仅精调 0.1% 参数量（固定 LM 参数），在各个参数规模语言模型上，均取得和 Fine-tuning 相比肩的性能，解决了 P-tuning v1 在参数量不够多的模型中微调效果很差的问题。
2. 扩展性强：将 Prompt tuning 技术首次拓展至序列标注等复杂的 NLU 任务上，而 P-tuning v1 在此任务上无法运作。

4. Freeze 监督微调方法

4.1 概念

Freeze 方法，即参数冻结，对原始模型部分参数进行冻结操作，仅训练部分参数，以达到在单卡或不进行 TP 或 PP 操作，就可以对大模型进行训练。在语言模型微调中，Freeze 微调方法仅微调 Transformer 后几层的全连接层参数，而冻结其它所有参数。

4.2 原理

Freeze 微调方法为什么只微调 Transformer 后几层的全连接层参数呢？下面对其原因进行展开讲述。

Transformer 模型主要由自注意力层和全连接层（FF 层）构成。对于 Transformer 的每一层结构，自注意力层的参数量为 $4 \cdot d^2$，即 $W_Q, W_K, W_V, W_O \in \mathbb{R}^{d \times d}$；FF 层的参数量为 $8 \cdot d^2$，即 $W_1 \in \mathbb{R}^{d \times 4d}, W_2 \in \mathbb{R}^{d \times 4d}$。因此 FF 层占据了模型的 $2/3$ 的参数，具有重要的研究价值。

Transformer 的 FF 层可以视为一个 key-value memory，其中每一层的 key 用于捕获输入序列的特征，value 可以基于 key 捕获的特征，给出下一个 token 的词表分布。Transformer 每一层的 FF 层是由多个 key-value 组合而成，然后结合残差连接对每层结果细化，最终产生模型的预测结果。

此外，实验表明，Transformer 的浅层倾向于提取出浅层特征，深层倾向于提取语义特征。层数越深提取的语义特征所占的比例越重。对于各类不同的 NLP 任务，浅层特征往往是具有'共性'，而主要区别在于各自深层次的语义特征。因此，通过仅微调 Transformer 后几层的全连接层参数，在保证参数高效微调的前提下，可以最大程度的发挥大语言模型的微调作用。

4.3 优势

• 大量减少了大语言模型的微调参数，是一种参数高效的微调方法；
• 由于只需微调高层特征，加快了模型的收敛，节约了微调的时间；
• 最大程度地保留了大语言模型预训练所学习到的语言的'共性'，可解释性较强。

5. 四种微调技术对比与选型指南

在实际应用中，选择合适的微调策略至关重要。以下是四种技术的详细对比：

5.1 选型建议

1. 资源充足且追求最佳效果：如果拥有足够的 GPU 资源且数据量较大，全量 SFT 仍然是基准线，但在大模型时代已逐渐被 PEFT 替代。
2. 显存受限或需频繁切换任务：LoRA 是目前最流行的选择，它允许用户在不增加推理成本的情况下，为不同任务加载不同的适配器（Adapter）。
3. 序列标注与自然语言理解：P-tuning v2 在处理复杂的 NLU 任务（如命名实体识别）时表现优于 P-tuning v1，且参数量极少。
4. 快速原型验证：Freeze 方法适合快速验证某个领域知识是否有效，因为它保留了大部分预训练能力，仅调整高层特征。

6. 总结

大语言模型的微调技术正在不断演进。从传统的 SFT 到参数高效微调（PEFT）如 LoRA、P-tuning v2 和 Freeze，开发者可以根据具体的业务需求、数据规模和硬件资源做出最优选择。掌握这些技术的核心原理与适用场景，是构建高质量垂直领域大模型应用的关键基础。