LLM 高效微调方法详解：Adapter、LoRA、Prompt 等六大主流方案对比

• 在 Table2Text 任务上，只有 0.1% 参数量级的效果要优于微调。

(5) 缺点

• 摘要任务上，prompt 的效果要略差于微调。

3. Prompt Tuning (2021)

(1) 论文信息

摘要：在这项工作中，我们探索了'提示微调'（prompt tuning），这是一种简单而有效的机制，用于学习'软提示'来条件化冻结的语言模型以执行特定的下游任务。与 GPT-3 使用的离散文本提示不同，软提示是通过反向传播学习的，并且可以根据任意数量的标记示例进行调整。我们的端到端学习方法在性能上大幅超越了 GPT-3 的少量样本学习。

更值得一提的是，通过使用 T5 模型进行模型大小的消融实验，我们展示了提示微调随着规模的增加变得更加具有竞争力：当模型参数超过数十亿时，我们的方法'缩小了差距'并达到了模型微调（即调整所有模型权重）的强大性能。这一发现尤为重要，因为大型模型的共享和部署成本高昂，而能够重用一个冻结的模型来执行多个下游任务可以减轻这一负担。

(2) 思路

固定预训练 LLM 的参数，为每一个任务额外添加一个或多个 embedding。之后拼接 query 正常输入 LLM，并只训练这些 embedding。

(此处原图展示了 Prompt Embedding 拼接输入的结构)

(3) 优势

• 效果优于 GPT-3 的 few-shot learning。
• 当模型参数量达 100 亿时，接近于全模型微调效果。

4. P-tuning (2021)

V2 版本：2023 更新

(1) 论文信息

摘要：使用自然语言模式对预训练语言模型进行提示已被证明在自然语言理解（NLU）任务中有效。然而，我们的初步研究表明，手动设计的离散提示往往导致性能不稳定——例如，仅改变提示中的一个单词就可能导致性能大幅下降。为此，我们提出了一种新颖的方法 P-Tuning，该方法在离散提示的基础上结合了可训练的连续提示嵌入。实验表明，P-Tuning 不仅通过最小化不同离散提示之间的差距来稳定训练过程，而且在一系列 NLU 任务（包括 LAMA 和 SuperGLUE）上显著提高了性能。P-Tuning 在完全监督和少量样本设置下，对冻结和微调的语言模型均普遍有效。

(2) 思路

固定 LLM 参数，用多层感知机和 LSTM 对 prompt 进行编码，编码后与其他向量进行拼接，正常输入 LLM。 注意，训练之后只保留 prompt 编码之后的向量，无需保留编码器。

(此处原图展示了 P-tuning 的编码结构)

(3) 结构

对于 prompt 模板，使用 MLP+LSTM 进行编码，替代原始的 input embedding。 对于原始的输入 input 和 target，则使用原始的 input embedding。

(4) 使用方式

离散和连续 template token 混合时，显示地插入一下 anchor（离散的 token）有助于 template 的优化。

(5) 优势

• 能缓解离散 prompt 方法，导致的模型输出结果到达局部最优。

(6) 缺点

• 查找的最优提示，可能是次优的。
• 在小参数量模型中表现差（小参数模型如 Bert，330M），上了 10B 的模型效果才开始可以持平。
• 序列标注等对推理和理解要求高的任务，prompt-tuning 效果会变差。

5. P-tuning v2 (2022)

(1) 论文信息

摘要：提示微调（Prompt Tuning），该方法仅对冻结的语言模型中的连续提示进行微调，极大地减少了训练时每个任务的存储和内存使用。然而，在 NLU（自然语言理解）的背景下，先前的工作表明，对于正常大小的预训练模型，提示微调的性能并不理想。我们还发现现有的提示微调方法无法处理复杂的序列标注任务，这表明其缺乏普适性。

我们提出了一个新颖的实验发现：经过适当优化的提示微调可以在广泛的模型规模和 NLU 任务中普遍有效。它在性能上与微调相当，但仅需要调整 0.1%-3% 的参数。我们的方法 P-Tuning v2 是 Deep Prompt Tuning（Li 和 Liang, 2021; Qin 和 Eisner, 2021）的一种实现，针对 NLU 进行了优化和适配。鉴于 P-Tuning v2 的普适性和简单性，我们相信它可以作为微调的替代方案，并为未来的研究提供一个强大的基线。

(2) 思路

• 固定 LLM 参数。
• 类似 Prefix-tuning。
• 在 Deep FT 层：在 seq 前面加 n 个虚拟 token，以此构造一个连续的 token，作为微调参数（结构一样是 transformer）。
• 在多种任务上下进行微调。
• 完全变为生成模型，无需 verbalizer。

(此处原图展示了 P-tuning v2 的深层结构)

(3) 优势

• 在小、大模型上，效果均优于 P-tuning。
• 当参数量达 10B，效果相当于 FT。

6. LoRA (2021)

(1) 论文信息

摘要：自然语言处理的一个重要范式包括在通用领域数据上进行大规模预训练，并适应特定任务或领域。随着我们预训练更大的模型，全面微调（即重新训练所有模型参数）变得不太可行。以 GPT-3 175B 为例，部署独立的微调模型实例，每个实例都有 175B 参数，成本是极其昂贵的。我们提出了低秩适应（Low-Rank Adaptation，简称 LoRA），该方法冻结预训练模型的权重，并在 Transformer 架构的每一层中注入可训练的低秩分解矩阵，从而大大减少了下游任务的可训练参数数量。与使用 Adam 对 GPT-3 175B 进行微调相比，LoRA 可以将可训练参数数量减少 10,000 倍，GPU 内存需求减少 3 倍。尽管 LoRA 的可训练参数较少，训练吞吐量更高，并且与适配器不同，没有额外的推理延迟，但它在 RoBERTa、DeBERTa、GPT-2 和 GPT-3 上的模型质量上仍然与微调相当或更好。我们还对语言模型适应中的秩不足问题进行了实证调查，这揭示了 LoRA 的有效性。

(2) 思路

固定 LLM 参数，在每一个 self-attention 层中，加入一个 low-rank 的矩阵，即 $B \times A$。在微调时，只更新 $B \times A$ 的参数。

(此处原图展示了 LoRA 在 Attention 层的并行结构)

(3) 结构

在每一层 self-attention 中，添加新的参数 $\Delta W$。 $$ h = W_0x + \Delta W x = W_0x + BAx $$ 其中，预训练模型的原始参数为 $W_0 \in R^{d \times k}$。 LoRA 的新增参数为 $B \in R^{d \times r}$，$A \in R^{r \times k}$。 B 初始化为一个全 0 矩阵，A 是一个高斯随机初始化的矩阵。B 初始化为全 0 矩阵的目的是，在开始训练时，让 $B \times A$ 等于 0 矩阵，即参数从 0 开始。 其中 LoRA 的中间维度 $r$，远小于原始模型维度，即 $r \ll \min(d,k)$。

(4) 学习目标

原始的 LLM，一般也是 CLM (Causal Language Model/Conditional Language Model)，学习目标为预测下一个 token。 加入 LoRA 后，学习目标保持一致，但在计算过程中加入了低秩矩阵的增量。

(5) 配置

• 在多个部位 (Q/K/V/Output) 同时添加 $\Delta W$，会比只在单一部分上添加权重 $\Delta W$，效果要好。
• 在 wikiSQL/MultiNLI 数据集上测试得出结论：小的 $\gamma$ 值，能达到较好的效果（一般为 4-8）。

(6) 优势

• 用于低资源的场景。也就是硬件设备资源有限的情况下。
• 更新参数量少。对于 175B 的 GPT 模型，使用该方法只需要额外更新 0.01% 的参数量。
• 是全参数微调（FT）的一种替代方案。

(7) 缺点

• 全参数微调（FT）效果要比 LoRA 稍微要好。

总结与选型建议

上述六种方法各有侧重，实际应用中需根据具体场景进行选择：

1. 资源受限场景：若显存极度紧张，LoRA 和 Adapter 是首选，因为它们引入了极少的可训练参数且推理无延迟。
2. 生成任务：Prefix Tuning 和 P-tuning v2 在文本生成和摘要任务上表现优异，适合需要长上下文生成的场景。
3. 理解任务：P-tuning v2 在 NLU 任务上表现稳定，尤其是配合较大的模型规模时。
4. 快速迭代：Prompt Tuning 实现最简单，适合快速验证想法，但在小模型上效果有限。
5. 性能优先：若资源允许，Full-Tuning 仍是上限最高的方案，但 LoRA 已能逼近其 99% 以上的性能。

在实际工程中，LoRA 因其生态支持好（如 HuggingFace PEFT）、部署方便且效果显著，目前已成为工业界微调大模型的主流选择。