详细解析了冻结语言模型参数进行 Prompt 微调的三种主流技术：Prefix-Tuning、Prompt-Tuning 和 P-Tuning。这些方法属于参数高效微调（PEFT）范畴，通过引入连续向量作为 Prompt，大幅降低了微调参数量，实现了轻量级替代方案。Prefix-Tuning 适用于生成任务，通过 MLP 分解优化稳定性；Prompt-Tuning 专注于 NLU 任务，仅微调 Embedding 层，参数量最小且在大模型上效果显著；P-Tuning 则引入 LSTM+MLP 编码器解决离散性和整体性问题。文章对比了各方法的机制、参数量级及适用场景，并指出了可解释性差、收敛慢及过拟合等局限性，最后提供了实施建议。
在大型语言模型（LLM）的下游任务微调中，全量微调（Full Fine-tuning）虽然效果显著，但计算成本高昂，参数量巨大。为了解决这一问题，参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）应运而生。其中，固定 LM 参数、仅微调 Prompt 相关模块的方法因其轻量级特性，成为重要的替代方案。
与传统的离散型 Token 模板不同，这类方法的核心在于使用连续向量（Continuous Embedding）作为 Prompt。我们并不关心 Prompt 本身是否构成自然语言，而是关注其作为探针能否引导预训练模型在特定任务上展现出所需能力。这种范式具有性价比高、无需人工设计模板、多任务共享模型等优势。
本文将深入解析三种主流的冻结 LM 微调 Prompt 技术：Prefix-Tuning、Prompt-Tuning 和 P-Tuning，并对比它们的机制、优缺点及适用场景。
Prefix-Tuning 是最早提出连续 Prompt 微调的论文之一，源自可控文本生成领域的延伸。在传统的可控生成中，如 CTRL 模型，会在输入文本前加入控制代码（Control Code），例如在好评前加 'Reviews Rating:5.0'，将生成概率优化为基于主题的条件概率。
Prefix-Tuning 进一步将控制代码优化为虚拟 Token 的 Embedding（Prefix）。对于 Decoder-Only 架构（如 GPT），Prefix 仅添加在句首；对于 Encoder-Decoder 架构（如 BART），Prefix 同时添加在编码器和解码器的开头。在下游微调时，LM 的参数被冻结，只有 Prefix 部分的参数进行更新。值得注意的是，这里的 Prefix 参数不仅包括 Embedding 层，还包括虚拟 Token 位置对应的每一层的 Activation。
直接更新多个虚拟 Token 的参数可能导致训练不稳定。为此，作者在 Prefix 层引入了 MLP 结构，将其分解为更小的 Embedding 层和更大的 MLP 层。原始 Embedding 层参数为 n_prefix * emb_dim，调整后变为 n_prefix * n_hidden + n_hidden * emb_dim。训练完成后，推理阶段只需保留 MLP 输出的参数，从而减少显存占用。
MLP 的引入旨在增加多个虚拟 Token 之间的信息共享，因为它们与常规连续文本存在差异，需要作为一个整体考虑。这类似于对 Prefix 位置编码进行了特殊处理，增强了语义的连贯性。
Prefix 部分使用的虚拟 Token 数量直接影响模型微调的参数量级以及处理长文本的能力。默认 Prefix 长度为 10。实验表明，在不同任务上微调后，最优参数通常保持在这一量级。整体上，Prompt 部分的参数量约为原模型的 0.1%。
在 Table2Text 任务上，仅 0.1% 参数量级的 Prompt Tuning 效果优于全量微调。而在 XSum 摘要任务上，Prompt Tuning 的效果略差于全量微调，但仍保持了较高的效率。这表明该方法在特定生成任务上具有显著优势。
Prompt-Tuning 是 Prefix-Tuning 的简化版本，主要面向 NLU（自然语言理解）任务。它进行了更全面的效果对比，并成功在大模型上打平了 LM 微调的效果。
与 Prefix-Tuning 相比，Prompt-Tuning 的主要差异在于：
在 SuperGLUE 任务上，随着模型参数的上升，Prompt-Tuning 快速拉近与全量微调的效果差距。当模型规模达到 110 亿参数（如 T5-1.1）时，已能完全打平下游多任务联合微调的 LM 模型，并远远超过 Few-Shot Prompt Design（GPT-3）的效果。
作者进行了全面的消融实验，核心结论是：只要模型足够大，一切皆有可能。
由于 Prompt-Tuning 使用 Embedding 表征指令，可解释性相对较差。作者通过余弦距离搜索 Prompt Embedding 对应的 Top5 近邻，发现：
P-Tuning 与 Prompt-Tuning 几乎同时出现，思路相似，但在 Prompt 综述中被归类为 LM+Prompt 同时微调的范式。不过，作者实际上也支持固定 LM 只微调 Prompt 的模式。
针对连续 Prompt 的整体性问题，作者认为直接通过虚拟 Token 引入 Prompt 存在两个问题：
为解决这两个问题，P-Tuning 使用双向 LSTM + 2 层 MLP 来对 Prompt 进行表征。LSTM 结构提高了 Prompt 的整体性，ReLU 激活函数的 MLP 提高了离散性。更新 Prompt 即对应更新整个 LSTM+MLP 部分的 Prompt Encoder。
作者分别对 LAMA 知识探测和 SuperGLUE 文本理解进行了评测。
为了更直观地展示这三种方法的异同，下表总结了它们的关键特征：
| 特性 | Prefix-Tuning | Prompt-Tuning | P-Tuning |
|---|---|---|---|
| 微调位置 | Prefix 层 + 所有层 Activation | 仅 Input Embedding 层 | Prompt Encoder (LSTM/MLP) |
| 参数量级 | ~0.1% | <0.01% | ~0.1% - 1% |
| 模型结构修改 | 需修改 Attention 掩码 | 无需修改 | 需添加 Prompt Encoder |
| 适用任务 | 生成任务为主 | NLU 任务为主 | NLU + 知识探测 |
| 可解释性 | 较低 | 低 | 中等 |
尽管冻结 LM 微调 Prompt 的范式具有诸多优点，但仍存在一些局限性：
在实际应用中，建议遵循以下步骤以确保最佳效果：
冻结 LM 参数进行 Prompt 微调代表了大模型应用的一个重要方向。通过 Prefix-Tuning、Prompt-Tuning 和 P-Tuning 等技术，开发者可以在极低的计算成本下实现高效的下游任务适配。随着模型规模的进一步扩大和技术的持续演进，这些方法有望成为工业界微调大模型的主流方案。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
