大模型微调旨在解决提示词工程成本过高、效果受限及数据隐私问题。主要分为全量微调（FFT）与参数高效微调（PEFT）。PEFT 包括增加式（如 Adapter、Prefix Tuning、Prompt Tuning）、选择式（BitFit）和重新参数化（LoRA、AdaLoRA）三类。此外还有监督微调（SFT）、人类反馈强化学习（RLHF）及 AI 反馈强化学习（RLAIF）等训练方式。选择合适的微调方案可在可控成本下提升模型在特定领域的能力。实际选型需综合考虑资源、性能和部署环境，LoRA 因实现简单且推理无延迟成为当前最流行选择。
大模型已成为 AI 时代的基础设施。作为像水、电一样的基础设施，预训练大模型这样的艰巨任务，只会有少数技术实力强、财力雄厚的公司去做。绝大多数人是大模型的应用者。对这部分人来说，掌握如何用好大模型的技术更加重要。
用好大模型的第一个层次是掌握提示词工程（Prompt Engineering）。
用好大模型的第二个层次是大模型的微调（Fine Tuning），这也是本文的主题。
通常，要对大模型进行微调，有以下一些原因：
说起 LLM，总会涉及到上下文学习、零样本、单样本和少样本推理等话题。
当以上方式无法解决相关问题时，这就需要 LLM 微调。但它与预训练阶段使用大量非结构化文本数据不同，微调是一个监督学习过程。这意味着你使用标记好的示例数据集来更新 LLM 的权重。这些标记好的示例通常是 prompt-response，使得模型能更好地完成特定任务。
大模型的微调分成两条技术路线：
全量微调（FFT, Full Fine Tuning）：对全量的参数进行全量的训练。原理是用特定的数据对大模型进行训练，将 W 变成 W'，W'相比 W，最大的优点就是上述特定数据领域的表现会好很多。
参数高效微调（PEFT, Parameter-Efficient Fine Tuning）：只对部分的参数进行训练。主要想解决的问题是 FFT 存在的成本高和灾难性遗忘问题，是目前比较主流的微调方案。
不同的分类角度侧重点不一样，对同一个大模型的微调不局限于某一个方案，可以多个方案一起。微调的最终目的是在可控成本的前提下，尽可能地提升大模型在特定领域的能力。
参数高效微调方法可大致分为三个类别：增加式方法、选择式方法和重新参数化式方法。
增加式方法通过增加额外的参数或层来扩展现有的预训练模型，且仅训练新增加的参数。目前这是 PEFT 方法中被应用最广泛的类别。
在增加式方法中，大致分为 Adapter 类方法和软提示（Soft Prompts）。2019 年 1 月至 2022 年 3 月期间，Adapter 类的方法 Adapter Tuning，软提示类的方法 Prefix Tuning、P-Tuning、Prompt Tuning、P-Tuning v2 相继出现。
Adapter 的架构是在每一个 Transformer 层中的每个子层之后插入两个串行的 Adapter。在 Adapter 微调期间，新增层是根据下游数据进行训练的，而预训练模型的原参数保持不变。
Adapter 的特点：
实验结果：使用公开的预训练 BERT 作为基础模型。Adapter 微调具有高参数效率，可以生成性能强劲的紧凑模型，与完全微调相比表现相当。Adapter 通过使用原始模型 0.5-5% 大小的参数量来微调，性能与 BERT-LARGE 上具有竞争力的结果相差不到 1%。
早期的提示微调通过修改输入文本来控制语言模型的行为，称为硬提示（Hard Prompts）微调。这些方法很难优化，且受到最大模型输入长度的限制。
软提示（Soft Prompts）将离散的'提示'问题转为连续的'提示'问题，通过反向传播和梯度下降更新参数来学习 Prompts，而不是人工设计 Prompts。有仅对输入层进行训练，也有对所有层进行训练的类型。
Prefix Tuning 的灵感来源于 Prompt Engineering 的实践表明，在不改变大模型的前提下，在 Prompt 上下文中添加适当的条件，可以引导大模型有更加出色的表现。
Prompt Tuning 是在 Embedding 环节往输入序列 X 前面加特定的 Token。而 Prefix Tuning 是在 Transformer 的 Encoder 和 Decoder 的网络中都加了一些特定的前缀。
具体来说，就是将 Y=WX 中的 W，变成 W' = [Wp; W]，Y=W'X。Prefix Tuning 也保证了基座模型本身是没有变的，只是在推理的过程中，按需要在 W 前面拼接一些参数。
特点：
实验结果：对于表格到文本任务，使用 GPT-2MEDIUM 和 GPT-2LARGE 模型。在表格到文本任务上，Prefix Tuning 优于 Fine-Tuning 和 Adapter-Tuning。对于摘要任务，使用 BART-LARGE 模型。在摘要任务上，Prefix Tuning 比全量微调弱。
特点：
实验结果：使用的是 GPT 系列和 BERT 系列的模型。P-Tuning 与全参数效果相当，且在一些任务上优于全参数微调，可以显著提高 GPT 模型在自然语言理解方面的性能，并且 BERT 风格的模型也可以获得较小的增益。
Prompt Tuning 的出发点是基座模型（Foundation Model）的参数不变，为每个特定任务训练一个少量参数的小模型，在具体执行特定任务的时候按需调用。
基本原理是在输入序列 X 之前，增加一些特定长度的特殊 Token，以增大生成期望序列的概率。
具体来说，就是将 X = [x1, x2, …, xm] 变成，X' = [x'1, x'2, …, x'k; x1, x2, …, xm], Y = WX'。
Prompt Tuning 发生在 Embedding 这个环节。如果将大模型比做一个函数：Y=f(X)，那么 Prompt Tuning 就是在保证函数本身不变的前提下，在 X 前面加上了一些特定的内容，而这些内容可以影响 X 生成期望中 Y 的概率。
特点：
实验结果：使用的是预训练的各种 T5 模型。在流行的 SuperGLUE 基准测试中，Prompt Tuning 的任务性能与传统的模型调优相当，且随着模型规模的增加，差距逐渐减小。在零样本领域迁移中，Prompt Tuning 可以改善泛化性能。
特点：
实验结果：使用的是 BERT 系列和 GLM 系列模型。P-Tuning v2 是一种在不同规模和任务中都可与微调相媲美的提示方法。在 NLU 任务中，整体上 P-Tuning v2 与全量微调的性能相差很小。
选择性方法对模型的现有参数进行微调，可以根据层的深度、层类型或者甚至是个别参数进行选择。
2022 年 9 月 5 日，BitFit 出现，这是一种稀疏微调方法，仅修改模型的 Bias（偏置项）或其中的子集。
特点：
实验结果：使用公开可用的预训练 BERTBASE、BERTLARGE 和 RoBERTaBA 模型。BitFit 微调结果不及全量参数微调，但在极少数参数可更新的情况下，远超 Frozen（冻结模型参数）方式。
基于重新参数化的高效微调方法利用低秩表示来最小化可训练参数的数量，其中包括 2021 年 10 月到 2023 年 3 月间出现的 LoRA 和 AdaRoLA 方法。
LoRA 是跟 Prompt Tuning 和 Prefix Tuning 完全不相同的另一条技术路线。
LoRA 背后有一个假设：我们现在看到的这些大语言模型，它们都是被过度参数化的。而过度参数化的大模型背后，都有一个低维的本质模型。大白话说：大模型参数很多，但并不是所有的参数都是发挥同样作用的；大模型中有其中一部分参数，是非常重要的，是影响大模型生成结果的关键参数，这部分关键参数就是上面提到的低维的本质模型。
基本思路：
该方法认为模型权重矩阵在特定微调后具有较低的本征秩，故基于秩分解的概念，将预训练模型的现有权重矩阵分成两个较小的矩阵。
特点：
实验结果：使用的模型是 RoBERTa、DeBERTa、GPT-2、GPT-3 175B。在多个数据集上，LoRA 在性能上能和全量微调相近，且在某些任务上优于全量微调。
特点：
实验结果：使用的模型是 DeBERTaV3-base 和 BART-large 模型。AdaLoRA 的性能通常高于参数量更高的方法。其中，AdaLoRA 在 0.32M 微调参数时，在 CoLA 数据集上达到了 70.04 的 Mcc 分数。
以上几类参数高效微调方法各有千秋。Adapter 方法在预训练模型的层中插入可训练模块的形式简单，但增加推理延时。Soft Prompts 方法避免了人工'硬提示'的局限性，却可能难收敛。
Soft Prompts 方法中，Prefix Tuning 率先提出可用梯度下降法优化的 Tokens，而 P-Tuning、Prompt Tuning、P-Tuning v2 相继作出不同的改变，比如：
BitFit 方法只更新模型内部偏置项参数所以训练参数量很微小，但整体效果比 LoRA、Adapter 等方法弱。LoRA 方法不存在推理延时，但无法动态更新增量矩阵的秩，不过改进版 AdaLoRA 解决了这个问题。
在实际项目中选择合适的微调方案，需要综合考虑资源、性能和部署环境。
总之，微调技术的核心在于平衡成本与效果。随着技术的发展，参数高效微调将成为大多数企业和开发者的标准配置，而全量微调则更多用于构建基础底座模型。开发者应根据自身业务需求，灵活组合 SFT、RLHF 及各类 PEFT 技术，以最大化大模型的价值。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
