大模型微调是提升特定领域能力的核心手段。本文总结了微调的必要性及主流技术方案，对比了全量微调与参数高效微调的区别。详细阐述了增加式方法（Adapter、Soft Prompts）、选择式方法（BitFit）及重新参数化方法（LoRA、AdaLoRA）的原理与特点，并补充了常用工具与实施建议，为在特定领域提升大模型能力提供了可控成本的实践路径。
大模型会成为 AI 时代的一项基础设施。作为像水、电一样的基础设施，预训练大模型这样的艰巨任务，只会有少数技术实力强、财力雄厚的公司去做。绝大多数人，是水、电的应用者。对这部分人来说，掌握如何用好大模型的技术，更加重要。
用好大模型的第一个层次，是掌握提示词工程 (Prompt Engineering)。
用好大模型的第二个层次，是大模型的微调 (Fine Tuning)，这也是本文的主题。
通常，要对大模型进行微调，有以下一些原因：
说起 LLM，总会涉及到上下文学习、零样本、单样本和少样本推理等话题。
当以上方式无法解决相关问题时，就需要 LLM 微调。它与预训练阶段使用大量非结构化文本数据不同，微调是一个监督学习过程。这意味着你使用标记好的示例数据集来更新 LLM 的权重。这些标记好的示例通常是 prompt-response，使得模型能更好地完成特定任务。
从参数规模的角度，大模型的微调分成两条技术路线：
从训练数据的来源以及训练方法的角度，大模型的微调还有以下几条技术路线：
不同的分类角度侧重点不一样，对同一个大模型的微调，不局限于某一个方案，可以多个方案结合使用。微调的最终目的，是能够在可控成本的前提下，尽可能地提升大模型在特定领域的能力。
参数高效微调方法，可大致分为三个类别：增加式方法、选择式方法和重新参数化式方法。
增加式方法通过增加额外的参数或层来扩展现有的预训练模型，且仅训练新增加的参数。目前，这是 PEFT 方法中被应用最广泛的类别。
在增加式方法中，大致分为 Adapter 类方法和软提示 (Soft Prompts)。
Adapter 的架构是在每一个 Transformer 层中的每个子层之后插入两个串行的 Adapter。在 Adapter 微调期间，新增层是根据下游数据进行训练的，而预训练模型的原参数保持不变。
Adapter 的特点：
实验结果：使用公开的预训练 BERT 作为基础模型。Adapter 微调具有高参数效率，可以生成性能强劲的紧凑模型，与完全微调相比表现相当。Adapter 通过使用原始模型 0.5%-5% 大小的参数量来微调，性能与 BERT-LARGE 上具有竞争力的结果相差不到 1%。
早期的提示微调通过修改输入文本来控制语言模型的行为，称为硬提示 (Hard Prompts) 微调。这些方法很难优化，且受到最大模型输入长度的限制。软提示 (Soft Prompts) 将离散的'提示'问题转为连续的'提示'问题，通过反向传播和梯度下降更新参数来学习 Prompts，而不是人工设计 Prompts。
Prefix Tuning 的灵感来源于 Prompt Engineering 的实践表明，在不改变大模型的前提下，在 Prompt 上下文中添加适当的条件，可以引导大模型有更加出色的表现。
P-Tuning 只在输入层加入可微的 Virtual Token，其会自动插入到文本提示的离散 Token 嵌入中。Virtual Token 不一定作为前缀，其插入位置是可选的。
Prompt Tuning 的基本原理是在输入序列 X 之前，增加一些特定长度的特殊 Token，以增大生成期望序列的概率。
P-Tuning v2 每一层的输入都加入了 Tokens，允许更高的任务容量同时保持参数效率；且添加到更深层的提示对模型的预测有更直接的影响。
选择性方法对模型的现有参数进行微调，可以根据层的深度、层类型或者甚至是个别参数进行选择。
BitFit 出现于 2022 年 9 月，这是一种稀疏微调方法，仅修改模型的 Bias（偏置项）或其中的子集。
基于重新参数化的高效微调方法利用低秩表示来最小化可训练参数的数量，其中包括 LoRA 和 AdaLoRA 方法。
LoRA 背后有一个假设：大语言模型都是被过度参数化的。过度参数化的大模型背后，都有一个低维的本质模型。大白话说：大模型参数很多，但并不是所有的参数都是发挥同样作用的；其中一部分关键参数是影响大模型生成结果的关键，这部分关键参数就是低维的本质模型。
基本思路：
该方法认为模型权重矩阵在特定微调后具有较低的本征秩，故基于秩分解的概念，将预训练模型的现有权重矩阵分成两个较小的矩阵。
AdaLoRA 是该方法基于权重矩阵的重要性而自适应调整不同模块的秩，节省计算量，可理解为 LoRA 的升级版。
以上几类参数高效微调方法，各有千秋。
在实际工程中，选择合适的工具可以大幅提升微调效率。
在进行大模型微调时，建议遵循以下步骤以确保效果：
大模型微调技术正在快速发展，从全量微调到参数高效微调，再到最新的量化微调，技术路线日益丰富。企业在选择微调方案时，需综合考虑成本、性能、延迟和数据安全等因素。掌握这些核心技术，将有助于在 AI 时代构建更具竞争力的智能应用。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
