大型语言模型的 11 种高效微调策略详解

研究结果表明，与 LoRA 相比，使用 DyLoRA 训练出的模型速度可提升 4～7 倍，且性能几乎没有下降。此外，与 LoRA 相比，该模型在更广泛的秩范围内展现出了卓越的性能。

6. AdaLoRA

正如 DyLoRA 优化方法一样，提出 AdaLoRA 的研究者也发现，当前 LoRA 存在的改进方向：

1. 由于权重矩阵在不同 LoRA 块和模型层中的重要性存在差异，因此不能提前制定一个统一规模的秩来约束相关权重信息，需要设计可以支持动态更新的参数矩阵；
2. 需要设计有效的方法来评估当前参数矩阵的重要性，并根据重要性程度，为重要性高的矩阵分配更多参数量，以提升模型效果，对重要性低的矩阵进行裁剪，进一步降低计算量。

根据上述思想，研究者提出了 AdaLoRA 方法，可以根据权重矩阵的重要性得分，在权重矩阵之间自适应地分配参数规模。在实际操作中，AdaLoRA 采用奇异值分解（SVD）的方法来进行参数训练，根据重要性指标剪裁掉不重要的奇异值来提高计算效率，从而进一步提升模型在微调阶段的效果。

7. QLoRA

Tim Dettmers 等研究者在论文'QLoRA: Efficient Finetuning of Quantized LLMs'中提出了一种高效的模型微调方法——QLoRA。

QLoRA 的架构如图 5 所示。

图 5 QLoRA 的架构

QLoRA 的创新内容主要如下：

1. 4bit NormalFloat（NF4）。NF4 是一种新型数据类型，它对正态分布的权重来说是信息理论上的最优选择。
2. 双重量化技术。双重量化技术减少了平均内存的使用，它通过对已量化的常量进行再量化来实现。
3. 分页优化器。分页优化器有助于管理内存峰值，防止梯度检查点时出现内存不足的错误。

实验表明，QLoRA 技术使得研究者能够在单个 48GB GPU 上微调 650 亿个参数规模的模型，同时维持 16bit 精度任务的完整性能。例如，在训练 Guanaco 模型时，仅需在单个 GPU 上微调 24h，即可达到与 ChatGPT 相当的 99.3% 性能水平。通过 QLoRA 微调技术，可以有效降低模型微调时的显存消耗。

8. QA-LoRA

大型语言模型取得了迅猛发展，尽管在许多语言理解任务中表现强大，但由于巨大的计算负担，尤其是在需要将它们部署到边缘设备时，应用受到了限制。具体而言，预训练权重矩阵的每一列只伴随一个缩放和零参数对，但有很多 LoRA 参数。这种不平衡不仅导致了大量的量化误差（对 LLM 的准确性造成损害），而且使得将辅助权重整合到主模型中变得困难。

在论文'QA-LoRA: Quantization-aware Low-rank Adaptation of large language models'中，研究者提出了一种量化感知的低秩适应（QA-LoRA）算法。该方法来源于量化和适应的自由度不平衡的思想。

研究者提出采用分组运算符的方式，旨在增加量化自由度的同时减少适应自由度。

QA-LoRA 的实现简便，仅需几行代码，同时赋予原始的 LoRA 两倍的能力：

1. 在微调过程中，LLM 的权重被量化（如 INT4），以降低时间和内存的使用；
2. 微调后，LLM 和辅助权重能够自然地集成到一个量化模型中，而不损失准确性。

通过在 LLaMA 和 LLaMA2 模型系列的实验中证明，QA-LoRA 在不同的微调数据集和下游场景中验证了其有效性。

如图 6 所示，与之前的适应方法 LoRA 和 QLoRA 相比，QA-LoRA 在微调和推理阶段都具有更高的计算效率。更重要的是，由于不需要进行训练后量化，因此它不会导致准确性损失。在图 6 中展示了 INT4 的量化，但 QA-LoRA 可以推广到 INT3 和 INT2。

图 6 LoRA、QLoRA、QA-LoRA 的架构对比

9. LongLoRA

通常情况下，用较长的上下文长度训练大型语言模型的计算成本较高，需要大量的训练时间和 GPU 资源。

为了在有限的计算成本下扩展预训练大型语言模型的上下文大小，研究者在论文'LongLoRA: Efficient Fine-tuning of Long-Context Large Language Models'中提出了 LongLoRA 的方法，整体架构如图 7 所示。

图 7 LongLoRA 的整体架构

LongLoRA 在两个方面进行了改进：

1. 虽然在推理过程中需要密集的全局注意力，但通过采用稀疏的局部注意力，可以有效地进行模型微调。在 LongLoRA 中，引入的转移短暂的注意力机制能够有效地实现上下文扩展，从而在性能上与使用香草注意力（Vanilla Attention）进行微调的效果相似；
2. 通过重新审视上下文扩展的参数高效微调机制，研究者发现在可训练嵌入和规范化的前提下，用于上下文扩展的 LoRA 表现良好。

LongLoRA 在从 70 亿、130 亿到 700 亿个参数的 LLaMA2 模型的各种任务上都取得了良好的结果。具体而言，LongLoRA 采用 LLaMA2-7B 模型，将上下文长度从 4000 个 Token 扩展到 10 万个 Token，展现了其在增加上下文长度的同时保持了高效计算的能力。这为大型语言模型的进一步优化和应用提供了有益的思路。

10. VeRA

LoRA 是一种常用的大型语言模型微调方法，它在微调大型语言模型时能够减少可训练参数的数量。然而，随着模型规模的进一步扩大或者需要部署大量适应于每个用户或任务的模型时，存储问题仍然是一个挑战。

研究者提出了一种基于向量的随机矩阵适应（Vector-based Random matrix Adaptation，VeRA）的方法，VeRA 的实现方法是通过使用一对低秩矩阵在所有层之间共享，并学习小的缩放向量来实现这一目标。

与 LoRA 相比，VeRA 成功将可训练参数的数量减少了 10 倍，同时保持了相同的性能水平。VeRA 与 LoRA 的架构对比如图 8 所示，LoRA 通过训练低秩矩阵和来更新权重矩阵，中间秩为 r。在 VeRA 中，这些矩阵被冻结，在所有层之间共享，并通过可训练向量和进行适应，从而显著减少可训练参数的数量。在这种情况下，低秩矩阵和向量可以合并到原始权重矩阵中，不引入额外的延迟。这种新颖的结构设计使得 VeRA 在减少存储开销的同时，还能够保持和 LoRA 相媲美的性能，为大型语言模型的优化和应用提供了更加灵活的解决方案。

图 8 VeRA 与 LoRA 的架构对比

实验证明，VeRA 在 GLUE 和 E2E 基准测试中展现了其有效性，并在使用 LLaMA2 7B 模型时仅使用 140 万个参数的指令就取得了一定的效果。这一方法为在大型语言模型微调中降低存储开销提供了一种新的思路，有望在实际应用中取得更为显著的效益。

11. S-LoRA

LoRA 作为一种参数高效的大型语言模型微调方法，通常用于将基础模型适应到多种任务中，从而形成了大量派生自基础模型的 LoRA 模型。由于多个采用 LoRA 形式训练的模型的底座模型都为同一个，因此可以参考批处理模式进行推理。

据此，研究者提出了一种 S-LoRA（Serving thousands of concurrent LoRA adapters）方法，S-LoRA 是一种专为可伸缩地服务多个 LoRA 适配器而设计的方法。

S-LoRA 的设计理念是将所有适配器存储在主内存中，并在 GPU 内存中动态获取当前运行查询所需的适配器。为了高效使用 GPU 内存并减少碎片，S-LoRA 引入了统一分页。统一分页采用统一的内存池来管理具有不同秩的动态适配器权重以及具有不同序列长度的 KV 缓存张量。此外，S-LoRA 还采用了一种新颖的张量并行策略和高度优化的自定义 CUDA 核心，用于异构批处理 LoRA 计算。这些特性使得 S-LoRA 能够在单个 GPU 或跨多个 GPU 上提供数千个 LoRA 适配器，而开销相对较小。

通过实验发现，S-LoRA 的吞吐量提高了 4 倍多，并且提供的适配器数量增加了数个数量级。因此，S-LoRA 在实现对许多任务特定微调模型的可伸缩服务方面取得了显著进展，并为大规模定制微调服务提供了潜在的可能性。

总结与对比

本文从背景、来源、技术路线及性能等方面综述了 11 种在模型参数调优阶段进行的方法。开源社区 Hugging Face 将这 11 种方法归纳为高效参数调优方法（Parameter-Efficient Fine-Tuning，PEFT）。PEFT 方法能够在不微调所有模型参数的情况下，有效地让预训练语言模型适应各种下游应用。

方法分类概览

1. 引入特定参数类：

   • 前缀调优：冻结 LM 参数，优化连续任务特定向量。
   • 提示调优：冻结模型，添加 k 个可调 Token。
   • P-Tuning v2：对每一层应用连续提示，适合小模型。

2. 基于 LoRA 旁路适配类：

   • LoRA：冻结权重，注入低秩矩阵 A 和 B。
   • DyLoRA：动态调整 LoRA 块秩，无需重训。
   • AdaLoRA：根据权重重要性自适应分配参数规模。
   • QLoRA：4bit 量化 + 双重量化 + 分页优化器。
   • QA-LoRA：量化感知低秩适应，减少量化误差。
   • LongLoRA：稀疏局部注意力 + LoRA，扩展上下文。
   • VeRA：共享低秩矩阵，学习缩放向量，减少存储。
   • S-LoRA：统一分页管理，支持数千个适配器并发服务。

核心价值

PEFT 方法只微调了少量额外的模型参数，从而大幅降低了大模型训练和微调的计算与存储成本。通过合理使用 PEFT 方法，不但能提高模型的训练效率，还能在特定任务上达到大型语言模型的效果。这些技术是解决大模型落地过程中资源受限问题的关键路径。