基础模型的低秩适应（LoRA）综述：关键技术与应用全解析

$$ h = W_0x + \frac{\alpha}{r}BAx $$

其中 $\alpha/r$ 是一个缩放因子，用于控制低秩更新的幅度。在使用 Adam 优化时，调节缩放因子 $\alpha$ 大致相当于调整学习率，前提是初始化时进行适当的缩放。在实际操作中，$\alpha$ 的值可以根据秩 $r$ 设置，从而消除广泛的超参数调优需求。

LoRA 相比全量微调的优势

LoRA 在应用于大规模基础模型时，相比全量微调提供了几个关键优势：

• 参数效率：LoRA 通过低秩分解引入了最小的一组可训练参数，通常将任务特定的参数数量降低几个数量级。这种方法在资源受限的环境和多任务场景中尤为有利，其中需要对基础模型进行多次适配。
• 增强的训练效率：与更新所有模型参数的传统全量微调不同，LoRA 仅优化低秩适应矩阵。这大大减少了计算成本和内存需求，尤其是在具有数十亿参数的模型中。减少的参数空间通常会导致训练过程中的更快收敛。
• 无延迟推理：LoRA 不会引入额外的推理延迟，因为更新矩阵 $\Delta W$ 可以显式地与原始冻结权重 $W$ 结合使用。这种集成确保了适应后的模型在部署和推理时保持高效。
• 灵活的模块化适应：LoRA 使得创建轻量级的、任务特定的适配器成为可能，这些适配器可以在不修改基础模型架构的情况下进行互换。这种模块化有助于高效的多任务学习和任务切换，同时相比为每个任务维护独立的模型实例，显著减少了存储需求。
• 强大的知识保留能力：通过保留预训练权重，LoRA 有效地缓解了灾难性遗忘问题，这是传统微调中常见的挑战。这种方法在获取任务特定能力的同时，保持了模型的基础知识。
• 多样的部署方式：LoRA 适应的紧凑性有助于高效的部署和系统集成。多个适应器可以方便地组合或在不同任务或领域之间切换，与传统微调方法相比，提供了更大的灵活性。

3 技术基础

在本节中，我们将从四个关键维度探讨 LoRA 的基本技术方面：参数效率提升、秩适应策略、训练过程改进和理论基础。这些组件构成了 LoRA 有效性的技术基础。

3.1 参数效率提升

尽管通过 LoRA 及其投影矩阵 A（project-down）和 B（project-up）实现了参数效率的提升，但该方法仍然需要大量的可训练参数。例如，将 LoRA 应用于 LLaMA-2-70B 模型时，需要更新超过 1600 万个参数，这一数字超过了一些 BERT 架构的总参数数量。当前的研究通过四种主要方法来应对这一挑战：参数分解、剪枝、冻结与共享以及量化。

3.2 秩适应

秩是 LoRA 中的一个关键参数，直接影响模型的适应性和可训练参数的数量。原始的 LoRA 方法在所有层中使用固定的低秩，这对于不同的下游任务和模型架构可能并非最优。为了解决这些局限性，近期的研究提出了多种优化 LoRA 中秩分配的方法，这些方法可以大致分为两个主要方面：秩细化和秩增强。

• 秩细化：根据每一层的敏感度动态调整秩的大小，敏感层使用较高秩，不敏感层使用较低秩。
• 秩增强：通过引入额外的结构或正则化项，增强低秩矩阵的信息表达能力。

3.3 训练过程改进

尽管 LoRA 在参数高效微调方面已经取得了显著成功，但优化其训练动态仍然是最大化适应性能的关键。在本节中，我们将讨论旨在改进训练过程的最新进展，特别是学习率、丢弃策略和缩放因子。

• 学习率调度：针对 LoRA 特有的优化曲线，设计专用的学习率预热和衰减策略。
• Dropout 策略：在低秩矩阵中应用 Dropout 以防止过拟合，特别是在小样本场景下。
• 缩放因子优化：自适应调整 $\alpha$ 值，使其随训练进程变化，而非固定不变。

4 前沿发展

在上述技术基础的基础上，本节探讨了扩展 LoRA 能力的新方向的前沿发展。这些前沿发展利用并结合 LoRA 的基本原理，以实现新的功能、处理更复杂的任务，并解决模型适应中的挑战。

4.1 高级架构

尽管原始的 LoRA 方法显著提高了微调的效率，并且展示了与全量微调相当的性能，但在灵活性、泛化能力和同时处理多个多样化任务方面存在局限性。为了解决这些局限性，研究人员开发了先进的 LoRA 架构，以进一步提高性能、参数效率和泛化能力。例如，AdaLoRA 通过奇异值分解动态分配秩，QLoRA 通过量化进一步压缩内存占用。

4.2 LoRA 在持续学习中的应用

LoRA 的参数高效特性使得在新任务上逐步更新模型成为可能，同时可以有效缓解灾难性遗忘问题。使用 LoRA 进行持续学习（CL）有几个关键优势：（1）与全量微调相比，计算成本降低；（2）自然地将任务特定知识隔离；（3）灵活地组合任务特定的适应。基于 LoRA 的现有持续学习方法大致可以分为三种方法：正则化方法、任务算术方法和集成方法。

4.3 LoRA 在遗忘中的应用

LoRA 使得从基础模型中有针对性地移除特定知识成为可能，而无需进行大规模的重新训练。以下是利用 LoRA 实现遗忘的三种主要方法分类：

• 模块化分解方法：通过将模型的适应部分模块化，实现对特定知识的局部调整或移除，而不影响模型的整体性能。
• 基于优化的方法：通过优化特定的参数或子集来删除或遗忘特定的知识，优化过程通常专注于减少与特定任务相关的影响。
• 渐进式遗忘管道：通过逐步更新模型的知识库，实现在模型训练过程中逐渐删除不再需要的知识，同时保证模型的稳定性和性能。

4.4 LoRA 在联邦学习中的应用

在数据隐私问题日益严重的时代，联邦学习（Federated Learning, FL）提供了一种有前景的方式，可以在保护个人数据隐私的同时，利用集体知识。LoRA 与联邦基础模型（Federated Foundation Models, FFM）的结合，使得基础模型在资源受限的设备上变得更加可访问，尤其是在边缘计算场景下，有望彻底改变物联网（IoT）和移动应用领域。

4.5 LoRA 在长序列建模中的应用

处理长序列的能力对于许多由基础模型处理的任务至关重要。然而，标准的基础模型通常受到最大上下文长度的限制，这是由于自注意力机制相对于序列长度的二次计算复杂度。为了应对这一局限性，已经提出了几种基于 LoRA 的方法，用于扩展基础模型的上下文窗口，例如通过稀疏注意力机制结合 LoRA 适配器。

4.6 LoRA 服务系统

高效地提供多个 LoRA 模型的服务同样至关重要。近期的进展包括改进的 GPU 内存管理，高效的批处理技术，用于缓解冷启动延迟的 CPU 辅助策略，以及针对资源受限的个人设备的适应性方法。

5 应用

LoRA 在微调基础模型方面的有效性和高效性，促使其在多个领域得到广泛应用，包括语言处理、计算机视觉、语音识别、多模态、代码工程、科学发现、推荐系统、图学习、时空预测等。

• 自然语言处理：用于指令微调、情感分析、机器翻译等任务，显著降低了 SOTA 模型的训练门槛。
• 计算机视觉：应用于图像生成、目标检测、语义分割等任务，如在 Stable Diffusion 中通过 LoRA 快速定制风格。
• 语音识别：在语音转文本任务中，利用 LoRA 适配特定口音或领域词汇。
• 科学发现：在蛋白质结构预测、分子生成等科学计算领域，LoRA 帮助科学家快速适配通用模型到特定数据集。
• 代码工程：用于代码补全、代码生成任务的垂直领域适配，提升特定编程语言或框架的理解能力。

6 结论

在本次综述中，我们对 LoRA 进行了系统分析，探讨了其理论基础、技术进展以及在适应基础模型方面的多种应用。LoRA 在多个领域的广泛应用——从自然语言处理和计算机视觉到语音识别和科学计算——突显了其多功能性和有效性。LoRA 能够在显著减少计算和存储需求的同时保持模型性能，这使得它在资源受限的环境和特定领域的适配中尤为宝贵。

尽管取得了这些成就，但仍然存在若干关键挑战。LoRA 有效性的理论框架需要进一步发展，特别是在理解低秩适配与模型能力之间的相互作用方面。此外，关于可扩展性、鲁棒性和在生产环境中安全部署的问题，仍然是当前研究的重要方向。未来的工作应致力于探索更智能的秩分配机制、跨模态的 LoRA 泛化能力以及自动化超参数搜索工具，以推动该技术向更成熟的方向发展。