大语言模型 LoRA 技术综述
引言
低秩适应（Low-Rank Adaptation，LoRA）通过可插拔的低秩矩阵更新密集神经网络层，是当前参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）范式中表现最佳的方法之一。它在跨任务泛化和隐私保护方面具有显著优势，因此受到了广泛关注。
预训练语言模型的参数规模迅速增加，从早期的 BERT 到如今的千亿级模型如 PaLM，极大地提升了泛化能力。然而，全参数微调（Full Fine-Tuning）计算开销巨大。例如，对 LLaMA2-7B 模型进行全量微调需要约 60GB 显存，超出了普通消费级 GPU 的容量。为了降低成本，PEFT 方法应运而生，主要分为额外参数方法和内部参数方法。LoRA 属于内部参数方法，冻结大部分原始参数，仅微调一小部分，在无法修改模型架构的情况下是理想选择。
低秩适应（LoRA）原理
低维固有维度假说提出，过度参数化模型存在于低固有维度上。LoRA 基于此假说，用低秩矩阵更新模型中的密集层，同时实现参数和计算效率。
核心机制
在 Transformer 架构中，密集层通常包含注意力模块的投影矩阵和前馈神经（FFN）模块。LoRA 假设权重矩阵的更新 $\\Delta W$ 可以分解为两个低秩矩阵 $B$ 和 $A$ 的乘积，即 $\Delta W = BA$，其中 $B \in \mathbb{R}^{d \times r}$，$A \in \mathbb{R}^{r \times k}$，且秩 $r \ll \min(d, k)$。
训练时，原始权重 $W_0$ 被冻结，前向传播公式变为： $$h = W_0x + \Delta W x = W_0x + BAx$$
这种设计使得 LoRA 插件独立于主模型，训练后可分离存储并在其他相关下游任务中重用。此外，多个 LoRA 插件可以组合以实现跨任务泛化。
代码示例
以下是一个简化的 PyTorch 风格 LoRA 实现概念：
import torch
import torch.nn as nn
class LoRALayer(nn.Module):
def __init__(self, in_features, out_features, rank):
super().__init__()
self.rank = rank
# 初始化低秩矩阵 A 和 B
self.A = nn.Linear(in_features, rank, bias=False)
self.B = nn.Linear(rank, out_features, bias=False)
# 缩放因子 alpha
self.scaling = 1.0 / rank
def forward(self, x):
return (self.B(self.A(x)) * self.scaling)
下游适应性改进
尽管 LoRA 性能优异，但在数学推理等复杂任务上与全量微调仍有差距。现有方法主要从以下角度改进：
- 突破低秩瓶颈：探索更高秩或不同初始化策略，以捕捉更复杂的特征分布。
- 自适应分配秩：根据不同层的重要性动态分配不同的秩，优化资源利用。
- 优化学习过程：调整学习率调度、正则化策略以提升收敛效果。
- 结合其他范式：与适配器（Adapter）、提示调优（Prompt Tuning）等方法结合使用。
跨任务泛化与混合插件
随着 LoRA 插件的累积，管理成本增加。通过混合多种 LoRA 插件，可以实现跨任务泛化，促进多任务学习和持续学习。例如，可以将针对特定领域的 LoRA 与通用指令遵循 LoRA 线性组合，快速适应新场景。
计算效率与生成即服务（GaaS）
在生成即服务（GaaS）场景中，云厂商需为用户提供多样化功能。LoRA 的参数效率和可插拔性非常适合构建 GaaS 平台。每个功能可对应一个 LoRA 插件，服务更新时可通过组合旧插件初始化新插件，快速适应需求变化。
联邦学习与隐私保护
在分布式训练中，数据由多个客户端私有。联邦学习可保护隐私，但通信成本高。LoRA 的参数高效特性有助于降低客户端计算成本和跨客户端共享参数的通信成本。其可插拔特性也有助于保留每个客户端的参数隐私，因此在隐私保护方面潜力巨大。
应用与未来方向
持续预训练
基础模型通过无标签用户数据持续训练以适应特定领域。增强 LoRA 以降低持续预训练的计算成本，是构建垂直领域大模型的重要方向。
自主代理
在基于 LLM 的自主代理中，角色分配通常依赖提示词。当角色复杂时，可通过训练 LoRA 插件来分配角色。此外，利用 LoRA 构建内存插件，可解决检索增强生成（RAG）在上下文限制下的不足。
总结
LoRA 凭借参数效率、可插拔性和兼容性，成为 LLMs 应用中最重要的技术之一。未来的研究将聚焦于提升其在 GaaS、持续预训练和自主代理等领域的表现，进一步挖掘实际应用场景的潜力。
