大语言模型微调指南：LoRA 原理与实践代码

1.2.2 继续预训练与微调

• 继续预训练：在已预训练模型基础上，进一步在特定领域未标注的大规模数据上训练，提高对该领域的理解。适用于行业大模型构建。
• 微调：目的是优化模型在特定任务上的表现，通常在小规模任务数据集上进行。

两者可结合：通用预训练 → 继续预训练（行业/部门） → 微调（具体业务小组）。

2. 如何 Fine-tuning

2.1 微调基本原理

微调是基于已训练好的神经网络模型，通过对其参数进行细微调整，使其更好适应特定任务。根据微调范围分为全模型微调和部分微调。

• 全模型微调：更新所有参数，适用于目标任务差异较大场景，但资源消耗大，易过拟合。
• 部分微调：仅更新部分参数，冻结其他参数，减少计算存储成本，降低过拟合风险。

生产中常用参数高效微调（PEFT），通过引入低秩矩阵（如 LoRA）或适配层，减少资源需求。

2.2 什么是 LoRA

2.2.1 基本概念

LoRA（Low-Rank Adaptation）通过引入低秩矩阵来减少微调过程中需要更新的参数数量，显著降低计算资源需求。

可重用性：LoRA 不改变原模型参数，不同任务的低秩矩阵可分别存储加载，灵活应用于不同任务。例如在手机终端跑大模型，针对不同任务动态加载 LoRA 参数，相比一个任务一个模型，大幅节省空间。

2.2.2 原理分析

研究表明，模型适应特定任务时并不需要用到所有复杂能力。原始矩阵维度较高，假设为 $d_k$ 维矩阵 $W_0$，调整方式为矩阵加法增加 $ riangle W$。若 $ riangle W$ 仍为 $d \times k$ 维，参数量多。LoRA 将其表示为低秩分解：

$$ h = W_0 + \triangle W = W_0 + BA $$

其中 $B \in \mathbb{R}^{d \times r}, A \in \mathbb{R}^{r \times k}$，且秩 $r \ll \min(d, k)$。

举例计算：$d=1000, k=1000$，全量调整需 100w 参数。若 $r=4$，仅需 $1000 \times 4 + 4 \times 1000 = 8000$ 个参数。

论文实验表明，在调整 Transformer 权重矩阵时，$r=1$ 时对特定任务就有非常好效果。通常 $r$ 设置为 1~8，经验值常为 4。

2.3 微调过程

1. 准备数据：收集标注数据，分训练集/验证集，进行 Tokenization。
2. 配置参数：设置 LoRA 参数、学习率，确保收敛。
3. 训练模型：在训练集上训练，调整超参数防过拟合。
4. 评估模型：在验证集上评估性能。

数据要求：

• 高质量：Garbage in garbage out，数据质量至关重要。
• 多样性：覆盖更多场景，类似测试用例。
• 人工生成：避免语言模型生成的隐含模式。
• 数量适中：LoRA 论文显示 100 条有明显改善，1000 条左右效果不错。OpenAI 建议至少 10 条，通常 50-100 条可见明显提升。

2.4 使用 LoRA 微调代码分析

本节使用 LoRA 微调 distilbert/distilbert-base-uncased 模型，实现对电影评论的情感分类（正面/负面）。数据集为 stanfordnlp/imdb。使用 Colab 免费 T4 GPU，1000 条数据，10 个 Epoch，约 6 分钟完成。微调前准确率 50%，微调后达 87%。

2.4.1 库安装与包引入

!pip install datasets
!pip install transformers
!pip install evaluate
!pip install torch
!pip install peft

from datasets import load_dataset, DatasetDict, Dataset
from transformers import (
    AutoTokenizer,
    AutoConfig,
    AutoModelForSequenceClassification,
    DataCollatorWithPadding,
    TrainingArguments,
    Trainer)
from peft import PeftModel, PeftConfig, get_peft_model, LoraConfig
import evaluate
import torch
import numpy as np

2.4.2 微调数据构造

# 加载 IMDB 数据
imdb_dataset = load_dataset("stanfordnlp/imdb")

# 定义子采样大小
N = 1000 
rand_idx = np.random.randint(24999, size=N) 

# 提取训练和测试数据
x_train = imdb_dataset['train'][rand_idx]['text']
y_train = imdb_dataset['train'][rand_idx]['label']
x_test = imdb_dataset['test'][rand_idx]['text']
y_test = imdb_dataset['test'][rand_idx]['label']

# 创建新数据集
dataset = DatasetDict({
    'train': Dataset.from_dict({'label': y_train, 'text': x_train}),
    'validation': Dataset.from_dict({'label': y_test, 'text': x_test})
})

print(np.array(dataset['train']['label']).sum() / len(dataset['train']['label'])) # 约 0.508

IMDB 数据格式示例：

{
  "label": 0,
  "text": "Not a fan, don't recommend."
}

2.4.3 加载初始模型

from transformers import AutoModelForSequenceClassification
model_checkpoint = 'distilbert-base-uncased'

# 定义标签映射
id2label = {0: "Negative", 1: "Positive"}
label2id = {"Negative": 0, "Positive": 1}

# 生成分类模型
model = AutoModelForSequenceClassification.from_pretrained(
    model_checkpoint, num_labels=2, id2label=id2label, label2id=label2id)

模型架构为 6 层 Transformer，LoRA 影响 q_lin 层的权重（768*768 矩阵）。

2.4.4 Tokenize 与 Pad 预处理

from transformers import AutoTokenizer

# 创建分词器
tokenizer = AutoTokenizer.from_pretrained(model_checkpoint, add_prefix_space=True)

# 添加 pad token
if tokenizer.pad_token is None:
    tokenizer.add_special_tokens({'pad_token': '[PAD]'})
    model.resize_token_embeddings(len(tokenizer))

# 定义 tokenize 函数
def tokenize_function(examples):
    text = examples["text"]
    tokenizer.truncation_side = "left"
    tokenized_inputs = tokenizer(
        text,
        return_tensors="np",
        truncation=True,
        max_length=512,
        padding='max_length'
    )
    return tokenized_inputs

# 处理数据集
tokenized_dataset = dataset.map(tokenize_function, batched=True)

from transformers import DataCollatorWithPadding
data_collator = DataCollatorWithPadding(tokenizer=tokenizer)

说明：

1. 数字化对齐：Tokenize 将文本转化为整数序列，对应词汇表中的单词或子词。
2. 减少词汇量：切分为最小单位，降低复杂性，处理罕见词。
3. 并行计算：统一固定长度，便于并行计算，长文本截断，短文本填充。

2.4.5 微调配置与训练

import torch
from peft import LoraConfig, get_peft_model
import evaluate

# 评估指标
accuracy = evaluate.load("accuracy")
def compute_metrics(p):
    predictions, labels = p
    predictions = np.argmax(predictions, axis=1)
    return {"accuracy": accuracy.compute(predictions=predictions, references=labels)}

# PEFT 配置
peft_config = LoraConfig(
    task_type="SEQ_CLS",
    r=1,
    lora_alpha=32,
    lora_dropout=0.01,
    target_modules=['q_lin']
)

# 获取 PEFT 模型
model = get_peft_model(model, peft_config)
model.print_trainable_parameters()

输出显示可训练参数占比不到 1%，参数量越大，比例越小。

# 超参数
lr = 1e-3
batch_size = 4
num_epochs = 10

from transformers import TrainingArguments

training_args = TrainingArguments(
    output_dir=model_checkpoint + "-lora-text-classification",
    learning_rate=lr,
    per_device_train_batch_size=batch_size,
    per_device_eval_batch_size=batch_size,
    num_train_epochs=num_epochs,
    weight_decay=0.01,
    evaluation_strategy="epoch",
    save_strategy="epoch",
    load_best_model_at_end=True,
)

from transformers import Trainer
trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=tokenized_dataset["train"],
    eval_dataset=tokenized_dataset["validation"],
    tokenizer=tokenizer,
    data_collator=data_collator,
    compute_metrics=compute_metrics,
)

# 开始训练
trainer.train()

训练后再次测试，分类正确率显著提升。

2.5 部署与推理优化

微调完成后，LoRA 权重可以合并到基座模型中，也可以单独加载。合并模型可减少推理时的内存占用，因为不再需要实时计算低秩矩阵加法。

合并权重示例：

from peft import PeftModel
merged_model = model.merge_and_unload()
merged_model.save_pretrained("./merged_model")

量化加速： 对于生产环境，建议结合量化技术（如 INT8 或 FP4）进一步降低显存需求。可使用 bitsandbytes 库加载量化模型。

2.6 最佳实践总结

1. 数据清洗：确保训练数据无噪声，格式统一。
2. 参数调优：r 值通常从 4 开始尝试，alpha 设为 r 的 2 倍左右。
3. 早停机制：监控验证集 Loss，防止过拟合。
4. 混合精度训练：开启 fp16 或 bf16 加速训练并节省显存。

3. 结语

本文介绍了微调的基本概念，以及如何对语言模型进行微调。微调虽成本低于大模型的预训练，但对于大量参数的模型微调成本仍非常之高。好在随着算力增长，微调的成本门槛会越来越低，应用场景也会越来越多。

高质量的输入非常重要，类似于人去学习技能。阅读经典，反复阅读，才能掌握精髓。希望本文能帮助开发者快速上手大模型微调技术。