大模型微调技术分类与 LoRA 实践指南

图 8. P-Tuning v2 微调原理

2. 按训练流程划分

图 9. LLM 训练流程划分（Pre-Training、Fine-Tuning、Alignment）

2.1. 上下文学习 (In-Context Learning, ICL)

ICL 区别于普通微调 Fine-Tuning，不对 LLMs 执行任何的微调，直接将模型的输入输出拼接起来作为一个 prompt，引导模型根据输入的数据结构 demo，给出任务的预测结果。ICL 能够基于无监督学习的基础上取得更好模型效果，并且不需要根据特定的任务重新微调 Fine-Tuning 更新模型参数，避免不同任务要重新进行真正的微调。另外，提示微调（Prompt Tuning）属于 ICL 的方式之一。

2.2. 有监督微调（Supervised Fine-Tuning, SFT）

在预训练基础上，使用标记数据对预训练模型进行微调的过程，以便模型能够更好地执行特定任务。SFT 是将通用大模型转化为垂直领域模型的关键步骤，通常需要构建高质量的指令 - 回答对数据集。

图 10. 预训练–>有监督微调

2.3. 基于人类反馈的强化学习（Reinforcement Learning from Human Feedback, RLHF）

RLHF 是提升模型对齐人类价值观的重要环节，通常包含三个步骤：

（1）预训练模型的有监督微调：收集提示词集合，并要求 Label 人员写出高质量的答案，然后使用该数据集以监督的方式微调预训练模型，得到基础 SFT 模型。

图 11. SFT 阶段示意图

（2）创建奖励模型（Reward Model, RM）：对于每个提示 Prompt，要求微调后的 LLMs 生成多个回复，再由标注人员根据真实的偏好对所有回复进行排序，也可以称为 Alignment。接着训练奖励模型 RM 来学习人类的偏好，用于后续优化。RM 的目标是最大化人类偏好的评分。

图 12. 奖励模型训练示意图

（3）PPO 微调：使用强化学习的算法（如 PPO, Proximal Policy Optimization），根据奖励模型 RM 提供的奖励分数，对 SFT 模型进一步优化用于后续的推理（文字生成）。此过程旨在最大化期望奖励，同时限制模型偏离初始 SFT 模型过远（KL 散度惩罚）。

图 13. PPO 微调流程

3. 按训练方式划分

3.1. 有监督微调（Supervised Fine-Tuning, SFT）

使用标记数据对预训练模型进行微调的过程，以便模型能够更好地执行特定任务。这是目前最主流的微调方式。

3.2. 指令微调（Instruction Tuning, IT）

指令微调 Instruction Tuning 可以被视为有监督微调 SFT 的一种特殊形式。通过构造特殊的数据集，即<指令，输出>对的数据集，进一步训练 LLM 的过程，以增强 LLM 能力和可控性。由人类指令和期望的输出组成进行配对。这种数据结构使得指令微调专注于让模型理解和遵循人类指令。作为有监督微调的一种特殊形式，专注于通过理解和遵循人类指令来增强大型语言模型的能力和可控性。

4. 微调优势

4.1. 定制化模型

通过微调大模型，可以根据用户自身的具体需求定制模型，从而提高准确性和性能，使其更贴合业务场景。

4.2. 提高资源利用率

通过减少从头开始构建新模型的方式进行预训练，从而来节省时间、算力资源和其他带来的成本。PEFT 技术更是将显存需求降低了数倍。

4.3. 性能提升

微调的过程，可以使用用户的独特数据集，来增强预训练模型的性能，特别是在专业领域的知识问答、文本生成等任务上。

4.4. 数据优化

可以充分利用客户的数据，调整大模型以更好地适应用特定数据场景，甚至在需要时合并新数据，实现持续学习。

二、微调实践（以 LoRA 为例）

在实际操作中，我们通常使用 Hugging Face 的 transformers 和 peft 库来实现 LoRA 微调。以下是完整的代码示例及关键步骤说明。

import transformers
import torch
from torch.utils.data import Dataset
from peft import LoraConfig, TaskType, get_peft_model

# （1）加载微调前的原 model & tokenizer
# 注意：需确保已安装 transformers 和 accelerate 库
model_name_or_path = "baichuan-inc/Baichuan2-7B-Base"  # 替换为实际模型路径
training_args = type('obj', (object,), {'cache_dir': './cache', 'model_max_length': 2048})()

model = transformers.AutoModelForCausalLM.from_pretrained(
        model_name_or_path,
        trust_remote_code=True,
        cache_dir=training_args.cache_dir,
        device_map="auto"  # 自动分配设备
)
tokenizer = transformers.AutoTokenizer.from_pretrained(
        model_name_or_path,
        use_fast=False,
        trust_remote_code=True,
        model_max_length=training_args.model_max_length,
        cache_dir=training_args.cache_dir
)

# （2）LoRA 微调参数配置
# r: 低秩矩阵的秩，越大能力越强但参数越多
# lora_alpha: 缩放系数，通常设为 2*r
peft_config = LoraConfig(
    task_type=TaskType.CAUSAL_LM,
    target_modules=["W_pack", "q_proj", "v_proj"],  # 指定要微调的层
    inference_mode=False,
    r=8,
    lora_alpha=32,
    lora_dropout=0.1
)

# （3）给 model 配置上 LoRA 参数
model.enable_input_require_grads()    # 开启梯度记录
model = get_peft_model(model, peft_config)    
model.print_trainable_parameters()    # 打印可训练参数比例

# （4）加载新的微调数据集
# 此处假设已定义 SupervisedDataset 类，负责处理指令数据
class SupervisedDataset(Dataset):
    def __init__(self, data_path, tokenizer, max_length):
        self.tokenizer = tokenizer
        self.max_length = max_length
        # 加载数据逻辑...
        
data_path = "./data/train.json"
dataset = SupervisedDataset(data_path, tokenizer, training_args.model_max_length)

# （5）汇总 model、tokenizer、training_args & dataset
trainer = transformers.Trainer(
    model=model,
    tokenizer=tokenizer,
    train_dataset=dataset,
    args=transformers.TrainingArguments(
        output_dir="./output",
        per_device_train_batch_size=4,
        gradient_accumulation_steps=4,
        learning_rate=2e-4,
        num_train_epochs=3,
        fp16=True,
        logging_steps=10,
        save_strategy="epoch"
    )
)

# （6）模型微调训练 & 微调结果保存
trainer.train()        
trainer.save_state()
trainer.save_model(output_dir=training_args.output_dir)    

环境依赖建议：

• Python >= 3.8
• PyTorch >= 1.13
• transformers >= 4.30
• peft >= 0.4.0
• accelerate

三、数据准备与评估

1. 数据准备

高质量的数据是微调成功的关键。对于指令微调，建议采用 JSONL 格式，每条数据包含 instruction（指令）、input（输入，可选）和 output（输出）。数据清洗应去除噪声、重复样本及敏感信息。若数据量较小，可采用数据增强技术（如回译、同义词替换）扩充样本。

2. 评估指标

微调完成后，需从多维度评估模型效果：

• 困惑度（Perplexity, PPL）：衡量模型对测试数据的预测不确定性，越低越好。
• BLEU/ROUGE：适用于文本生成任务，衡量生成内容与参考文本的相似度。
• 人工评估：邀请领域专家对生成结果的质量、准确性、安全性进行打分。
• 基准测试：在 MMLU、C-Eval 等标准榜单上进行对比测试。

四、常见问题与最佳实践

1. 显存不足：若使用 4-bit 量化（QLoRA）仍报错，请检查 device_map 设置，或启用 gradient_checkpointing 以节省显存。
2. 灾难性遗忘：微调可能导致模型丧失通用能力。可通过混合部分通用数据或使用较小的学习率来缓解。
3. 过拟合：若验证集损失上升而训练集下降，应增加正则化（Dropout）或提前停止训练。
4. 推理加速：微调后的模型可使用 bitsandbytes 库进行量化部署，提升推理速度。

总结

本文从微调参数规模、训练流程、训练方式三个角度对微调进行了系统分类，深入解析了 Adapter、LoRA、QLoRA 等主流 PEFT 技术的原理与差异。章节二以实战代码为例，分析了 LLM 微调的关键实现细节。章节三补充了数据准备与评估方法，帮助开发者构建完整的工作流。掌握大模型微调技术，是进入 AI 工程化领域的必经之路，建议结合具体业务场景反复实践，积累调优经验。