开源大模型最佳实践：基于 LoRA 微调 Chat-甄嬛示例教程

处理步骤：

1. 提取角色对话：使用正则表达式匹配 角色名：台词 的模式。
2. 筛选目标角色：过滤出仅包含'甄嬛'相关对话的记录。
3. 构建问答对：将上下文作为 instruction，角色回复作为 output。
4. 数据增强（可选）：若数据量不足，可利用现有数据作为 Few-shot Prompt 输入给大模型，生成风格相似的补充数据。

如果原始数据为纯文本小说（如《西游记》），可借助 NLP 工具或大模型 API 先提取对话片段，再进行上述格式化操作。

4. 模型训练

本部分以 LLaMA3_1-8B-Instruct 为例，演示如何使用 PEFT 库进行 LoRA 微调。

4.1 模型下载

创建 model_download.py 脚本，从 ModelScope 下载模型权重：

import torch
from modelscope import snapshot_download, AutoModel, AutoTokenizer
import os

# 设置缓存路径
model_dir = snapshot_download('LLM-Research/Meta-Llama-3.1-8B-Instruct', cache_dir='/root/autodl-tmp', revision='master')
print(f"Model downloaded to: {model_dir}")

注意：请根据实际磁盘空间修改 cache_dir 路径。

4.2 训练脚本配置

在 train.py 中配置训练参数。关键配置包括学习率、Batch Size、LoRA Rank 等。

from peft import LoraConfig, TaskType

# LoRA 配置
lora_config = LoraConfig(
    task_type=TaskType.CAUSAL_LM,
    r=8,              # 低秩矩阵维度
    lora_alpha=32,    # 缩放系数
    target_modules=["q_proj", "k_proj", "v_proj", "o_proj"], # 目标层
    lora_dropout=0.05,
    bias="none",
    modules_to_save=None,
)

运行训练命令：

python train.py \
    --model_name_or_path ./LLM-Research/Meta-Llama-3.1-8B-Instruct \
    --data_path ./dataset/huanhuan.json \
    --output_dir ./output/llama3_huanhuan_lora \
    --num_train_epochs 3 \
    --per_device_train_batch_size 4 \
    --gradient_accumulation_steps 4 \
    --learning_rate 2e-4 \
    --lr_scheduler_type cosine \
    --warmup_ratio 0.03 \
    --weight_decay 0.0 \
    --fp16 True \
    --logging_steps 10 \
    --save_strategy epoch \
    --evaluation_strategy no \
    --save_total_limit 2 \
    --seed 42 \
    --optim adamw_torch \
    --max_seq_length 512 \
    --packing False

训练过程通常需要数小时，具体取决于显卡性能。完成后，output 目录下将生成 LoRA Adapter 权重文件。

5. 推理与测试

训练完成后，加载基座模型与 LoRA 权重进行对话测试。

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
from peft import PeftModel

# 加载 tokenizer
model_path = './LLM-Research/Meta-Llama-3.1-8B-Instruct'
lora_path = './output/llama3_huanhuan_lora/checkpoint-xxx'

tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)

# 加载基座模型
model = AutoModelForCausalLM.from_pretrained(
    model_path, 
    device_map="auto", 
    torch_dtype=torch.bfloat16, 
    trust_remote_code=True
).eval()

# 加载 LoRA 权重
model = PeftModel.from_pretrained(model, model_id=lora_path)

# 构造提示词
prompt = "嬛嬛你怎么了，朕替你打抱不平！"
messages = [
    {"role": "system", "content": "假设你是皇帝身边的女人--甄嬛。"},
    {"role": "user", "content": prompt}
]

# Tokenize
input_ids = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
model_inputs = tokenizer([input_ids], return_tensors="pt").to('cuda')

# 生成
with torch.no_grad():
    generated_ids = model.generate(model_inputs.input_ids, max_new_tokens=512)
    generated_ids = [
        output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
    ]
    response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

print('皇上：', prompt)
print('嬛嬛：', response)

6. 优化建议与常见问题

6.1 显存优化

若遇到 OOM（Out Of Memory）错误，可尝试以下措施：

• 开启 gradient_checkpointing 以减少激活值存储。
• 降低 per_device_train_batch_size 并增加 gradient_accumulation_steps。
• 使用 bitsandbytes 库进行 4-bit 量化加载模型。

6.2 过拟合问题

如果模型在训练集表现好但在测试集表现差，可能是过拟合：

• 减少训练轮次（epochs）。
• 增加 lora_dropout 比例。
• 扩充多样化的高质量训练数据。

6.3 推理速度

在生产环境中部署时，建议使用 vLLM 或 TGI 等推理框架，它们支持 PagedAttention 等技术，能显著提升并发处理能力。

7. 结语

通过本教程，我们完成了从数据清洗、模型选择、LoRA 微调到推理部署的全流程。掌握这一技能后，你可以轻松构建属于自己的垂直领域 AI 助手，无论是客服机器人、情感陪伴还是专业咨询助手。开源社区提供了丰富的工具和资源，鼓励开发者积极参与贡献，共同推动大模型技术的普及与应用。