Qwen 大模型基于 QLoRA 的微调实战指南

关键参数说明：

• model_name_or_path: 指定预训练模型的路径或 HuggingFace ID。
• train_file: 训练数据文件路径，支持 jsonl 格式。
• per_device_train_batch_size: 单设备批次大小，显存不足时可减小。
• gradient_accumulation_steps: 梯度累积步数，用于模拟更大的 batch size。
• lora_rank: LoRA 的秩，越大拟合能力越强但显存占用越高。
• lora_alpha: LoRA 缩放系数，通常设为 rank 的 2 倍。
• gradient_checkpointing: 开启后节省显存，但会略微增加训练时间。
• optim: 优化器选择，paged_adamw_32bit 适合显存受限场景。

数据准备

这里的数据集需要符合特定的 jsonl 格式。官方提供的一个测试数据集可用于跑通流程。

每条数据应包含 conversation_id 和 conversation 两个字段。conversation_id 表示对话的序号，conversation 对应的是一个列表，元素是字典，每个字典中有 human 和 assistant 两个键，分别表示用户和模型的说话内容。

如果要用自己的数据集，也要按照这种格式进行修改。以下是一个 Python 脚本示例，用于将普通 CSV 数据转换为 Firefly 所需的格式：

import json
import csv

# 假设原始数据为 csv 格式，包含 question, answer 列
with open('raw_data.csv', 'r', encoding='utf-8') as f_in, \
     open('./data/custom_data.jsonl', 'w', encoding='utf-8') as f_out:
    reader = csv.DictReader(f_in)
    for i, row in enumerate(reader):
        data = {
            "conversation_id": i,
            "conversation": [
                {"human": row['question'], "assistant": row['answer']}
            ]
        }
        f_out.write(json.dumps(data, ensure_ascii=False) + '\n')

数据清洗建议：

1. 去除特殊字符和乱码。
2. 确保对话长度不超过 max_seq_length。
3. 检查是否存在敏感信息或不当言论。
4. 保持对话逻辑连贯，避免断句错误。

开始训练

利用以下代码开始训练：

python train.py --train_args_file train_args/sft/qlora/qwen-7b-sft-qlora.json

训练完成后会在配置文件中设置的 output_dir 生成对应的 QLoRA 文件。训练过程中可以通过 TensorBoard 监控 loss 变化曲线，观察模型收敛情况。

推理与测试

训练完成后，可利用 Firefly/script/chat 路径下的脚本进行调用，测试模型微调的效果。以下是简单的推理代码示例：

from firefly.trainer.sft_trainer import SFTTrainer
from peft import PeftModel
from transformers import AutoTokenizer, AutoModelForCausalLM

# 加载基础模型
base_model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen-1_8B-Chat",
    load_in_8bit=True,
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen-1_8B-Chat", use_fast=False)

# 加载微调后的 LoRA 权重
model = PeftModel.from_pretrained(base_model, "output/firefly-qwen-1_8b-sft-qlora")

# 构造输入
messages = [
    {"role": "user", "content": "你好，请介绍一下你自己。"}
]
input_text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(input_text, return_tensors="pt").to(model.device)

# 生成回答
outputs = model.generate(**inputs, max_new_tokens=512)
response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(response)

常见问题与优化

1. 显存溢出 (OOM)

如果遇到 OOM 错误，可以尝试以下措施：

• 减小 per_device_train_batch_size。
• 增大 gradient_accumulation_steps 以保持有效 batch size。
• 开启 gradient_checkpointing。
• 降低 max_seq_length。
• 使用更小的精度如 bf16 或 fp16。

2. Loss 不下降

• 检查学习率是否过大，尝试降低 learning_rate。
• 确认数据格式是否正确，特别是 human 和 assistant 的标签位置。
• 增加训练轮数 num_train_epochs。
• 检查 warmup 设置是否合理。

3. 模型效果不佳

• 增加高质量训练数据的数量。
• 调整 lora_rank 和 lora_alpha 参数。
• 尝试不同的模板名称 (template_name) 以匹配模型特性。
• 进行更多轮次的迭代训练。

4. 推理速度慢

• 量化模型权重，如使用 INT4 量化。
• 减少 max_new_tokens。
• 使用更快的推理后端如 vLLM 或 TGI。

通过上述步骤，您可以完成 Qwen 大模型的 QLoRA 微调，并根据实际需求调整参数以获得最佳效果。