LLama-Factory 实战：基于自建数据集微调 Qwen7B 模型

三、环境安装

3.1 克隆项目

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory

3.2 安装依赖

根据需求安装 PyTorch 及相关指标库：

pip install -e ".[torch,metrics]"

若需使用特定加速库（如 Unsloth），可额外安装对应插件。

四、构建自己的数据集

在指令监督微调（SFT）中，数据格式通常遵循以下 JSON 结构：

[
  {
    "instruction": "你是一个舆情分析专家，擅长分析一段文字的舆情类型。现在请你判断下述语句，任务 1，是否与负面新闻，你的回答只能从是或不是选择一个，任务 2，是否与负面情绪，你的回答只能从是或不是中选择一个。例如：待判断语句：今天合肥的天气真好。你的回复：1，不是，2，不是。现在待判断语句为：{}",
    "input": "2023 年 3 月 16 日 14 时 55 分许，鄂温克族自治旗伊敏河镇发生一起一般事故，造成一人死亡，直接经济损失人民币 200 万元。",
    "output": "任务 1：是，原文中提到了负面新闻，这些词汇与负面新闻相关。任务 2：不是，由于原文没有提到负面情绪，这和没有关系，因此不是。"
  }
]

字段说明：

• instruction：必填。人类指令模板，包含占位符 {} 用于拼接 input。
• input：选填。用户输入内容，与 instruction 拼接后作为完整指令。
• output：必填。模型期望的回答。
• system：选填。系统提示词，用于设定角色或约束。
• history：选填。多轮对话历史，格式为 ["指令", "回答"] 列表。

注册数据集

将准备好的数据集文件（如 my_train_data.json）放入 data 目录下，并编辑 data/dataset_info.json 添加配置：

{
  "my_train_data": {
    "file_name": "my_train_data.json",
    "columns": {
      "prompt": "instruction",
      "query": "input",
      "response": "output"
    }
  }
}

注意记录数据集名称（如 my_train_data），后续训练时需指定。

五、修改配置文件 (YAML)

创建训练配置文件 examples/train_lora/mytrain_lora_sft.yaml：

### model
model_name_or_path: /path/to/qwen-7b-chat

### method
stage: sft
do_train: true
finetuning_type: lora
lora_target: all

### dataset
dataset: my_train_data
template: qwen
cutoff_len: 4096
max_samples: 1000
overwrite_cache: true
preprocessing_num_workers: 16

### output
output_dir: saves/qwen/lora/sft
logging_steps: 10
save_steps: 100
plot_loss: true
overwrite_output_dir: true

### train
per_device_train_batch_size: 1
gradient_accumulation_steps: 8
learning_rate: 1.0e-4
num_train_epochs: 3.0
lr_scheduler_type: cosine
warmup_ratio: 0.1
bf16: true
ddp_timeout: 180000000

### eval
val_size: 0.1
per_device_eval_batch_size: 1
eval_strategy: steps
eval_steps: 500

关键参数解析：

• stage: 设置为 sft 进行指令微调。
• finetuning_type: 选择 lora 进行参数高效微调。
• lora_target: 设置 all 表示对所有线性层应用 LoRA，也可指定如 q_proj,v_proj。
• cutoff_len: 最大上下文长度，根据显存调整。
• learning_rate: 学习率建议从 1e-4 开始，根据 Loss 曲线调整。
• bf16: 启用 BF16 混合精度训练以节省显存并提高稳定性。

六、开始训练

6.1 使用 CLI 命令

llamafactory-cli train examples/train_lora/mytrain_lora_sft.yaml

6.2 使用 Python 脚本

CUDA_VISIBLE_DEVICES=0,1,2,3 python src/train_bash.py \
  --stage sft \
  --do_train \
  --model_name_or_path /app/model \
  --dataset my_train_data \
  --finetuning_type lora \
  --lora_target q_proj,v_proj \
  --output_dir /app/output \
  --overwrite_cache \
  --per_device_train_batch_size 1 \
  --gradient_accumulation_steps 1 \
  --lr_scheduler_type cosine \
  --logging_steps 10 \
  --save_steps 1000 \
  --learning_rate 5e-5 \
  --num_train_epochs 3.0 \
  --template qwen

七、合并模型

训练完成后，需要将 LoRA 权重合并到基座模型中以便部署：

llamafactory-cli export examples/merge_lora/my_lora_sft.yaml

配置文件示例：

### model
model_name_or_path: meta-llama/Meta-Llama-3-8B-Instruct
adapter_name_or_path: saves/llama3-8b/lora/sft
template: llama3
finetuning_type: lora

### export
export_dir: models/llama3_lora_sft
export_size: 2
export_device: cpu
export_legacy_format: false

或使用命令行：

CUDA_VISIBLE_DEVICES=0 python /app/src/export_model.py \
  --model_name_or_path /app/model/ \
  --adapter_name_or_path /app/output/checkpoint-3000/ \
  --template default \
  --finetuning_type lora \
  --export_dir /app/lora_result/20240422_1519/ \
  --export_size 2 \
  --export_legacy_format False

八、模型推理

8.1 命令行交互

修改 inference/yaml 中的路径后运行：

llamafactory-cli chat examples/inference/llama3_lora_sft.yaml

8.2 Python Demo

python /app/src/cli_demo.py \
  --model_name_or_path /app/lora_result/20240422_1519/ \
  --template=qwen

九、常见问题与最佳实践

9.1 超参数调节

• Rank 与 Alpha：简单任务 rank=16, alpha=32 通常足够；复杂任务可适当增加。
• 学习率：LoRA 微调常用 1e-4。观察 Loss 曲线，若震荡剧烈则调低，若收敛过慢则调高。

9.2 效果不佳排查

1. 数据质量：检查指令是否清晰，输出是否符合预期。高质量数据比数量更重要。
2. 数据平衡：确保正负样本、不同类别分布均衡，避免模型偏向某一类。
3. 指令友好度：困惑度较低的指令更容易被模型理解。

9.3 数据量建议

• 简单任务：100-300 条数据。
• 中等难度：1000 条以上。
• 困难任务：可能需要 3000-10000 条甚至更多。

9.4 灾难性遗忘

微调可能导致模型原有能力下降。解决方法：

• 混合少量通用知识数据（如 Alpaca 英文演示集）。
• 使用较低 Rank 的 LoRA。
• 采用多阶段 SFT 策略，分步学习不同能力。

9.5 多能力学习

若需模型同时掌握多个能力，需注意数据集的相关性和比例分配。通过精心设计的 Prompt 和混合数据，可实现单一模型的多任务处理。

十、总结

本文详细介绍了使用 LLaMA-Factory 框架对 Qwen7B 模型进行基于自建数据集的微调全流程。从环境搭建、数据准备、配置编写到训练、合并及推理，涵盖了核心步骤。在实际应用中，请根据具体业务场景调整超参数和数据质量，以获得最佳效果。