LLaMA-Factory 大语言模型微调框架实战指南

2. 微调任务类型

• 增量预训练：在特定领域语料上继续预训练模型。
• 指令监督微调：使用指令 - 输出对数据进行 SFT，提升模型对话能力。
• 奖励模型训练：为强化学习阶段构建奖励模型。
• 强化学习：支持 PPO、DPO、KTO、ORPO 等对齐算法。

3. 精度与优化技术

• 全量微调：16 比特浮点精度，更新所有参数。
• 冻结微调：仅更新部分层参数，其余层冻结。
• LoRA 微调：低秩适应矩阵，大幅减少可训练参数量。
• QLoRA 微调：结合 4 比特量化与 LoRA，进一步降低显存占用。
• 高级优化：支持 GaLore、DoRA、LongLoRA、FlashAttention-2、RoPE Scaling 等前沿技术。

四、配置文件详解

LLaMA-Factory 使用 YAML 格式的配置文件来定义训练任务。以下是一个典型的 SFT 微调配置示例：

task_type: sft
model_name_or_path: Qwen/Qwen1.5-7B-Chat
dataset_dir: data/
dataset: custom_sft_dataset
eval_strategy: steps
eval_steps: 500
per_device_train_batch_size: 1
gradient_accumulation_steps: 4
learning_rate: 1.0e-4
num_train_epochs: 3.0
lr_scheduler_type: cosine
warmup_ratio: 0.1
fp16: true
output_dir: outputs/qwen-sft
logging_steps: 10
save_steps: 500
load_best_model_at_end: true
metric_for_best_model: loss

关键参数说明：

• task_type：指定任务类型，如 sft（指令微调）、pt（预训练）、rm（奖励模型）。
• dataset_dir：数据集存放目录。
• dataset：具体数据集名称，需在 data/datasets_info.json 中注册。
• per_device_train_batch_size：单设备批次大小。
• gradient_accumulation_steps：梯度累积步数，用于模拟更大 batch size。
• learning_rate：学习率，LoRA 通常设为 1e-4 左右。
• fp16：是否启用混合精度训练，节省显存并加速。
• output_dir：模型保存路径。

五、Web UI 操作流程

对于初学者，推荐使用 Web UI 进行可视化操作：

1. 启动服务：在项目根目录下运行命令。

   python src/train_web.py
   

   默认监听端口为 7860，打开浏览器访问 http://localhost:7860。

2. 配置模型：在左侧菜单选择模型名称，确认本地已下载权重文件。

3. 加载数据集：上传自定义数据集文件或选择内置数据集，确保格式符合规范（instruction, input, output）。

4. 设置训练参数：调整学习率、Epoch、Batch Size 等超参数。

5. 开始训练：点击'开始'按钮，右侧面板将实时显示 Loss 曲线和日志信息。

6. 导出模型：训练完成后，可在'导出'页面将模型转换为 HuggingFace 格式或 GGUF 格式以便部署。

六、命令行微调示例

对于需要脚本化或 CI/CD 集成的场景，可使用命令行直接执行：

python src/train.py \
    --stage sft \
    --do_train \
    --model_name_or_path Qwen/Qwen1.5-7B-Chat \
    --dataset custom_sft \
    --template qwen \
    --finetuning_type lora \
    --lora_target all \
    --output_dir ./checkpoints \
    --overwrite_cache \
    --per_device_train_batch_size 1 \
    --gradient_accumulation_steps 4 \
    --lr_scheduler_type cosine \
    --logging_steps 10 \
    --save_steps 1000 \
    --learning_rate 5e-5 \
    --num_train_epochs 3.0 \
    --plot_loss \
    --fp16

参数解析：

• --stage：指定训练阶段，如 sft, pt, rm。
• --finetuning_type：微调方式，可选 lora, full, freeze。
• --lora_target：LoRA 作用的目标模块，all 表示全部线性层。
• --template：模型特定的模板格式，如 qwen, llama, chatglm。
• --plot_loss：训练结束后自动生成 Loss 曲线图。

七、推理部署

训练好的模型可以通过 LLaMA-Factory 提供的推理接口进行部署：

1. 启动 API 服务

利用 vLLM 引擎启动高性能推理服务：

python src/api_server.py \
    --model_name_or_path ./outputs/checkpoint \
    --port 8000 \
    --backend vllm

2. 调用示例

使用 Python 客户端发送请求：

import requests

response = requests.post(
    "http://localhost:8000/v1/chat/completions",
    json={
        "model": "local-model",
        "messages": [{"role": "user", "content": "你好，请介绍一下你自己。"}],
        "temperature": 0.7
    }
)
print(response.json())

3. 浏览器测试

访问 Web UI 的推理页面，输入提示词即可直接查看生成结果，适合快速验证效果。

八、常见问题与排查

1. 显存溢出 (OOM)

• 现象：训练过程中报错 CUDA out of memory。
• 解决：
  • 减小 per_device_train_batch_size。
  • 增大 gradient_accumulation_steps。
  • 启用 fp16 或 bf16 混合精度。
  • 使用 qlora 模式，开启 4 比特量化。
  • 检查是否开启了不必要的缓存或日志。

2. 数据集格式错误

• 现象：训练启动时报错 KeyError 或 ValueError。
• 解决：
  • 检查 JSON 文件中是否包含必需的字段（如 instruction, input, output）。
  • 确保没有空行或非法字符。
  • 确认数据集名称在 datasets_info.json 中已正确注册。

3. 模型加载失败

• 现象：无法下载或加载模型权重。
• 解决：
  • 检查网络连接，尝试使用镜像源（如 HF-Mirror）。
  • 确认模型名称拼写正确。
  • 手动下载模型权重到本地并指定 model_name_or_path 路径。

九、总结

LLaMA-Factory 为大模型爱好者和开发者提供了一个强大且易用的微调平台。通过其完善的文档和丰富的功能，用户可以快速实现从数据准备、模型训练到推理部署的全流程。无论是个人学习还是企业级应用，LLaMA-Factory 都能提供高效的解决方案。随着社区的发展，未来将支持更多模型架构和优化算法，值得持续关注。

建议在实际使用前阅读官方文档以获取最新的功能列表和最佳实践。