LlamaFactory 大模型微调实战指南

添加自定义数据集很简单。以电视剧对话语料为例，将下载的 huanhuan.json 放入 data 目录后，只需在 dataset_info.json 中添加对应配置即可。配置完成后，在 WebUI 的'数据集'栏就能看到并预览数据了。

数据集格式详解

目前主要支持 Alpaca 和 ShareGPT 两种格式。

Alpaca 格式

Alpaca 专注于单轮指令微调，结构化为'指令 - 输出'对，适合让模型执行具体任务。

1. 指令监督微调 这是最常见的场景，通过'指令 + 输入 -> 回答'来优化模型表现。

[
  {
    "instruction": "请对以下文本进行中文拼写纠错。",
    "input": "都分患者不清楚白天和黑夜。",
    "output": "部分患者不清楚白天和黑夜。"
  }
]

对应的 dataset_info.json 配置需映射列名：

"dataset_name": {
  "file_name": "data.json",
  "columns": {
    "prompt": "instruction",
    "query": "input",
    "response": "output"
  }
}

注意：instruction 会与 input 拼接作为最终人类输入，history 字段可用于多轮历史对话。

2. 预训练 使用未标记文本学习语言表征，仅需 text 列。

"dataset_name": {
  "file_name": "data.json",
  "columns": { "prompt": "text" }
}

3. 偏好训练 用于对齐人类价值观，需提供更优回答 (chosen) 和更差回答 (rejected)。

"dataset_name": {
  "file_name": "data.json",
  "ranking": true,
  "columns": {
    "prompt": "instruction",
    "query": "input",
    "chosen": "chosen",
    "rejected": "rejected"
  }
}

4. 多模态 支持图像、视频、音频。需在配置中添加 images, videos, audios 列，并确保媒体数量与文本中的 <image> 等标记严格一致。

ShareGPT 格式

ShareGPT 以多角色连续对话流为核心，适合训练聊天机器人。它通过 from 字段区分 human, gpt, observation 等角色。

指令监督微调 角色列表需按顺序排列（human/observation 在奇数位，gpt/function 在偶数位）。

{
  "conversations": [
    { "from": "human", "value": "你好" },
    { "from": "gpt", "value": "你好！有什么可以帮您？" }
  ]
}

配置时需指定 formatting: sharegpt 并映射 messages 列。

OpenAI 格式 这是 ShareGPT 的特例，使用 role 和 content 键值对，配置时需设置相应的 tags。

模型训练

训练阶段

1. 预训练 (Pre-training)：在海量无标注文本上学习通用规律。通常用户可直接使用开源基座模型，跳过此阶段，或进行增量预训练以注入特定领域知识。
2. 指令监督微调 (SFT)：关键阶段。使用高质量标注数据，让模型学会遵循指令。相当于给'通才'模型请了个私人教练，使其成为特定任务的'专才'。
3. 偏好训练 (Preference Tuning)：解决模型输出不够准确、有用或不符合价值观的问题。LlamaFactory 支持 DPO、KTO、ORPO 等方法，其中 DPO 社区实践最广泛。

微调方法

• 全参数微调 (Full)：更新所有参数。资源充足且追求极致性能时使用，配置 finetuning_type: full。
• 冻结微调 (Freeze)：冻结底层参数，仅训练高层。配置 finetuning_type: freeze，可指定解冻层数。
• 低秩适应 (LoRA)：主流方案。通过添加低秩矩阵适配新任务，大幅减少参数量和显存占用。配置 finetuning_type: lora。

实战示例

本例演示使用 LoRA 方法微调 Qwen2.5-3B-Instruct 模型。

1. 准备模型 从 ModelScope 下载基座模型到本地：

modelscope download --model 'Qwen/Qwen2.5-3B-Instruct' --local_dir '/mnt/workspace/ms_cache/'

2. 配置数据集 将语料文件（如 huanhuan.json）放入 data 目录，并在 dataset_info.json 中注册。建议将数据分为训练集和评估集（如 huanhuan-evaluate.json），以便后续验证效果。

3. 参数配置 在 WebUI 界面进行可视化配置：

• 语言：设为 zh。
• 模型名称：Qwen2.5-3B-Instruct。
• 模型路径：指向本地下载目录 /mnt/workspace/ms_cache/。
• 对话模板：选择 qwen。
• 微调方法：选择 lora。
• 训练阶段：选择 Supervised Fine-Tuning。

点击'开始'按钮启动训练。WebUI 会实时输出日志，并提供'预览命令'、'保存参数'等功能，方便复现实验。

训练结果保存在项目 saves 目录下，按模型名和方法分类存储。

模型评估

训练完成后，需校验模型质量。进入'Evaluate&Predict'页面，选择刚才生成的检查点路径和评估数据集。

点击'开始'运行评估，系统会生成命令行指令或直接执行，并在页面上展示最终的评估指标。这能帮助我们判断微调是否有效，为迭代提供数据支撑。

模型推理

推理是将训练好的模型投入实际使用的环节。在 WebUI 的'Chat'页面，加载微调后的检查点，即可与模型进行对话测试，直观感受微调效果是否符合预期。

模型导出

LoRA 微调生成的仅是适配器文件，无法直接部署。导出功能可将适配器与基座模型合并，生成完整可部署的新模型。

在'Export'页面，设置导出目录和设备（CPU 或 GPU Auto），点击执行即可。导出的模型文件可加载至 Xinference 等平台，提供离线推理或服务化 API 能力。