LlamaFactory 大模型微调全流程解析

添加自定义数据集时，只需将数据文件放入 data 目录，并在 dataset_info.json 中补充对应配置即可。例如，若下载了包含《甄嬛传》角色对话的 huanhuan.json 文件，将其放入 data 目录后，在配置文件中注册该文件，即可在 WebUI 界面中看到并预览数据。

数据集格式

目前 LlamaFactory 主要支持 Alpaca 和 ShareGPT 两种格式。

Alpaca 格式

Alpaca 是一种结构化的'指令 - 输出'对，侧重于让模型学会遵循并完成特定任务，适合单轮指令微调。

1. 指令监督微调

格式通常包含 instruction（人类指令）、input（人类输入）、output（模型回答），以及可选的 system（系统提示词）和 history（历史对话）。

[
  {
    "instruction": "请对以下文本进行中文拼写、语法纠错，仅输出纠错后的文本。",
    "input": "都分患者不清楚白天和黑夜。",
    "output": "部分患者不清楚白天和黑夜。"
  }
]

在 dataset_info.json 中需映射对应的列名，如 prompt 对应 instruction，query 对应 input，response 对应 output。

2. 预训练

预训练使用未标记的文本数据，学习语言的通用表征。格式较为简单，仅需 text 字段。

[ {"text": "document"} ]

配置时需将 prompt 列映射到 text。

3. 偏好训练

偏好训练需要提供更优回答（chosen）和更差回答（rejected），用于对齐人类价值观。

[
  {
    "instruction": "人类指令",
    "input": "人类输入",
    "chosen": "优质回答",
    "rejected": "劣质回答"
  }
]

配置时需设置 ranking: true 并映射相应列。

4. 多模态

支持图像、视频、音频等多模态数据。需在数据中添加 images、videos 或 audios 列，并确保媒体数量与文本中的 <image> 等标记严格一致。

ShareGPT 格式

ShareGPT 以多轮对话序列形式呈现，适合训练聊天机器人。它通过 from 字段区分角色（human, gpt 等），支持工具调用和系统提示。

指令监督微调

数据集中在 conversations 列表中，奇数位置通常为 human/observation，偶数位置为 gpt/function_call。

{
  "conversations": [
    {"from": "human", "value": "人类指令"},
    {"from": "gpt", "value": "模型回答"}
  ],
  "system": "系统提示词"
}

配置时需指定 formatting: sharegpt，并将 messages 列映射到 conversations。

模型训练

训练阶段

LlamaFactory 涵盖预训练、指令监督微调和偏好训练三个阶段。

• 预训练：在海量无标注文本上训练，相当于给基础模型进行'通识教育'。普通用户可直接使用预训练好的开源模型，跳过此阶段。
• 指令监督微调 (SFT)：使用高质量标注数据，让模型适应特定任务或遵循人类指令。这是将'通才'转变为'专才'的关键步骤。
• 偏好训练：通过人类反馈（如 DPO、KTO、ORPO）对齐模型输出与人类价值观，使回答更准确、安全、有用。

微调方法

• 全参数微调 (Full)：更新所有参数，性能最优但资源消耗大，适合有充足算力的场景。
• 冻结微调 (Freeze)：冻结大部分参数，仅训练高层或特定模块，平衡效率与效果。
• 低秩适应 (LoRA)：当前最主流的方法。通过添加低秩矩阵适配新任务，显著减少参数量和显存占用，适合大多数开发者。

实战示例

我们以 Qwen2.5-3B-Instruct 模型为例，演示如何使用 LoRA 进行指令监督微调。

1. 模型下载

从 ModelScope 下载基座模型至本地：

modelscope download --model 'Qwen/Qwen2.5-3B-Instruct' --local_dir '/mnt/workspace/ms_cache/'

2. 设置数据集

准备训练和评估数据集。例如将 huanhuan.json 按 80%:20% 比例分为训练集和评估集，分别命名为 huanhuan.json 和 huanhuan-evaluate.json。将它们放入 data 目录，并在 dataset_info.json 中注册。

3. 参数配置

在 WebUI 界面中进行配置：

• 语言：选择 zh 中文。
• 模型名称：设置为 Qwen2.5-3B-Instruct。
• 模型路径：指向本地下载目录 /mnt/workspace/ms_cache/。
• 对话模板：选择 qwen。
• 微调方法：选择 lora。
• 训练阶段：选择 Supervised Fine-Tuning。

配置完成后，点击'开始'按钮启动训练。WebUI 会实时输出日志，并提供损失曲线图。训练结果将保存在项目 saves 目录下，按模型名称、方法和时间戳分层存储。

模型评估与推理

模型评估

评估用于量化微调后模型的性能。在 WebUI 的 Evaluate&Predict 页面，选择训练生成的检查点路径和专用评估数据集，点击'开始'即可运行评估命令。完成后系统将显示具体的评估指标。

模型推理

推理是将训练好的模型投入实际使用的环节。在 Chat 页面加载检查点，即可与微调后的模型进行对话测试，验证其是否符合预期。

模型导出

LoRA 等方法生成的是适配器文件，而非完整模型。为了部署，需要将适配器与基座模型合并。

在 Export 页面，选择已加载的检查点，设置导出目录和设备（CPU 或 GPU）。导出完成后，会生成一系列完整的模型文件，可部署至 Xinference 等平台提供 API 服务或离线推理能力。

通过上述流程，我们可以利用 LlamaFactory 高效地完成从数据准备到模型部署的全链路开发。