LLaMA-Factory 大模型微调实战指南

示例数据格式如下：

[
  {
    "instruction": "计算这些物品的总费用。",
    "input": "输入：汽车 - $3000，衣服 - $100，书 - $20。",
    "output": "汽车、衣服和书的总费用为 $3120。"
  }
]

对于多轮对话，可以添加 history 字段：

[
  {
    "instruction": "今天的天气怎么样？",
    "input": "",
    "output": "今天的天气不错，是晴天。",
    "history": [
      ["今天会下雨吗？", "今天不会下雨，是个好天气。"]
    ]
  }
]

其他数据集类型

• 预训练数据集：仅包含 text 列，用于学习语言表征。
• 偏好数据集：包含 chosen（优质回答）和 rejected（劣质回答），用于 DPO 或 ORPO 训练。
• KTO 数据集：包含 kto_tag（true/false），表示人类反馈。
• 多模态数据集：图像、视频或音频需额外添加 images、videos 或 audios 列，路径数量必须与文本中的标记一致。

WebUI 操作

LLaMA-Factory 的 WebUI 提供了零代码微调体验。启动后，你需要指定以下关键参数：

1. 模型名称及路径
2. 训练阶段（SFT、PPO 等）
3. 微调方法（LoRA、Full 等）
4. 训练数据集
5. 学习率、训练轮数等超参数
6. 输出目录

设置完毕后点击开始即可。训练完成后，你可以在评估预测界面查看效果，或在对话界面直接测试模型表现。如果需要导出模型，可在导出界面指定量化等级和分块大小。

SFT 训练

除了 WebUI，命令行也是常用的方式。你可以直接使用官方提供的 YAML 配置文件进行微调。

llamafactory-cli train examples/train_lora/llama3_lora_sft.yaml

也可以追加参数覆盖配置：

llamafactory-cli train examples/train_lora/llama3_lora_sft.yaml learning_rate=1e-5 logging_steps=1

配置文件内容大致如下，重点在于模型路径、数据集名称和模板的匹配：

model_name_or_path: meta-llama/Meta-Llama-3-8B-Instruct
stage: sft
do_train: true
finetuning_type: lora
lora_target: all
dataset: identity,alpaca_en_demo
template: llama3
cutoff_len: 1024
max_samples: 1000
output_dir: saves/llama3-8b/lora/sft
learning_rate: 1.0e-4
num_train_epochs: 3.0
bf16: true

注意 model_name_or_path 和 template 必须对应，否则可能报错。

LoRA 合并与量化

训练好的 LoRA 适配器通常不直接用于推理，而是需要合并到主模型中。这能简化部署流程，避免每次加载多个文件。

合并模型

使用 export 命令，配合配置文件执行：

llamafactory-cli export merge_config.yaml

配置示例：

model_name_or_path: meta-llama/Meta-Llama-3-8B-Instruct
adapter_name_or_path: saves/llama3-8b/lora/sft
template: llama3
finetuning_type: lora
export_dir: models/llama3_lora_sft
export_device: cpu

量化压缩

为了降低显存占用并加速推理，可以对合并后的模型进行量化。LLaMA-Factory 支持 GPTQ、AWQ、AQLM 等多种方案。

例如使用 GPTQ 4-bit 量化：

model_name_or_path: meta-llama/Meta-Llama-3-8B-Instruct
template: llama3
export_dir: models/llama3_gptq
export_quantization_bit: 4
export_quantization_dataset: data/c4_demo.json
export_size: 2
export_device: cpu

注意：合并时不要使用量化模型，应基于未量化的预训练模型进行；而量化步骤是在合并之后进行的。

推理与评估

推理配置

支持 Huggingface 和 vLLM 两种后端。默认使用 Huggingface，如需更快速度可指定 infer_backend: vllm。

原始模型推理配置：

model_name_or_path: meta-llama/Meta-Llama-3-8B-Instruct
template: llama3
infer_backend: huggingface

微调模型推理需增加适配器路径：

model_name_or_path: meta-llama/Meta-Llama-3-8B-Instruct
adapter_name_or_path: saves/llama3-8b/lora/sft
template: llama3
finetuning_type: lora
infer_backend: huggingface

批量推理与 API

对于大批量测试，可以使用 vLLM 引擎：

python scripts/vllm_infer.py --model_name_or_path path_to_merged_model --dataset alpaca_en_demo

或者启动 API 服务供外部调用：

API_PORT=8000 CUDA_VISIBLE_DEVICES=0 llamafactory-cli api examples/inference/llama3_lora_sft.yaml

Python 客户端调用示例：

from openai import OpenAI
client = OpenAI(api_key="0", base_url="http://0.0.0.0:8000/v1")
messages = [{"role": "user", "content": "Who are you?"}]
result = client.chat.completions.create(messages=messages, model="meta-llama/Meta-Llama-3-8B-Instruct")
print(result.choices[0].message)

模型评估

训练完成后，可以通过通用能力评估（如 MMLU、C-Eval）来检验效果：

llamafactory-cli eval examples/train_lora/llama3_lora_eval.yaml

配置中包含任务名称、语言、few-shot 数量等参数。此外，还可以使用 NLG 评估获得 BLEU 和 ROUGE 分数，具体参考 examples/extras/nlg_eval 下的配置文件。