LLaMA Factory 大模型微调实战指南

LLaMA-Factory 校验

安装完成后，使用 llamafactory-cli version 校验。

启动 WebUI 页面：

CUDA_VISIBLE_DEVICES=0 GRADIO_SHARE=1 GRADIO_SERVER_PORT=7860 llamafactory-cli webui

下载离线模型

可从魔搭社区下载模型，例如：

git clone https://www.modelscope.cn/Qwen/Qwen2.5-0.5B-Instruct.git

Windows 高级选项

QLoRA

若需在 Windows 上启用量化 LoRA，请根据您的 CUDA 版本选择适当的 bitsandbytes 发行版本。

FlashAttention-2

若要在 Windows 平台上启用 FlashAttention-2，请选择适当的 flash-attention 发行版本。

Extra Dependency

如需更多功能，可安装对应依赖：

三、数据微调

dataset_info.json 包含了所有经过预处理的本地数据集以及在线数据集定义。目前支持 Alpaca 格式和 ShareGPT 格式。

指令监督微调数据集

指令监督微调（Instruct Tuning）通过让模型学习详细的指令及对应的回答来优化表现。

• instruction：人类指令（必填）
• input：人类输入（选填）
• output：模型回答（必填）
• system：系统提示词（选填）
• history：历史消息列表（选填）

示例格式：

[
  {
    "instruction": "计算这些物品的总费用。",
    "input": "输入：汽车 - $3000，衣服 - $100，书 - $20。",
    "output": "汽车、衣服和书的总费用为 $3120。"
  }
]

在 dataset_info.json 中的描述应为：

"数据集名称": {
  "file_name": "data.json",
  "columns": {
    "prompt": "instruction",
    "query": "input",
    "response": "output",
    "system": "system",
    "history": "history"
  }
}

预训练数据集

样例格式：

[{"text": "document"}, {"text": "document"}]

偏好数据集

用于奖励模型训练、DPO 训练和 ORPO 训练。需提供更优回答 (chosen) 和更差回答 (rejected)。

[
  {
    "instruction": "人类指令",
    "input": "人类输入",
    "chosen": "优质回答",
    "rejected": "劣质回答"
  }
]

KTO 数据集

对每一轮问答只给出一个 true/false 的 label，需额外添加 kto_tag 列。

多模态数据集

支持图像、视频及音频数据集输入，需分别添加 images, videos, audios 列。

四、WebUI

LLaMA-Factory 支持通过 WebUI 零代码微调大语言模型。

启动命令：

llamafactory-cli webui

开始训练前需指定：

1. 模型名称及路径
2. 训练阶段
3. 微调方法
4. 训练数据集
5. 学习率、训练轮数等参数
6. 输出目录及配置路径

评估预测与对话

模型训练完毕后，可在评估界面指定模型及适配器路径进行数据集评估；或在对话界面指定模型、适配器及推理引擎进行交互。

导出

满意后可在导出界面指定模型、适配器、分块大小、量化等级等参数导出模型。

五、SFT 训练

命令行

使用配置文件进行微调：

llamafactory-cli train examples/train_lora/llama3_lora_sft.yaml

也可追加参数更新 yaml 文件内容：

llamafactory-cli train examples/train_lora/llama3_lora_sft.yaml learning_rate=1e-5 logging_steps=1

配置示例：

model_name_or_path: meta-llama/Meta-Llama-3-8B-Instruct
stage: sft
do_train: true
finetuning_type: lora
lora_target: all
dataset: identity,alpaca_en_demo
template: llama3
cutoff_len: 1024
max_samples: 1000
overwrite_cache: true
preprocessing_num_workers: 16
output_dir: saves/llama3-8b/lora/sft
logging_steps: 10
save_steps: 500
plot_loss: true
overwrite_output_dir: true
per_device_train_batch_size: 1
gradient_accumulation_steps: 8
learning_rate: 1.0e-4
num_train_epochs: 3.0
lr_scheduler_type: cosine
warmup_ratio: 0.1
bf16: true
ddp_timeout: 180000000
val_size: 0.1
per_device_eval_batch_size: 1
eval_strategy: steps
eval_steps: 500

重要训练参数说明：

六、LoRA 合并

合并

将预训练模型和 LoRA 适配器合并导出成一个模型：

llamafactory-cli export merge_config.yaml

配置示例：

model:
  model_name_or_path: meta-llama/Meta-Llama-3-8B-Instruct
  adapter_name_or_path: saves/llama3-8b/lora/sft
  template: llama3
  finetuning_type: lora
export:
  export_dir: models/llama3_lora_sft
  export_size: 2
  export_device: cpu
  export_legacy_format: false

量化

量化技术可减少显存占用并加速推理。支持 AQLM, AWQ, GPTQ, QLoRA 等方法。

GPTQ 等后训练量化方法需要指定量化位数 export_quantization_bit 及校准数据集 export_quantization_dataset。

配置示例：

model:
  model_name_or_path: meta-llama/Meta-Llama-3-8B-Instruct
  template: llama3
export:
  export_dir: models/llama3_gptq
  export_quantization_bit: 4
  export_quantization_dataset: data/c4_demo.json
  export_size: 2
  export_device: cpu
  export_legacy_format: false

七、推理

LLaMA-Factory 支持多种推理方式。

使用 llamafactory-cli chat inference_config.yaml 或 llamafactory-cli webchat inference_config.yaml 进行对话。

默认使用 Huggingface 引擎，也可指定 infer_backend: vllm 以获得更快的速度。

原始模型推理配置

model_name_or_path: meta-llama/Meta-Llama-3-8B-Instruct
template: llama3
infer_backend: huggingface

微调模型推理配置

model_name_or_path: meta-llama/Meta-Llama-3-8B-Instruct
adapter_name_or_path: saves/llama3-8b/lora/sft
template: llama3
finetuning_type: lora
infer_backend: huggingface

批量推理

启动 vllm 推理引擎：

python scripts/vllm_infer.py --model_name_or_path path_to_merged_model --dataset alpaca_en_demo

调用 API 服务示例：

API_PORT=8000 CUDA_VISIBLE_DEVICES=0 llamafactory-cli api examples/inference/llama3_lora_sft.yaml

Python 调用代码：

from openai import OpenAI
client = OpenAI(api_key="0", base_url="http://0.0.0.0:8000/v1")
messages = [{"role": "user", "content": "Who are you?"}]
result = client.chat.completions.create(messages=messages, model="meta-llama/Meta-Llama-3-8B-Instruct")
print(result.choices[0].message)

八、评估

通用能力评估

llamafactory-cli eval examples/train_lora/llama3_lora_eval.yaml

配置示例：

model:
  model_name_or_path: meta-llama/Meta-Llama-3-8B-Instruct
  adapter_name_or_path: saves/llama3-8b/lora/sft
method:
  finetuning_type: lora
dataset:
  task: mmlu_test
template: fewshot
lang: en
n_shot: 5
output:
  save_dir: saves/llama3-8b/lora/eval
eval:
  batch_size: 4

NLG 评估

获得 BLEU 和 ROUGE 分数：

llamafactory-cli train examples/extras/nlg_eval/llama3_lora_predict.yaml

评估相关参数