LLaMA Factory 大模型微调实战指南

在 dataset_info.json 中映射列名：

"数据集名称": {
  "file_name": "data.json",
  "columns": {
    "prompt": "instruction",
    "query": "input",
    "response": "output",
    "system": "system",
    "history": "history"
  }
}

其他数据类型

• 预训练：仅需 text 字段。
• 偏好数据：用于 DPO/ORPO，需 chosen（优质回答）和 rejected（劣质回答）。
• KTO 数据：需 kto_tag（true/false）表示人类反馈。
• 多模态：图像需 images 字段，视频需 videos 字段，音频需 audios 字段，数量需与文本中的标记一致。

模型训练

WebUI 操作

进入 WebUI 后，依次指定以下参数：

1. 模型名称及路径
2. 训练阶段（如 SFT）
3. 微调方法（LoRA、全量等）
4. 数据集
5. 超参数（学习率、Batch Size 等）
6. 输出目录

点击开始即可。训练过程中可在界面查看损失曲线。

命令行训练

对于更灵活的控制，可使用 YAML 配置文件。

llamafactory-cli train examples/train_lora/llama3_lora_sft.yaml

示例配置片段：

model_name_or_path: meta-llama/Meta-Llama-3-8B-Instruct
stage: sft
do_train: true
finetuning_type: lora
lora_target: all
dataset: identity,alpaca_en_demo
template: llama3
cutoff_len: 1024
max_samples: 1000
output_dir: saves/llama3-8b/lora/sft
learning_rate: 1.0e-4
num_train_epochs: 3.0
bf16: true
per_device_train_batch_size: 1
gradient_accumulation_steps: 8

关键参数说明：

• stage: 训练类型（pt, sft, rm, dpo 等）。
• finetuning_type: 微调方式（freeze, lora, full）。
• bf16: 启用 BF16 精度加速。

LoRA 合并与量化

训练完成后，LoRA 权重通常作为适配器存在。推理时可直接加载，但为了部署方便，常将其合并到主模型。

合并模型

llamafactory-cli export merge_config.yaml

配置示例：

model_name_or_path: meta-llama/Meta-Llama-3-8B-Instruct
adapter_name_or_path: saves/llama3-8b/lora/sft
template: llama3
export_dir: models/llama3_lora_sft
export_device: cpu

量化压缩

量化可减少显存占用并提升推理速度。支持 GPTQ、AWQ、QLoRA 等。

export_quantization_bit: 4
export_quantization_dataset: data/c4_demo.json
export_size: 2

*注意：合并时请勿使用已量化的模型作为 base model，应使用原始未量化模型。

推理与评估

推理模式

支持 Huggingface 引擎或 vLLM 引擎。

单轮对话：

llamafactory-cli chat inference_config.yaml

批量推理：

python scripts/vllm_infer.py --model_name_or_path path_to_merged_model --dataset alpaca_en_demo

API 服务：

API_PORT=8000 CUDA_VISIBLE_DEVICES=0 llamafactory-cli api examples/inference/llama3_lora_sft.yaml

配合 OpenAI SDK 调用。

模型评估

通用能力：

llamafactory-cli eval examples/train_lora/llama3_lora_eval.yaml

支持 MMLU、C-Eval 等任务。

生成质量（NLG）：

llamafactory-cli train examples/extras/nlg_eval/llama3_lora_predict.yaml

可获取 BLEU 和 ROUGE 分数。

通过以上步骤，你可以完成从环境搭建、数据处理、模型微调到最终部署的全流程。实际使用中，请根据硬件资源调整 Batch Size 和梯度累积步数，并注意显存监控。