LLaMA-Factory 大模型 LoRA 微调实战指南

WebUI 启动命令如下：

llamafactory-cli webchat \
    --model_name_or_path /workspace/Meta-Llama-3-8B-Instruct \
    --template llama3

注意 --template 参数必须与模型对应，否则可能导致回复重复或格式错误。

准备数据集

打开 WebUI 后，在数据管理页面添加数据集。LLaMA-Factory 目前主要支持 Alpaca 和 ShareGPT 两种格式。

你可以从公开社区（如 ModelScope）下载现成的角色扮演数据集。以 Alpaca 格式为例，只需将 .json 文件放入 data 目录下，并在 dataset_info.json 中注册该数据集即可。保存后 WebUI 会自动刷新，无需重启服务。

![WebUI 界面截图]

执行微调

本次实战以 Qwen3-1.7B-Base 为基础模型，采用 LoRA 方法进行指令微调。

关键参数说明

• stage: 设置为 sft，表示监督微调。
• finetuning_type: 选择 lora，仅更新部分权重，节省显存。
• learning_rate: LoRA 通常设置在 1e-5 ~ 2e-5 之间。
• cutoff_len: 根据数据集平均长度调整，短问答可设为 1024。
• gradient_accumulation_steps: 梯度累积步数，用于模拟更大的 Batch Size，设为 4。
• bf16: 启用 BF16 精度，提升训练效率。
• lora_rank & lora_alpha: 秩控制学习广度，缩放系数控制强度。这里分别设为 8 和 256。
• warmup_steps: 预热步数，通常设为 4 左右。

训练命令

llamafactory-cli train \
    --stage sft \
    --do_train True \
    --model_name_or_path Qwen/Qwen3-1.7B-Base \
    --preprocessing_num_workers 16 \
    --finetuning_type lora \
    --template qwen3 \
    --flash_attn auto \
    --dataset_dir data \
    --dataset huanhuan \
    --cutoff_len 1024 \
    --learning_rate 5e-05 \
    --num_train_epochs 4.0 \
    --max_samples 100000 \
    --per_device_train_batch_size 2 \
    --gradient_accumulation_steps 4 \
    --lr_scheduler_type cosine \
    --max_grad_norm 1.0 \
    --logging_steps 5 \
    --save_steps 100 \
    --warmup_steps 4 \
    --packing False \
    --enable_thinking True \
    --report_to none \
    --output_dir saves/Qwen3-1.7B-Base/lora/train_2026-01-02-06-40-31 \
    --bf16 True \
    --plot_loss True \
    --trust_remote_code True \
    --ddp_timeout 180000000 \
    --include_num_input_tokens_seen True \
    --optim adamw_torch \
    --adapter_name_or_path saves/Qwen3-1.7B-Base/lora/train_2026-01-02-06-01-20 \
    --lora_rank 8 \
    --lora_alpha 256 \
    --lora_dropout 0 \
    --lora_target all

训练过程中会生成 Loss 曲线和 Checkpoint。Checkpoint 保存在 output_dir 下，包含 adapter_model.safetensors 等文件。若效果不佳，可适当增加 Epoch 数；若过拟合，则减少 Epoch 或增大正则化。

![训练进度截图]

批量推理和训练效果评估

人工测试不够严谨，建议使用自动化指标进行评估。常用指标包括 BLEU 和 ROUGE。

首先安装评估工具：

pip install jieba rouge-chinese nltk

切换至预测模式，参数与训练类似，但需设置 do_predict 和 predict_with_generate：

llamafactory-cli train \
    --stage sft \
    --model_name_or_path Qwen/Qwen3-1.7B-Base \
    --finetuning_type lora \
    --quantization_method bnb \
    --template qwen3 \
    --flash_attn auto \
    --dataset_dir data \
    --eval_dataset huanhuan \
    --cutoff_len 1024 \
    --max_samples 100000 \
    --per_device_eval_batch_size 4 \
    --predict_with_generate True \
    --report_to none \
    --max_new_tokens 512 \
    --top_p 0.7 \
    --temperature 0.95 \
    --output_dir saves/Qwen3-1.7B-Base/lora/eval_2026-01-02-19-59-30 \
    --trust_remote_code True \
    --ddp_timeout 180000000 \
    --do_predict True \
    --adapter_name_or_path saves/Qwen3-1.7B-Base/lora/train_2026-01-02-06-40-31

评估结果会输出在 predict_results.json 中。重点关注以下指标：

• BLEU-4: 衡量 n-gram 匹配度，值越高越接近标准答案。
• ROUGE-1/2/L: 分别衡量词序列、短语序列及最长公共子序列的匹配情况。
• Runtime: 推理耗时，反映系统效率。

对比不同 Epoch 的结果，通常多轮训练能带来更好的语义连贯性。

![评估结果截图]

LoRA 模型合并导出

当微调效果满意后，可将 LoRA 适配器与基座模型融合，生成独立模型文件：

1. 在 WebUI 中选择 Export 模块。
2. 填入微调好的 Adapter 路径。
3. 指定输出目录，例如 output/qwen3-1.7b-huanhuan。

导出后的目录结构包含完整的 config.json、tokenizer 及 model.safetensors，可直接用于部署。

部署运行微调后的大模型

为了便于本地部署，可将模型转换为 GGUF 格式，配合 Ollama 使用。

转换格式

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp/gguf-py
pip install --editable .

cd ../.. 
python convert_hf_to_gguf.py /workspace/LlamaFactory/output/Qwen3-1.7B-huanhuan/

这将生成 .gguf 文件，体积更小且推理速度更快。

启动服务

# 安装 Ollama
curl -fsSL https://ollama.com/install.sh | sh

# 创建模型并运行
ollama serve
ollama create qwen3-huanhuan -f /workspace/LlamaFactory/output/Qwen3-1.7B-huanhuan/Modelfile
ollama run qwen3-huanhuan

至此，完成从环境搭建、微调训练到本地部署的全流程。