LlamaFactory 多模态大模型微调实战指南

导出与推理

训练完成后，合并权重并导出：

llamafactory-cli export merge_config.yaml 

推理配置示例：

model_name_or_path: meta-llama/Meta-Llama-3-8B-Instruct
template: llama3
infer_backend: huggingface

执行推理：

llamafactory-cli chat inference_config.yaml 

评估

使用 MMLU 等基准测试模型能力：

llamafactory-cli eval examples/train_lora/llama3_lora_eval.yaml 

微调 Qwen3-VL 实战

针对多模态场景，我们以 Qwen3-VL 为例演示完整流程。

模型准备

国内网络环境下下载模型可能超时，建议设置镜像源：

export HF_ENDPOINT="https://hf-mirror.com"

选定模型：Qwen/Qwen3-VL-2B-Instruct。

数据准备

数据集配置位于 data/dataset_info.json。目前支持 Alpaca 和 ShareGPT 两种格式。

Alpaca 格式示例：

[{"instruction":"...","input":"...","output":"..."}]

ShareGPT 格式（含多媒体）：

[{"messages":[{"content":"...","role":"user"}], "audios": ["..."]}]

本次实验使用 COCO-2014-caption 数据集，属于 ShareGPT 格式。需在 dataset_info.json 中注册配置：

"coco-400": {
  "file_name": "coco-400.json",
  "formatting": "sharegpt",
  "columns": {"messages": "conversations", "id": "id"},
  "tags": {"role_tag": "from", "content_tag": "value", "user_tag": "user", "assistant_tag": "assistant"}
}

参数配置

选择 QLoRA 方式，基于官方示例修改关键参数。注意视觉模型需选用对应的模板（如 qwen3_vl_nothink），否则可能报错。

核心配置项：

1. model_name_or_path：指定模型路径
2. dataset：注册的数据集名称
3. template：匹配模型类型的模板

完整配置如下：

model_name_or_path: Qwen/Qwen3-VL-2B-Instruct
quantization_bit: 4
quantization_method: bnb
trust_remote_code: true

stage: sft
do_train: true
finetuning_type: lora
lora_rank: 8
lora_target: all

dataset: coco-3000
template: qwen3_vl_nothink
cutoff_len: 2048
max_samples: 1000
preprocessing_num_workers: 16
dataloader_num_workers: 4

output_dir: saves/qwen3-2b-coco-3000/lora/sft
logging_steps: 10
save_steps: 500
plot_loss: true
overwrite_output_dir: true
report_to: none

per_device_train_batch_size: 2
gradient_accumulation_steps: 4
learning_rate: 1e-5
num_train_epochs: 2
lr_scheduler_type: cosine
warmup_ratio: 0.1
bf16: true
ddp_timeout: 180000000

启动训练

运行命令开始微调：

uv run llamafactory-cli train examples/train_qlora/qwen3-coco.yaml 

训练过程中会输出详细的日志信息，包括损失值变化、学习率调度及显存占用情况。若启用了监控工具（如 SwanLab），还会生成可视化图表。

训练结束时，模型权重将保存至 output_dir 指定的路径，同时生成损失曲线图供分析。