Qwen3-VL 基于 Llama-Factory 的 QLoRA 微调与部署全流程实战

启动训练命令如下。如果训练意外中断，只需将 resume_from_checkpoint 设为 true 即可恢复：

llamafactory-cli train saves/Qwen3-VL-2B-Instruct/qlora/train_openeqa/training_args.yaml

从损失曲线来看，训练损失初始值较高（约 5.5），前 100 步快速下降，200 步后稳定在 1.0~1.5 区间，最终训练损失为 1.3233。验证损失略低于训练损失（1.2683），说明模型泛化能力良好，未出现明显过拟合。整个训练耗时约 2 小时 27 分钟，共完成 453 步。

若需本地查看 TensorBoard 日志，可将服务器 runs 目录下的文件下载到本地，执行 tensorboard --logdir=/path/to/logs --port 6006 即可在浏览器中观察实时曲线。

2. 测试评估

训练完成后，需要评估模型在测试集上的表现。创建 eval_args.yaml，注意修改适配器路径和输出目录：

adapter_name_or_path: saves/Qwen3-VL-2B-Instruct/qlora/train_openeqa/
cutoff_len: 2048
dataset_dir: data
ddp_timeout: 180000000
do_predict: true
eval_dataset: open_eqa_test
finetuning_type: lora
flash_attn: auto
max_new_tokens: 128
max_samples: 99999
model_name_or_path: model/Qwen3-VL-2B-Instruct
output_dir: saves/Qwen3-VL-2B-Instruct/qlora/eval_openeqa
per_device_eval_batch_size: 2
predict_with_generate: true
preprocessing_num_workers: 4
report_to: none
stage: sft
temperature: 0.2
template: qwen3_vl_nothink
top_p: 1.0
trust_remote_code: true

执行评估命令：

llamafactory-cli train saves/Qwen3-VL-2B-Instruct/qlora/eval_openeqa/eval_args.yaml

评估结果显示，模型在 258 个测试样本上运行稳定，无显存溢出。生成指标方面，BLEU-4 达到 29.4966，ROUGE-1 为 36.2966，ROUGE-L 为 35.7659。这表明模型能有效捕捉具身智能任务中的核心信息，但在短句语义衔接（ROUGE-2 偏低）上仍有提升空间。推理耗时约 2 小时 55 分钟，主要瓶颈在于单样本 8 张图片的多模态特征提取。

3. 融合模型导出

为了便于部署，需要将 LoRA 权重合并到基座模型中。创建 merge_openeqa.yaml：

### model
model_name_or_path: model/Qwen3-VL-2B-Instruct
adapter_name_or_path: saves/Qwen3-VL-2B-Instruct/qlora/train_openeqa/
template: qwen3_vl_nothink
finetuning_type: lora
trust_remote_code: true

### export
export_dir: saves/Qwen3-VL-2B-Instruct/qlora/merge
export_size: 2
export_device: auto
export_legacy_format: false

执行导出命令：

llamafactory-cli export saves/Qwen3-VL-2B-Instruct/qlora/merge/merge_openeqa.yaml

4. 推理部署 API 服务

(1) Ollama 部署

将融合后的模型放入本地目录（如 /saves/Qwen3-VL-2B-Instruct/qlora/merge），并编写 Modelfile。这里定义了模板和停止符，确保对话格式正确。

FROM .
TEMPLATE """{{ if .System }}<|im_start|>system {{ .System }}<|im_end|> {{ end }}{{ range .Messages }}{{ if eq .Role "user" }}<|im_start|>user {{ .Content }}<|im_end|> <|im_start|>assistant {{ else if eq .Role "assistant" }}{{ .Content }}<|im_end|> {{ end }}{{ end }}"""
PARAMETER temperature 0.7
PARAMETER stop "<|im_end|>"
PARAMETER num_ctx 4096

创建模型并加载：

ollama create qwen3-vl-2b -f Modelfile
ollama run qwen3-vl-2b "问题" 图片路径

支持命令行直接传入、交互式模式以及 curl 调用。使用 curl 时，建议先将图片转为 base64 编码再拼接进 JSON payload，以便通过 API 发送多模态请求。

(2) LMDeploy 部署

LMDeploy 提供了更高效的推理后端。首先安装库：

pip install --no-cache-dir lmdeploy

由于 T4 架构限制，必须使用 PyTorch 后端而非 TurboMind。编写测试脚本 test_offline.py 进行性能验证：

from lmdeploy import pipeline, TurbomindEngineConfig, PytorchEngineConfig, GenerationConfig
from lmdeploy.vl import load_image
import time

MODEL_PATH = "/workspace/LlamaFactory/saves/Qwen3-VL-2B-Instruct/qlora/merge"
IMAGE_PATH = "/workspace/LlamaFactory/data/open_eqa_frames/0a0c0f2b9ba65d1b/000.jpg"

print("🚀 使用 LMDeploy PyTorch 后端加载 Qwen3-VL...")
engine_config = PytorchEngineConfig(
    tp=1,
    session_len=4096,
    max_batch_size=4,
    cache_max_entry_count=0.6,
    eager_mode=True
)

if __name__ == '__main__':
    pipe = pipeline(MODEL_PATH, backend_config=engine_config)
    print("✅ 模型加载成功！")
    image = load_image(IMAGE_PATH)
    prompts = [("描述这张图片", image)]
    start = time.time()
    response = pipe(prompts, gen_config=GenerationConfig(max_new_tokens=256, temperature=0.7))
    latency = time.time() - start
    print(f"⏱️ 延迟：{latency:.2f} s")
    print(f"📝 输出：{response[0].text}")

测试表明，单图推理延迟约 9.63 秒，Batch 4 请求平均延迟降至 7.86 秒，吞吐量提升约 1.2 倍。后台服务启动命令如下，关键参数需根据显存大小调整：

nohup lmdeploy serve api_server /workspace/LlamaFactory/saves/Qwen3-VL-2B-Instruct/qlora/merge \
--model-name qwen3-vl --backend pytorch --tp 1 \
--session-len 4096 --cache-max-entry-count 0.6 \
--max-batch-size 4 --eager-mode --server-port 23333 > api_server.log 2>&1 &

• --backend pytorch: T4 必须项，TurboMind 不支持 Qwen3-VL。
• --cache-max-entry-count 0.6: 预留 9.6GB 给 KV Cache，防止 OOM。
• --eager-mode: 禁用 CUDA Graph，避免旧架构指令错误。

服务启动后，可通过标准 OpenAI API 格式的 curl 请求进行测试，验证多模态输入与文本生成的稳定性。