基于 LLaMA-Factory 微调 Qwen3-VL 多模态模型实战

关键参数说明：

• --model_name_or_path：基础模型路径。
• --adapter_name_or_path：LoRA 适配器路径（即训练输出目录）。
• --template：对话模板，Qwen3-VL 通常用 default。
• --trust_remote_code：Qwen 系列模型必需启用，允许加载远程自定义代码。

服务部署

模型合并完成后，推荐使用 vLLM 进行高性能部署。

#!/usr/bin/env bash
export CUDA_VISIBLE_DEVICES=0
model_path=saves/Qwen3-VL-2B-Instruct/lora/train_2025-12-22-18-08-22/Qwen3-VL-2B-Instruct

vllm serve $model_path \
  --dtype auto \
  --max-model-len 7680 \
  --max_num_seqs 32 \
  --api-key token-abc123 \
  --gpu_memory_utilization 0.95 \
  --trust-remote-code

参数解读：

• --api-key：自定义 API 密钥，客户端请求时需携带 Authorization: Bearer token-abc123。
• --dtype：自动选择数据类型（float16/bfloat16 等）。
• --max-model-len：最大上下文长度，根据显存调整。
• --gpu_memory_utilization：GPU 内存利用率目标，0.95 表示预留 5% 给系统。

启动成功后，终端将显示 API 服务地址（如 http://0.0.0.0:8000/v1），即可接入业务调用。

效果测试

通过 OpenAI 兼容接口编写脚本验证多模态对话能力。

# -*- coding: utf-8 -*-
import os
import traceback
from openai import OpenAI
from pybaseutils import image_utils, base64_utils

url = "http://0.0.0.0:8000/v1"
key = "token-abc123"

class Client:
    def __init__(self, url, key, model=None):
        self.url = url
        self.key = key
        self.model = model
        self.services = OpenAI(api_key=self.key, base_url=self.url)

    def chat(self, messages, T=0.0):
        try:
            response = self.services.chat.completions.create(
                model=self.model, messages=messages, seed=2024, temperature=T
            )
            contents = response.choices[0].message.content
            return contents if isinstance(contents, str) else contents[0]['text']
        except Exception as e:
            traceback.print_exc()
            return None

if __name__ == "__main__":
    image_file = "./data/test.jpg"
    assert os.path.exists(image_file), f"{image_file} not exists"
    
    image = image_utils.read_image(image_file, use_rgb=True)
    messages = [{
        "role": "user",
        "content": [
            {"type": "text", "text": "请详细描述这张图片"},
            {"type": "image_url", "image_url": {"url": image}},
        ]
    }]
    
    messages = base64_utils.serialization(messages, prefix="data:image/jpeg;base64,", use_rgb=True)
    client = Client(url=url, key=key)
    output = client.chat(messages)
    print(output)

运行脚本后，输入对应的测试图片，观察模型输出的描述是否符合预期。