LLaMA-Factory 微调多模态大模型 Qwen3-VL 实战

这里的关键参数包括：

• --model_name_or_path：原始基座模型位置。
• --adapter_name_or_path：LoRA 权重输出目录。
• --trust_remote_code：Qwen 系列模型加载必需开启。
• --export_dir：合并后的完整模型保存路径。

部署服务：vLLM

模型合并完成后，推荐使用 vLLM 进行高性能部署。

#!/usr/bin/env bash
export CUDA_VISIBLE_DEVICES=0
model_path=saves/Qwen3-VL-2B-Instruct/lora/train_2025-12-22-18-08-22/Qwen3-VL-2B-Instruct

vllm serve $model_path \
  --dtype auto \
  --max-model-len 7680 \
  --max_num_seqs 32 \
  --api-key token-abc123 \
  --gpu_memory_utilization 0.95 \
  --trust-remote-code

启动成功后，服务监听在 http://0.0.0.0:8000。注意设置 --api-key 以保护接口安全，客户端请求时需携带 Authorization: Bearer <key>。

效果验证

编写一个简单的 Python 脚本调用 vLLM API 进行测试。

# -*- coding: utf-8 -*-
import os
import traceback
from openai import OpenAI
from pybaseutils import image_utils, base64_utils

url = "http://0.0.0.0:8000/v1"
key = "token-abc123"

class Client():
    def __init__(self, url, key, model=None):
        self.url = url
        self.key = key
        self.model = model
        self.services = OpenAI(api_key=self.key, base_url=self.url)

    def chat(self, messages, T=0.0):
        result = None
        try:
            response = self.services.chat.completions.create(
                model=self.model, messages=messages, seed=2024, temperature=T
            )
            contents = response.choices[0].message.content
            result = contents if isinstance(contents, str) else contents[0]['text']
        except Exception as e:
            traceback.print_exc()
        return result

if __name__ == "__main__":
    image_file = "./data/test.jpg"
    assert os.path.exists(image_file), f"{image_file} not exists"
    
    image = image_utils.read_image(image_file, use_rgb=True)
    messages = [{
        "role": "user",
        "content": [
            {"type": "text", "text": "请详细描述这张图片"},
            {"type": "image_url", "image_url": {"url": image}},
        ]
    }]
    
    messages = base64_utils.serialization(messages, prefix="data:image/jpeg;base64,", use_rgb=True)
    client = Client(url=url, key=key)
    output = client.chat(messages)
    print(output)

运行脚本并传入测试图片，即可看到模型的推理结果。