基于 LLaMA-Factory 微调 Qwen3-VL 全流程实战

执行训练

设置可见 GPU 并启动训练命令：

CUDA_VISIBLE_DEVICES=6 llamafactory-cli train examples/train_lora/qwen2_5vl_lora_sft.yaml

训练完成后，LoRA 权重将保存在 output_dir 指定的路径中。

3. 模型合并

微调结束后，需要将 LoRA 适配器合并回基座模型，以便后续部署。编辑合并配置文件：

### model
model_name_or_path: /data/hcb/LLaMA-Factory-main/qwen3_vl_model
adapter_name_or_path: saves/qwen3vl-2b/lora/sft
template: qwen3_vl
trust_remote_code: true

### export
export_dir: output/qwen3vl_lora_sft
export_size: 5
export_device: cpu
export_legacy_format: false

执行合并命令：

llamafactory-cli export examples/merge_lora/qwen2_5vl_lora_sft.yaml

合并后的模型位于 export_dir 目录下，可直接用于推理服务。

4. 自定义数据集构建

工业落地通常涉及私有数据。LLaMA-Factory 的数据结构相对固定，核心在于理解 data 目录和 dataset_info.json。

注册新数据集

1. 在 LLaMA-Factory/data 目录下创建你的 JSON 数据文件（如 table_reg.json）。
2. 在 dataset_info.json 中添加注册信息，指向你的文件名。
3. 若数据包含图片，需在 data 目录下建立对应文件夹存放图片资源，并在 JSON 中维护相对路径。

数据格式参考

多模态任务推荐使用 ShareGPT 格式。每条数据应包含文本提示词和图片占位符。例如识别表格的任务：

[
  {
    "messages": [
      {"role": "user", "content": [{"type": "image", "image": "images/table_01.jpg"}, {"type": "text", "text": "请提取图中的表格数据"}]},
      {"role": "assistant", "content": "表格内容如下..."}
    ]
  }
]

修改训练脚本中的 dataset 字段为你注册的名称即可开始训练。

5. 模型部署与调用

为了支持高并发和标准化接口，推荐使用 vLLM 部署合并后的模型。

安装 vLLM

在虚拟环境中安装兼容版本：

pip install vllm==0.11.0 -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple/

启动服务

使用 OpenAI 兼容协议启动 API 服务器：

export CUDA_VISIBLE_DEVICES=6
python -m vllm.entrypoints.openai.api_server \
  --host 0.0.0.0 \
  --port 8003 \
  --model /data/hcb/LLaMA-Factory-main/output/qwen3vl_lora_sft \
  --served-model-name qwen3_vl \
  --trust-remote-code \
  --dtype float16 \
  --gpu-memory-utilization 0.8 \
  --tp 1

客户端请求示例

编写 Python 脚本通过 HTTP 调用服务。注意清理代码中的个人元数据，保持简洁：

import openai
import base64
import os
from openai import OpenAI

def encode_image(image_path):
    with open(image_path, "rb") as image_file:
        return base64.b64encode(image_file.read()).decode('utf-8')

def multimodal_chat(image_path=None, text_prompt="描述这张图片"):
    client = OpenAI(
        api_key="Empty",
        base_url="http://10.10.185.9:8803/v1/"
    )
    messages = [{"role": "system", "content": "你是一个多模态智能助手，可以理解和分析图像内容。"}]
    
    if image_path and os.path.exists(image_path):
        base64_image = encode_image(image_path)
        user_content = [
            {"type": "text", "text": text_prompt},
            {"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{base64_image}"}}
        ]
    else:
        user_content = text_prompt
    
    messages.append({"role": "user", "content": user_content})
    payload = {
        "model": "qwen3_vl",
        "messages": messages,
        "temperature": 0.1,
        "max_tokens": 2000
    }
    
    try:
        response = client.chat.completions.create(**payload, timeout=30)
        return response
    except Exception as e:
        print(f"请求失败：{e}")
        return None

if __name__ == "__main__":
    image_path = r"./test_image.png"
    prompt = "描述这张图片中有什么"
    if os.path.exists(image_path):
        res = multimodal_chat(image_path=image_path, text_prompt=prompt)
        if res and res.choices:
            print(res.choices[0].message.content)

至此，Qwen3-VL 的微调与部署流程已全部跑通。实际生产中请根据显存大小调整 batch_size 和 gradient_accumulation_steps，并监控日志以确保训练稳定性。