LLaMA-Factory 微调 Qwen3-VL 多模态模型全流程实战

训练完成后，LoRA 权重将保存在配置的 output_dir 中。

私有数据集构造

实际落地往往需要私有数据。LLaMA-Factory 的数据结构主要围绕 data 目录和 dataset_info.json 展开。

1. 理解数据结构

在 dataset_info.json 中注册你的数据集。找到类似 mllm_demo 的条目，其 file_name 指向 data 目录下的具体 JSON 文件。 多模态图像任务推荐参考 ShareGPT 格式。你需要构造包含 images 列表和对话内容的 JSON 文件。

2. 构造示例

假设我们要构建一个表格识别数据集 table_reg：

1. 将数据文件 tab_reg_samples.json 放入 LLaMA-Factory-main/data/。
2. 在 dataset_info.json 中添加注册信息，指定 file_name 为 tab_reg_samples.json。
3. 新建图片目录 table_reg（与数据集中 images 相对路径一致），上传对应图片。
4. 确保提示词中包含图像占位符，并在 images 列表中填入正确路径。

3. 引入私有数据

修改训练脚本中的 dataset 字段，替换为注册后的名称：

dataset: table_reg # 使用自定义数据集名称

随后重新执行训练命令即可。

模型权重合并

微调结束后，为了便于部署，通常需要将 LoRA 权重合并回基座模型。

1. 运行导出脚本：

llamafactory-cli export examples/merge_lora/qwen2_5vl_lora_sft.yaml

2. 编辑合并配置 examples/merge_lora/llama3_lora_sft.yaml（注意调整路径）：

### model
model_name_or_path: /data/hcb/LLaMA-Factory-main/qwen3_vl_model # 原模型路径
adapter_name_or_path: saves/qwen3vl-2b/lora/sft # LoRA 路径
template: qwen3_vl
trust_remote_code: true

### export
export_dir: output/qwen3vl_lora_sft
export_size: 5
export_device: cpu
export_legacy_format: false

合并后的模型将保存在 export_dir 指定的路径下。

模型部署与调用

生产环境建议使用 vLLM 部署，支持高并发推理及 OpenAI 兼容接口。

1. 安装 vLLM

pip install vllm==0.11.0 -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple/

2. 启动服务

使用合并后的模型启动 API 服务器：

export CUDA_VISIBLE_DEVICES=6
python -m vllm.entrypoints.openai.api_server \
  --host 0.0.0.0 \
  --port 8003 \
  --model /data/hcb/LLaMA-Factory-main/output/qwen3vl_lora_sft \
  --served-model-name qwen3_vl \
  --trust-remote-code \
  --dtype float16 \
  --gpu-memory-utilization 0.8 \
  --tp 1

启动成功后，服务将监听指定端口。

3. 客户端请求

编写 Python 脚本通过 OpenAI SDK 调用接口。注意处理 Base64 编码和多模态消息结构：

import openai
import base64
import os
from openai import OpenAI

def encode_image(image_path):
    """将图像文件编码为 base64"""
    with open(image_path, "rb") as image_file:
        return base64.b64encode(image_file.read()).decode("utf-8")

def multimodal_chat(image_path=None, text_prompt="描述这张图片"):
    client = OpenAI(
        api_key="Empty",
        base_url="http://10.10.185.9:8803/v1/"
    )
    messages = [{"role": "system", "content": "你是一个多模态智能助手，可以理解和分析图像内容。"}]
    
    if image_path and os.path.exists(image_path):
        base64_image = encode_image(image_path)
        user_content = [
            {"type": "text", "text": text_prompt},
            {"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{base64_image}"}}
        ]
    else:
        user_content = text_prompt
    
    messages.append({"role": "user", "content": user_content})
    payload = {
        "model": "qwen3_vl",
        "messages": messages,
        "temperature": 0.1,
        "max_tokens": 2000
    }
    
    try:
        response = client.chat.completions.create(**payload, timeout=30)
        return response
    except Exception as e:
        print(f"请求失败：{e}")
        return None

if __name__ == "__main__":
    image_path = r"C:\Users\15941\Desktop\临时\副业\宠物\狗头舔脚\2.png"
    prompt = "描述这张图片中有什么"
    if os.path.exists(image_path):
        res = multimodal_chat(image_path=image_path, text_prompt=prompt)
        if res and res.choices:
            print("\n模型回复:")
            print(res.choices[0].message.content)
        else:
            print("请求失败")

此流程覆盖了从环境到落地的核心环节，根据实际硬件资源调整显存占用和并行度参数即可。