Qwen3-VL 结合 LLaMA-Factory 实现 Grounding 任务 LoRA 微调

微调实战

准备 LLaMA-Factory 环境

克隆 LLaMA-Factory 项目：

git clone https://github.com/hiyouga/LLaMA-Factory
cd LLaMA-Factory

创建虚拟环境并安装依赖：

conda create -n llama-factory python=3.12
conda activate llama-factory
pip install -e ".[torch,metrics]" --no-build-isolation

卸载默认 CPU 版本 Torch 并安装 GPU 版本（以 CUDA 11.8 为例）：

pip uninstall torch torchvision
pip install torch==2.8.0 torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

数据集准备

LLaMA-Factory 需要特定的数据格式。对于 Qwen3-VL 的 Grounding 任务，需注意坐标归一化问题：Qwen2.5-VL 使用绝对坐标，而 Qwen3-VL 使用 0-1000 的相对坐标。

若你的数据源是 YOLO 格式，可使用以下脚本转换为 Qwen3-VL-Grounding 格式。该脚本会将 YOLO 的归一化坐标映射到 0-1000 的整数范围，并构建符合 ShareGPT 格式的对话数据。

import os
import json
from tqdm import tqdm

# ================== 需要你修改的路径 ==================
IMAGE_DIR = "images"          # 例如：qwen3_vl_grounding_train/images
LABEL_DIR = "labels"          # 例如：qwen3_vl_grounding_train/labels
OUTPUT_JSON = "qwen3_vl_grounding_mllm.json"
CLASS_ID2NAME = {              # 类别 id -> 名称（可选）
    0: "house",
    # 1: "car",
    # ...
}
USE_ONLY_CLASS_IDS = None     # 只保留哪些类别（可选）
USER_PROMPT = (
    "<image>\n"
    "Locate all objects in this image and output the bbox coordinates "
    "in JSON format using relative coordinates in the range [0, 1000]."
)

# ================== 坐标工具函数 ==================
def yolo_to_xyxy_relative(xc, yc, w, h):
    """YOLO 归一化坐标 (xc, yc, w, h) ∈ [0,1] -> 相对坐标系下的四点 [x_min, y_min, x_max, y_max]"""
    x_min = xc - w / 2
    y_min = yc - h / 2
    x_max = xc + w / 2
    y_max = yc + h / 2
    x_min = max(0.0, min(1.0, x_min))
    y_min = max(0.0, min(1.0, y_min))
    x_max = max(0.0, min(1.0, x_max))
    y_max = max(0.0, min(1.0, y_max))
    return [x_min, y_min, x_max, y_max]

def scale_to_qwen_coords(xyxy_rel, scale=1000):
    """[0,1] -> [0, scale]，Qwen3-VL 默认 scale=1000 返回整数坐标"""
    x_min, y_min, x_max, y_max = xyxy_rel
    return [
        int(round(x_min * scale)),
        int(round(y_min * scale)),
        int(round(x_max * scale)),
        int(round(y_max * scale)),
    ]

def collect_image_files(image_dir):
    exts = {".jpg", ".jpeg", ".png", ".bmp", ".webp"}
    files = []
    for fname in os.listdir(image_dir):
        if os.path.splitext(fname)[1].lower() in exts:
            files.append(fname)
    return sorted(files)

# ================== 主逻辑 ==================
def main():
    image_files = collect_image_files(IMAGE_DIR)
    if not image_files:
        print(f"No images found in {IMAGE_DIR}")
        return
    dataset = []
    for img_name in tqdm(image_files, desc="Converting"):
        img_path = os.path.join(IMAGE_DIR, img_name)
        img_rel_or_abs = os.path.abspath(img_path)
        base, _ = os.path.splitext(img_name)
        label_path = os.path.join(LABEL_DIR, base + ".txt")
        if not os.path.exists(label_path):
            continue
        bboxes_qwen = []
        cls_ids = []
        with open(label_path, "r", encoding="utf-8") as f:
            for line in f:
                line = line.strip()
                if not line:
                    continue
                parts = line.split()
                if len(parts) < 5:
                    print(f"Label format error in {label_path}: {line}")
                    continue
                cls_id = int(parts[0])
                if USE_ONLY_CLASS_IDS is not None and cls_id not in USE_ONLY_CLASS_IDS:
                    continue
                xc = float(parts[1])
                yc = float(parts[2])
                w = float(parts[3])
                h = float(parts[4])
                xyxy_rel = yolo_to_xyxy_relative(xc, yc, w, h)
                xyxy_qwen = scale_to_qwen_coords(xyxy_rel, scale=1000)
                bboxes_qwen.append(xyxy_qwen)
                cls_ids.append(cls_id)
        if not bboxes_qwen:
            continue
        objects = []
        for cid, box in zip(cls_ids, bboxes_qwen):
            obj = {"cls_id": cid, "bbox_2d": box}
            if cid in CLASS_ID2NAME:
                obj["cls_name"] = CLASS_ID2NAME[cid]
            objects.append(obj)
        answer_obj = {"objects": objects}
        answer_str = json.dumps(answer_obj, ensure_ascii=False)
        sample = {
            "conversations": [
                {"from": "human", "value": USER_PROMPT},
                {"from": "gpt", "value": answer_str}
            ],
            "images": [img_rel_or_abs]
        }
        dataset.append(sample)
    with open(OUTPUT_JSON, "w", encoding="utf-8") as f:
        json.dump(dataset, f, ensure_ascii=False, indent=2)
    print(f"Done. Wrote {len(dataset)} samples to {OUTPUT_JSON}")

if __name__ == "__main__":
    main()

将生成的 JSON 文件放入 LLaMA-Factory/data 目录下。

启动可视化界面

进入项目目录并启动 WebUI：

cd LLaMA-Factory
llamafactory-cli webui

配置训练参数

在可视化界面中，需关注以下关键设置：

• 语言与模型：选择中文及对应的 Qwen3-VL 模型。
• 计算类型：推荐使用 Pure_bf16，更省显存。
• 数据集配置：修改 data/dataset_info.json 文件，添加自定义数据集配置：

"qwen3_vl_grounding_mllm": {
    "file_name": "qwen3_vl_grounding_mllm.json",
    "formatting": "sharegpt",
    "columns": {
        "messages": "conversations",
        "images": "images"
    }
}

保存后，在 WebUI 的数据集栏即可看到新增选项。依次点击'保存训练参数'、'载入训练参数'、'开始训练'。

验证与导出

训练完成后，可在 Chat 页面加载微调后的模型进行问答测试。输入图片和提示词，观察模型对 Grounding 任务的响应是否准确。最后通过导出功能保存微调后的权重文件。