模型特性 Qwen3-VL 是由阿里云 Qwen 团队开发的多模态大语言模型系列，具备以下核心能力： **空间感知能力大幅提升**：2D grounding 从绝对坐标变为相对坐标，支持判断物体方位、视角变化、遮挡关系，能实现 3D grounding，为复杂场景下的空间推理和具身场景打下基础。 **OCR 支持更多语言及复杂场景**：支持的中英外的语言从 10 种扩展到 32 种，覆盖更多国家和…
Qwen3-VL 是由阿里云 Qwen 团队开发的多模态大语言模型系列，具备以下核心能力：
conda create -n Qwen3-vl python=3.10
conda activate Qwen3-vl
pip install accelerate
pip install qwen-vl-utils==0.0.14
uv pip install -U vllm
git clone https://github.com/QwenLM/Qwen3-VL
权重文件较大，建议使用国内镜像下载。
# 下载前请先安装 ModelScope
pip install modelscope
# 下载完整模型库
modelscope download --model Qwen/Qwen3-VL-2B-Instruct
修改 Qwen/Qwen3-VL-4B-Instruct 为你下载的模型路径，以及图片地址。
from transformers import Qwen3VLForConditionalGeneration, AutoProcessor
import torch
from PIL import Image
def load_qwen3_vl_4b_model():
"""加载 Qwen3-VL-4B-Instruct 模型和处理器"""
model = Qwen3VLForConditionalGeneration.from_pretrained(
"Qwen/Qwen3-VL-4B-Instruct",
torch_dtype=torch.bfloat16,
device_map="auto",
attn_implementation="flash_attention_2" # 可选，用于加速
)
processor = AutoProcessor.from_pretrained("Qwen/Qwen3-VL-4B-Instruct")
return model, processor
def process_multimodal_query(model, processor, image_path, text_query):
"""处理多模态查询（图像 + 文本）"""
# 加载图像
image = Image.open(image_path).convert('RGB')
# 构建消息格式
messages = [
{
"role": "user",
"content": [
{"type": "image", "image": image},
{"type": "text", "text": text_query}
]
}
]
# 预处理输入
inputs = processor.apply_chat_template(
messages, tokenize=True, add_generation_prompt=True, return_dict=True, return_tensors="pt"
)
# 生成输出
generated_ids = model.generate(
**inputs, max_new_tokens=128, do_sample=True, temperature=0.7, top_p=0.8
)
# 解码输出
generated_ids_trimmed = [
out_ids[len(in_ids):] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)
]
output_text = processor.batch_decode(
generated_ids_trimmed, skip_special_tokens=True, clean_up_tokenization_spaces=False
)
return output_text[0] if output_text else ""
# 使用示例
if __name__ == "__main__":
model, processor = load_qwen3_vl_4b_model()
image_path = "example.jpg" # 改为你的图片路径
query = "描述这张图片中的场景和主要对象" # 改为你的提示词
result = process_multimodal_query(model, processor, image_path, query)
print("模型回复：", result)
git clone https://github.com/hiyouga/LLaMA-Factory
conda create -n llama-factory python=3.12
conda activate llama-factory
pip install -e ".[torch,metrics]" --no-build-isolation
卸载默认的 CPU 版本的 torch：
pip uninstall torch torchvision
安装 GPU 版本的 torch，根据你的 CUDA 版本选择；下面是 CUDA 11.8 版本的 torch 安装指令：
pip install torch==2.8.0 torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
LLaMA-Factory 微调所需要的数据格式参考官方文档。注意 Qwen3-VL 使用 0-1000 的相对坐标，记得归一化坐标的大小。准备好数据集后，还需要修改 LLaMA-Factory/data/dataset_info.json 文件，在里面增加上我们所需的文件夹配置。
如果数据集来源是 YOLO 格式，可以使用以下代码转换为 Qwen3-VL-Grounding 格式：
import os
import json
from tqdm import tqdm
# ================== 需要你修改的路径 ==================
IMAGE_DIR = "images" # 例如：qwen3_vl_grounding_train/images
LABEL_DIR = "labels" # 例如：qwen3_vl_grounding_train/labels
OUTPUT_JSON = "qwen3_vl_grounding_mllm.json"
CLASS_ID2NAME = {
0: "house",
# 1: "car",
# ...
}
USE_ONLY_CLASS_IDS = None # 例如只保留房子：USE_ONLY_CLASS_IDS = {0}
USER_PROMPT = (
"<image>\n"
"Locate all objects in this image and output the bbox coordinates "
"in JSON format using relative coordinates in the range [0, 1000]."
)
# ================== 坐标工具函数 ==================
def yolo_to_xyxy_relative(xc, yc, w, h):
"""YOLO 归一化坐标 (xc, yc, w, h) ∈ [0,1] -> 相对坐标系下的四点 [x_min, y_min, x_max, y_max]（仍然是 [0,1]）"""
x_min = xc - w / 2
y_min = yc - h / 2
x_max = xc + w / 2
y_max = yc + h / 2
x_min = max(0.0, min(1.0, x_min))
y_min = max(0.0, min(1.0, y_min))
x_max = max(0.0, min(1.0, x_max))
y_max = max(0.0, min(1.0, y_max))
return [x_min, y_min, x_max, y_max]
():
x_min, y_min, x_max, y_max = xyxy_rel
[
((x_min * scale)),
((y_min * scale)),
((x_max * scale)),
((y_max * scale)),
]
():
exts = {, , , , }
files = []
fname os.listdir(image_dir):
os.path.splitext(fname)[].lower() exts:
files.append(fname)
(files)
():
image_files = collect_image_files(IMAGE_DIR)
image_files:
()
dataset = []
img_name tqdm(image_files, desc=):
img_path = os.path.join(IMAGE_DIR, img_name)
img_rel_or_abs = os.path.abspath(img_path)
base, _ = os.path.splitext(img_name)
label_path = os.path.join(LABEL_DIR, base + )
os.path.exists(label_path):
bboxes_qwen = []
cls_ids = []
(label_path, , encoding=) f:
line f:
line = line.strip()
line:
parts = line.split()
(parts) < :
()
cls_id = (parts[])
USE_ONLY_CLASS_IDS cls_id USE_ONLY_CLASS_IDS:
xc = (parts[])
yc = (parts[])
w = (parts[])
h = (parts[])
xyxy_rel = yolo_to_xyxy_relative(xc, yc, w, h)
xyxy_qwen = scale_to_qwen_coords(xyxy_rel, scale=)
bboxes_qwen.append(xyxy_qwen)
cls_ids.append(cls_id)
bboxes_qwen:
objects = []
cid, box (cls_ids, bboxes_qwen):
obj = {
: cid,
: box
}
cid CLASS_ID2NAME:
obj[] = CLASS_ID2NAME[cid]
objects.append(obj)
answer_obj = {: objects}
answer_str = json.dumps(answer_obj, ensure_ascii=)
sample = {
: [
{: , : USER_PROMPT},
{: , : answer_str}
],
: [img_rel_or_abs]
}
dataset.append(sample)
(OUTPUT_JSON, , encoding=) f:
json.dump(dataset, f, ensure_ascii=, indent=)
()
__name__ == :
main()
将生成的 json 文件放在 LLaMA-Factory/data 路径下面。
cd LLaMA-Factory
llamafactory-cli webui
在可视化界面中修改以下参数：语言、模型、模型路径、模型下载源、计算类型等。
其中计算类型为 Pure_bf16 更省显存。
修改 dataset_info.json，将下面代码夹在文件的最前面，然后可视化界面的数据集那栏就能找到自己的数据集了：
"qwen3_vl_grounding_mllm": {
"file_name": "qwen3_vl_grounding_mllm.json",
"formatting": "sharegpt",
"columns": {
"messages": "conversations",
"images": "images"
}
}
保存训练参数、载入训练参数、开始训练。
点击 Chat，选择训练好模型路径，点击加载模型，进行问答。输入图片和提示词进行测试。
训练完成后，导出模型权重。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online