Qwen2.5-VL 系列模型正式开源及实测分析

Qwen2.5-VL 系列模型正式开源及实测分析 | 极客日志

Qwen2.5-VL 系列模型正式开源

通义千问团队正式开源了 Qwen2.5-VL 系列视觉语言模型。该系列包含三种尺寸：3B（适合端侧部署）、7B（速度与效果平衡）以及 72B（最强效果）。在多个榜单上，7B 版本已达到开源模型 Top1，72B 版本性能可与 GPT-4o、Claude 3.5 等闭源模型抗衡。

模型架构与特性

Qwen2.5-VL 在视觉编码器部分采用了原生训练的支持动态分辨率的 ViT（Vision Transformer）。

空间维度增强

在空间维度引入大量检测框和点等坐标信息，使模型能够理解空间的尺寸和相对位置关系，这对于表格解析、图表理解等任务至关重要。

时间维度编码

在时间维度引入动态 FPS 和绝对时间编码，使 mRoPE（multi-dimensional Rotary Positional Embedding）的 ids 与时间快慢进行对齐，让模型能够理解视频的时序流速。这使得模型支持长达 1 小时的视频理解，并具备更细粒度的时间感知能力。

核心能力提升

除了基础的对话、指令跟随、数学计算和代码生成能力外，Qwen2.5-VL 还具备以下显著特性：

结构化输出：支持坐标、JSON 等返回格式，便于程序化调用。
Agent 能力：具备更强的智能体能力，可操作手机和电脑界面。
知识解析：具备更全面的知识解析能力，能处理复杂的多模态信息。

实测表现

本次测试主要基于官方提供的在线演示链接进行验证，重点考察表格解析、数学推理及信息抽取能力。

表格解析能力

表格识别是多模态大模型的难点之一。测试涵盖了简单、中等及复杂三种难度的表格。

简单表格：模型解析结果完全正确。
中等表格：包含较多文字及合并单元格交错情况（如第 6、7 行的 2、4 列），此前多数多模态模型在此类场景下表现不佳，但 Qwen2.5-VL-72B 依然完全正确。
复杂表格：结构更为复杂，模型依旧保持高精度解析。

相比 GPT-4o、Claude 及 Gemini 等竞品，Qwen2.5-VL 在表格解析任务上展现了显著优势。

数学推理能力

测试选取了 2024 年高考全国甲卷数学试题（文科及理科）。

文科试题：模型给出的结果正确。
理科试题：模型不仅得出正确答案，还能准确推导出方程 C 的具体形式。

信息抽取与 OCR

单图片信息抽取 + 计算：输入包含中英文数据的统计图，要求分析占比并计算总和，模型回答正确。
单图片理解：针对图片内容提问（如'这张图片里是有两只狗，对吗'），模型判断完全正确。
手写 OCR：针对手写文字提取，模型基本准确，仅个别连笔字存在误差，符合当前技术边界。
多图片信息抽取：输入两张账单图片，询问总花费，模型计算完全正确。

色盲测试

通过红绿色盲测试图验证颜色识别能力。图 1 结果正确，图 2 结果错误，整体通过率约 50%，表明在特定颜色区分任务上仍有优化空间。

快速使用指南

目前相关代码位于 Hugging Face Transformers 主分支，使用前需安装最新版依赖。

环境准备

pip install git+https://github.com/huggingface/transformers accelerate

代码示例

以下是基于 Python 的调用示例：

from transformers import Qwen2_5_VLForConditionalGeneration, AutoTokenizer, AutoProcessor
from qwen_vl_utils import process_vision_info

# 加载模型和处理器
model = Qwen2_5_VLForConditionalGeneration.from_pretrained(
    "Qwen/Qwen2.5-VL-7B-Instruct", torch_dtype="auto", device_map="auto"
)
processor = AutoProcessor.from_pretrained("Qwen/Qwen2.5-VL-7B-Instruct")

# 构造消息
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "image": "https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VL/assets/demo.jpeg"},
            {"type": "text", "text": "Describe this image."}
        ],
    }
]

# 处理输入
text = processor.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=True
)
image_inputs, video_inputs = process_vision_info(messages)
inputs = processor(
    text=[text],
    images=image_inputs,
    videos=video_inputs,
    padding=True,
    return_tensors="pt",
)
inputs = inputs.to("cuda")

# 生成输出
generated_ids = model.generate(**inputs, max_new_tokens=128)
generated_ids_trimmed = [
    out_ids[len(in_ids):] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)
]
output_text = processor.batch_decode(
    generated_ids_trimmed, skip_special_tokens=True, clean_up_tokenization_spaces=False
)
print(output_text)

部署建议

针对不同应用场景，建议选择合适的模型尺寸：

3B 版本：适用于移动端、边缘设备或对延迟敏感的场景，资源占用低。
7B 版本：适用于大多数云端应用，在推理速度和效果之间取得最佳平衡。
72B 版本：适用于对精度要求极高的专业场景，如复杂数据分析、科研辅助等，需要较强的算力支持。

总结

Qwen2.5-VL 系列模型在视觉理解、逻辑推理及结构化输出方面展现了强大的能力，特别是在表格解析和长视频理解上取得了突破性进展。随着生态的完善，该系列模型有望成为多模态应用开发的重要基础设施。

Qwen2.5-VL 系列模型正式开源及实测分析