本文深入解析多模态大模型 InternVL-v1.5 与 Qwen2VL 的核心架构差异。InternVL-v1.5 通过引入 6B 参数量的 ViT、动态长宽比及 Pixel Shuffle 技术，显著提升了图像分辨率理解与 OCR 能力。Qwen2VL 则采用动态分辨率策略，根据图像尺寸分配 Token 数量，并提出了统一的多模态 RoPE 位置编码以融合文本、图像与视频信息。两者均代表了多模态模型在视觉特征对齐与序列长度优化上的重要进展。
在多模态大模型的发展进程中，视觉编码器（Vision Encoder）与大语言模型（LLM）的融合方式经历了显著演变。早期的工作如 Mini-GPT4、Llava、Blip2 和 QwenVL 主要处于第一阶段，侧重于通过堆叠数据和设计训练任务来提升图像理解能力。然而，受限于图像分辨率（通常为 448x448）和视觉特征序列长度，这些模型在 OCR 能力和细节感知上存在瓶颈。
本文重点介绍进入第二阶段的多模态大模型代表：InternVL-v1.5 与 Qwen2VL。InternVL-v1.5 首次将 ViT 参数量扩展至 6B，并引入动态长宽比技术；Qwen2VL 则进一步提出了动态分辨率策略和统一的多模态位置编码。以下将详细解析两者的核心架构差异与技术实现。
相较于第一阶段的模型，InternVL-v1.5 在模型规模与数据处理上进行了重大革新：
| 特性 | 第一阶段模型 | InternVL-v1.5 |
|---|---|---|
| ViT 参数量 | <300M | 6B |
| 图像分辨率 | 448*448 | 4484487 (动态) |
| 视觉特征序列长度 | 512 | 1792 |
| 动态长宽比 | 不支持 | 支持 |
视觉编码器增强：InternVL-v1.5 将 ImageEncoder (ViT) 的参数量扩展到了 6B，显著提升了视觉特征的表达能力。同时，图像分辨率被提升至相当于 7 个 448x448 的 patch，并引入了动态长宽比机制。
数据增强：除了自然场景数据，InternVL-v1.5 还收集了大量文档数据，专门针对算法的 OCR 能力进行了强化。
传统多模态模型通常将图像 resize 到固定的长宽比（如 448x448 或 1344x1344），这会导致两个问题：极端长宽比的图片失真严重，或者固定较大尺寸导致 ViT 产生超长序列消耗算力。
InternVL-v1.5 引入了动态长宽比解决方案，具体流程如下：
max_patches（例如 7），图像会被切分为多个 448x448 的 patch，但总数不超过该限制。max_patches 计算可适配的长宽比组合（长 * 宽 <= max_patches - 1）。优势：
由于动态长宽比的引入，ViT 最多会接受 max_patches 个 448x448 的图片。若不做处理，视觉特征序列长度将达到 max_patches * 1024，导致显存占用过高。
为此，InternVL-v1.5 引入了 Pixel Shuffle 算法：
这一过程将单张图片的序列长度从 1024 降低至 256，大幅减少了后续 LLM 的输入负载。模型整体架构中，使用 MLP 将对齐后的视觉特征与 InternLM2-Chat-20B 作为语言模型进行连接。
为了提升通用能力和 OCR 能力，InternVL-v1.5 采用了两阶段训练策略：
max_patches 设为 7。此外，为提升中文场景理解能力，InternVL-v1.5 利用 LLM 将大量英文数据集翻译为中文，并使用 PaddleOCR 和 Wukong 数据集生成了专门的 Wukong-ocr 数据集。
相较于 InternVL-v1.5，Qwen2VL 在以下方面进行了改进：
InternVL 系列虽然支持动态长宽比，但在实际应用时更多考虑的是长宽比而非分辨率。Qwen2VL 的图像转序列模块则同时考虑了这两者，极大程度上提升了推理效率。
实现流程：
这种机制允许模型根据图像分辨率分配 token 数量，资源消耗更加合理。例如，对于低分辨率图像，Qwen2VL 分配的 token 远少于 InternVL-v1.5，从而节省算力。
为了统一文本、图像和视频的处理，Qwen2VL 提出了 Multimodal Rotary Position Embedding (M-RoPE)。每个 token 拥有三个 position_id：
合成机制： 在生成单个 token 的最终位置 embedding 时，Qwen2VL 分别生成时间、高度和宽度的 rope 位置编码，并保证这三个维度都均有高维区域和低维区域。这种设计保证了后续 pos id 比前序 pos id 大，且能有效减小 position_id 的值，使模型能用更小的 pos_id 适配更长的序列长度。
Qwen2VL 的训练经过三个阶段：
| 训练阶段 | 可训练参数 | 训练数据集介绍 |
|---|---|---|
| 第一阶段预训练 | ViT, Adapter | 共 600B Tokens，主要是图片分类、图文对关系和 OCR 训练任务 |
| 第二阶段预训练 | 全部参数 | 数据集内容同上，数据量增加到 1400B Tokens |
| Finetune 训练 | 全部参数 | 指令跟随数据集，包含图像问答、文档解析、多图理解、视频理解及多 Agent 合作 |
InternVL-v1.5 与 Qwen2VL 代表了多模态大模型在视觉特征提取与序列优化上的重要进展。
InternVL-v1.5 的贡献：
Qwen2VL 的贡献：
两者均展示了多模态大模型在处理高分辨率、复杂布局及长序列信息时的最新技术方向。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online