多模态大模型解析：InternVL-v1.5 与 Qwen2VL 架构对比

为此，InternVL-v1.5 引入了 Pixel Shuffle 算法：

• 输入：ViT 输出的 (1024, hidden_dim) 序列。
• 变换：Reshape 为 (32, 32, hidden_dim) 的特征图。
• 操作：每个 2x2 区域为基础单元进行像素重排，得到 (16, 16, hidden_dim*4) 的特征图。
• 输出：Flatten 得到 (256, hidden_dim*4) 的序列。

这一过程将单张图片的序列长度从 1024 降低至 256，大幅减少了后续 LLM 的输入负载。模型整体架构中，使用 MLP 将对齐后的视觉特征与 InternLM2-Chat-20B 作为语言模型进行连接。

2.4 训练数据集

为了提升通用能力和 OCR 能力，InternVL-v1.5 采用了两阶段训练策略：

1. 预训练阶段：仅训练 ViT 和 MLP 部分。数据集包含基础能力训练，如图像简单描述、目标检测和 OCR。序列长度设为 4096，max_patches 设为 7。
2. 微调阶段 (Finetune)：包含各种复杂任务，如图像详细描述、表格理解、图像问答等。

此外，为提升中文场景理解能力，InternVL-v1.5 利用 LLM 将大量英文数据集翻译为中文，并使用 PaddleOCR 和 Wukong 数据集生成了专门的 Wukong-ocr 数据集。

三、Qwen2VL 深度解析

3.1 核心改进点

相较于 InternVL-v1.5，Qwen2VL 在以下方面进行了改进：

• 模型尺度：ViT 模型大小固定在 675M；LLM 大小分为 1.5B、7.6B 和 72B 三个版本。
• 图像预处理：不仅关注图像宽高，还关注图像分辨率。分辨率越高的图像，使用更多的视觉 Token 来表示。
• 统一的多模态 RoPE 位置编码：开发了一套位置编码，用于表示视觉、视频和文字的位置信息。

3.2 动态分辨率 (Dynamic Resolution)

InternVL 系列虽然支持动态长宽比，但在实际应用时更多考虑的是长宽比而非分辨率。Qwen2VL 的图像转序列模块则同时考虑了这两者，极大程度上提升了推理效率。

实现流程：

1. 图像预处理：以 512x512 图像为例，resize 成 504x504（能被 28 整除）。分为 36x36 个 patch，每个 patch 大小为 14x14x3。Channel 维度重复一次（用于统一视频处理逻辑），得到 36x36 个 patch，大小为 14x14x3x2。最后 Flatten 得到 (1296, 1176) 的序列。
2. 视觉编码：预处理后的序列先经过 3D 卷积变为 (1296, 1280)，作用相当于 FFN。随后过 ViT 得到 img_emb。由于输入长宽均能被 28 整除，得到的 seq_len 一定能被 4 整除。
3. 序列压缩：将 img_emb reshape 为 (324, 5120)，并使用 FFN 将 hidden 维度与大模型对齐。

这种机制允许模型根据图像分辨率分配 token 数量，资源消耗更加合理。例如，对于低分辨率图像，Qwen2VL 分配的 token 远少于 InternVL-v1.5，从而节省算力。

3.3 统一的多模态 RoPE 位置编码

为了统一文本、图像和视频的处理，Qwen2VL 提出了 Multimodal Rotary Position Embedding (M-RoPE)。每个 token 拥有三个 position_id：

• Temporal Position IDs：时间 ID（纯文本中表示原始位置，图片或视频中表示时间/帧位置）。
• Height Position IDs：高度 ID（纯文本中与时间 ID 一致，视频和图片中表示垂直位置）。
• Width Position IDs：宽度 ID（纯文本中与时间 ID 一致，视频和图片中表示水平位置）。

合成机制： 在生成单个 token 的最终位置 embedding 时，Qwen2VL 分别生成时间、高度和宽度的 rope 位置编码，并保证这三个维度都均有高维区域和低维区域。这种设计保证了后续 pos id 比前序 pos id 大，且能有效减小 position_id 的值，使模型能用更小的 pos_id 适配更长的序列长度。

3.4 训练过程

Qwen2VL 的训练经过三个阶段：

四、总结

InternVL-v1.5 与 Qwen2VL 代表了多模态大模型在视觉特征提取与序列优化上的重要进展。

InternVL-v1.5 的贡献：

• 引入大 ViT（6B）和长 img_emb，增强了理解富文本图片的潜力。
• 扩充的训练数据集显著提升了 OCR 能力。
• 动态长宽比有效处理了极端长宽比图片，避免了图像变形。

Qwen2VL 的贡献：

• 精细的动态图像预处理方式，根据分辨率分配 token 数量，资源消耗更合理。
• 统一的多模态位置编码（M-RoPE）成功融合了图像、视频和文本，实验证明能提升模型效果。

两者均展示了多模态大模型在处理高分辨率、复杂布局及长序列信息时的最新技术方向。