MM1 多模态大模型预训练方法、分析与见解

• 平均池化：在 ViT 图像编码器的输出上应用 n×n 平均池化，然后进行线性投影 (n∈{8，12})。
• 注意力池化：由于图像 token 表示与 LLM 输入嵌入处于不同的空间，因此使用 k 个可学习查询的注意力池化是一种自然的方法。通过改变 k 的值，可以改变从单个图像馈送到 LLM 的输入数量 (使用 k∈{64，144})。
• 卷积映射：最近，Honeybee [12] 研究了上述问题，并提出了 C-Abstractor 模块。它被实现为一个 ResNet [41] 块，可以保留局部信息，同时通过自适应池化可以改变图像 token 的数量。

VL 连接器经验：视觉 token 的数量和图像分辨率最为重要，而 VL 连接器的类型影响甚微。如图 4 所示，zero-shot 和小样本性能随着视觉 token 数量或/和图像分辨率的增加而提高。然而，与文献 [12] 所报告的相反，不同的架构设计似乎无法确定地产生更强大的模型。经过指令微调后，所有三种架构在 336px 和 114 个 token 设置下都取得了非常相似的结果。

2.1.3 预训练数据消融

大规模且与任务相关的数据对于训练高性能模型至关重要。通常，模型分两个阶段训练，预训练和指令微调。在前一阶段使用网络规模数据，而在后一阶段使用特定任务的策展数据。在下文中，重点放在预训练阶段，并阐述数据选择。

通常使用两种类型的数据来训练 MLLMs:包含成对文本描述的图像的字幕数据;以及来自网络的交错图像文本文档。注意，字幕数据往往包含与图像高度相关的相对较短的文本。相反，交错数据具有 substantially 更长和更多样化的文本，平均而言与周围图像的相关性较低。最后，包括纯文本数据，以帮助保留底层 LLM 的语言理解能力。完整的数据集列表总结在表 2 中。

这里消融使用与前面相同的模型设置，唯一的例外是在这里进行 200k 步的训练，以充分利用大规模数据训练。还将一组常用的文本任务 (称为 TextCore1) 纳入评估，以更好地评估数据混合的影响。这导致了以下几点经验:

• 数据经验教训 1：交错数据对于 few-shot 和纯文本性能至关重要，而字幕数据提高了 zero-shot 性能。随着字幕数据量的增加，从 25.8% 到 39.3%，zero-shot 性能持续提高。与此同时，对于 4-shot 和 8-shot 性能，至少 50% 的数据为交错数据至关重要，以保持 8-shot 超过 61% 或 4-shot 超过 58%。如果没有，性能将分别大幅下降到 45% 和 43.7%。由于交错数据自然包含多幅相互关联的图像和随附文本，这种数据本质上与 few-shot 测试输入非常相似，这与实证结果是一致的。然而，由于常见评估大量针对字幕问题 (8 个基准中有 3 个是字幕)，字幕数据显著提高了 zero-shot 性能。有趣的是，在小样本设置下，使用交错数据进一步提高了这些相同字幕基准的性能。同样，纯文本性能受益于交错数据，可能是因为交错数据也包含长格式文本。
• 数据经验教训 2：纯文本数据有助于提高 few-shot 和纯文本性能。利用纯文本数据来保持模型的语言理解能力。结合纯文本和字幕数据可提高 few-shot 性能。换句话说，长文本确实可以让模型利用多个图像和文本示例作为上下文来执行更好的问答和字幕。另一方面，将纯文本与交错数据相结合会导致性能略有下降。在这两种情况下，正如 TextCore 数字的提升所示，纯文本性能都有所增加。
• 数据经验教训 3：仔细混合图像和文本数据可以实现最佳多模态性能，同时保持强大的文本理解能力。上述教训引出了如何最好地结合纯文本数据，以实现强大的图像和语言理解。尝试了图像 (字幕和交错) 和纯文本数据之间的几种混合比例。看到，当字幕/交错/文本比率为 5:5:1 时，可以在保持可比的纯文本理解性能的同时，实现良好的多模态性能平衡。
• 数据经验教训 4：合成数据有助于 few-shot 学习。最后，研究了合成字幕数据 VeCap 的重要性。它质量较高，但数量相对较小，仅占所有字幕数据的 7%。如图 5d 所示，它确实在 few-shot 性能上带来了 2.4% 和 4% 的非常小的提升。

2.2 论文的方案

收集了前面消融研究的结果，以确定 MM1 多模态预训练的最终配方:

• 图像编码器：鉴于图像分辨率的重要性，使用分辨率为 378x378px 的 ViT-H 模型，在 DFN-5B 上用 CLIP 目标预训练。
• 视觉语言连接器：由于视觉 token 数量最为重要，使用具有 144 个 token 的 VL 连接器。实际架构似乎无关紧要，选择 C-Abstractor。
• 数据：为了保持 zero-shot 和 few-shot 性能，使用以下仔细混合的 45% 交错图像文本文档、45% 图像文本对文档和 10% 纯文本文档。

为了提高模型性能，将 LLM 大小扩展到 3B、7B 和 30B 参数。底层 LLM 是在同一纯文本数据集上内部训练的。由于 LLM 和视觉编码器都是预训练的，将它们用作 MM1 的初始化，并在上述数据混合上进行 200k 步 (约 100B 个 token) 的多模态预训练。所有模型都是完全解冻预训练的，序列长度为 4096，每个序列最多 16 幅 378x378 分辨率的图像，批量大小为 512 个序列。所有模型都使用 AXLearn 框架进行训练。

Model Scaling：在这个规模上进行适当的超参数搜索是不可行的。相反，利用 LLM 的已建立的缩放特性，在小规模 9M、85M、302M 和 1.2B 上进行学习率的网格搜索。

在初步实验中发现，验证损失与下游任务性能没有很强的相关性。因此，直接使用下游 8-shot 平均性能进行曲线拟合。

通过混合专家 (MoE) 扩展：MoE 在保持激活参数不变的情况下扩大了模型总参数量。它可以在不显著牺牲推理速度的情况下享有更大的模型容量。

在实验中，进一步探索通过在语言模型的 FFN 层中添加更多专家来扩展密集模型。MoE 实现通常遵循 GShard 和 ST-MoE。具体来说，使用 Top-2 门控、每个稀疏层 64/32 个专家，并在每隔 2/4 层中用稀疏层替换密集层。采用了一个 0.01 系数的负载均衡损失项，以鼓励更好的专家负载均衡。还采用了一个 0.001 系数的路由器 z-loss 项，以稳定训练。要将密集模型转换为 MoE，只需用 MoE 语言解码器替换密集语言解码器即可。图像编码器和视觉语言连接器保持不变。为训练 MoE，采用与密集主干网络相同的训练超参数，包括训练数据和训练 token 在内的相同训练设置。

多模态预训练结果：通过适当的提示在字幕和 VQA 任务上评估预训练模型。评估 zero-shot 和 few-shot，如表 3 所示，并与报告了 few-shot 预训练性能的少数几个方法进行比较。注意，只将模型与更大的模型进行比较，例如将 30B 模型与两个 80B 模型进行比较。

在 few-shot 性能方面，MM1 优于所有已发表的先前 MLLM 预训练工作。在 30B 上在字幕基准和 VizWiz-QA 基准上看到了卓越的性能。在 VQAv2、TextVQA、OKVQA 上，在这个规模上与 Emu2 相当。对于 zero-shot 性能，即使没有指令微调，模型在所有模型大小的 TextCaps 上表现良好，并且在大多数基准测试中与小规模的 Flamingo-3B 相当。

2.3 监督微调

这里描述的预训练模型之上进行的监督微调 (SFT) 实验。

SFT 数据混合：沿用 LLaVA-1.5 和 LLaVA-NeXT 的做法，从各种数据集中收集了大约 100 万个 SFT 示例，包括:

• 由 GPT-4 和 GPT-4V 生成的指令 - 响应对，包括用于对话和复杂推理的 LLaVAConv 和 LLaVA-Complex，以及用于详细图像描述的 ShareGPT-4V;
• 学术任务导向的视觉 - 语言 (VL) 数据集，包括 (i) 用于自然图像的 VQAv2、GQA、OKVQA、A-OKVQA 和 COCO 字幕；(ii) 用于文本丰富图像的 OCRVQA 和 TextCaps；以及 (iii) 用于文档和图表理解的 DVQA、ChartQA、AI2D、DocVQA、InfoVQA 和 Synthdog-En。
• 纯文本 SFT 数据：使用与 ShareGPT 类似的内部数据集，用于保持纯文本指令执行能力。

学术 VL 数据集按照 LLaVA-1.5 的做法格式化为指令执行格式。更多细节见附录 A.3。所有数据集在训练期间混合并随机采样。

在 SFT 期间，保持图像编码器和 LLM 主干网络解冻；其他 SFT 训练细节见附录 B.2。在 12 个基准测试上评估模型 (详见附录 C.2)。

扩展到更高分辨率：直观地说，更高的图像分辨率会带来更好的性能。为支持高分辨率 SFT，使用两种方法:

• 位置嵌入插值：例如在 Qwen-VL 和 BLIP2 中探索过的。经过位置嵌入插值后，视觉 transformer 主干网络在微调期间适应新的分辨率。通过这种方法，成功地对模型进行了微调，支持 448×448、560×560 到 672×672 的图像分辨率。注意，对于 672×672 的分辨率，使用 14×14 的 patch 大小，一幅图像由 2，304 个 token 表示。
• 子图像分解：最近由 SPHINX、Monkey 和 LLaVA-NeXT 引入。在 2，000 多个图像 token 之间计算自注意力在计算上是一个挑战，限制了进一步扩展到更高分辨率的能力。如图 7a 所示，在 SPHINX 的基础上，对于高分辨率输入图像 (如 1344×1344)，构建五幅 672×672 的图像，并将它们作为独立图像馈送到视觉编码器。具体来说，首先将输入图像下采样到 672×672 作为高级表示，同时将输入图像调整大小到 1344×1344，并将调整大小后的图像分成 4 个 672×672 的子图像，这些子图像保留了更多细节的视觉信息。利用每个子图像的位置嵌入插值，在实验中可以支持高达 1792×1792 的图像分辨率。

2.3.1 SFT 结果：消融和分析

与 SOTA 的比较：结果总结在表 4 中。使用 "-Chat" 来表示经过 SFT 的 MM1 模型。首先，平均而言，MM1-3B-Chat 和 MM1-7B-Chat 优于列出的相同大小的所有模型，为这些模型大小设定了新的 SOTA。MM1-3B-Chat 和 MM1-7B-Chat 在 VQAv2、TextVQA、ScienceQA、MMBench 以及更新的基准 (MMMU 和 MathVista) 上表现特别出色。

其次，探索了两个 MoE 模型：具有 64 个专家的 3B-MoE，和具有 32 个专家的 6B-MoE。MoE 模型在几乎每个基准上均优于密集对应模型，显示了 MoE 进一步扩展的巨大潜力，这留作未来工作。

第三，对于 30B 模型大小，MM1-30B-Chat 在 TextVQA、SEED 和 MMMU 上优于 Emu2-Chat37B [106] 和 CogVLM-30B。与同期的 LLaVA-NeXT 相比，在所有方面也取得了有竞争力的性能。然而，LLaVA-NeXT 不支持多图像推理或小样本提示，因为每幅图像被表示为 2，880 个发送到 LLM 的 token，而总数只有 720。这限制了涉及多个图像的某些应用。

图像分辨率的影响：图 7b 显示了输入图像分辨率对 SFT 评估指标平均性能的影响 (有关如何计算元平均的详细信息，请参阅附录 C.3)。与基线 336 像素分辨率模型相比，通过支持 1344×1344 的图像分辨率，可以实现 15% 的相对增长。注意，对于最大的 1792×1792 分辨率，平均性能略有下降。这可能是因为许多评估图像的大小小于此分辨率，并且缩放伪影可能会影响模型性能。

预训练的影响：与大多数最新的 MLLMs 不同，对模型进行了大规模预训练。为评估预训练对最终模型性能的影响，在相同的预训练运行上执行 SFT，但在不同的检查点步骤。对于较早的检查点步骤，模型看到的唯一数据样本比后续检查点步骤少，因此这是衡量预训练数据量重要性的一种方式。在图 7c 中，显示随着模型看到更多的预训练数据，其性能持续提高。

SFT 后的 few-shot 思维链式推理：MM1 由于交错数据而获得了 few-shot 能力。尽管微调数据仅包含单幅图像示例，但发现 MM1-30B-Chat 仍然表现出多图像推理能力。图 2 定性地展示了这一点，在 MathVista [80] 上也有定量体现，在其上评估了思维链式提示的 few-shot 性能:4-shot 性能为 41.9，比 zero-shot(39.4) 高 2.5 分。

表现最佳的高分辨率 SFT 模型每幅图像使用 720 个 token。当使用超过 4 个上下文示例时，由于上下文长度的限制，这将成为一个挑战。为允许使用更多示例，探索了混合分辨率上下文示例的形式，其中以较低分辨率馈送部分示例 (详见附录 C.5)。使用该形式并包含 8 个上下文示例，MathVista 的性能提高到 44.4。

通过预训练学习的经验教训是否也适用于 SFT? 是的。发现 (1) 使用纯字幕数据进行预训练可以提高 SFT 指标，以及 (2) 不同的 VL 连接器架构对最终结果影响甚微。详细的消融结果见附录 C.4。

定性分析：为更好地理解 MM1，在附录 D 中提供了更多定性示例，包括预训练模型和指令调优模型，其中包括交错的图像文本处理和 few-shot 推理。

三、总结

MM1 通过系统的消融实验揭示了多模态大模型构建的关键要素。核心发现包括：高分辨率图像输入（336px 以上）和充足的视觉 token 数量是提升性能的首要因素；交错图文数据对于 few-shot 能力至关重要，而纯文本数据有助于维持语言理解；混合专家（MoE）架构能有效扩展模型容量而不显著增加推理成本。最终方案在 30B 参数规模下实现了 SOTA 级别的 few-shot 性能，并通过高分辨率支持和子图像分解技术突破了传统分辨率限制，展现了在多图像推理和复杂视觉问答任务上的强大潜力。