Math-LLaVA：增强多模态大语言模型的数学推理能力

在获取 24 个源数据集后，论文根据以下标准有意识地从原始图像中选择数据：

1. 图像的清晰度，因为质量差的图像会引入噪声并干扰图像语义的学习；
2. 图像的理解复杂度，从简单到复杂不等。通过将图像分类为不同的复杂度级别并按比例选择，论文可以形成一个具有适当难度分布的训练集；
3. 相应文本问题数据的质量，确保难度与图像的理解复杂度相匹配。

论文微调了两个 Vision Transformer（ViT）模型，分别用于图像清晰度和图像理解复杂度的分类。由于缺乏标注的图像数据，论文首先从源数据集中均匀且随机地采样了 10K 张图像。这些图像使用 GPT-4V（OpenAI）进行清晰度和理解复杂度的标注。对于图像清晰度，标签 0 表示模糊、质量差的图像，标签 1 表示清晰、质量好的图像。图像理解复杂度由对象数量、它们的位置关系、是否需要数学计算、细节级别、纹理和材质属性决定。图像被分为 0、1、2 和 3 四个评分，评分越低表示视觉上下文理解越容易。基于这 10K 张标注图像，论文使用交叉熵损失训练了两个 ViT 模型，并初始化了全连接层进行分类。

接下来，论文使用图像理解复杂度分类器对筛选后的图像进行评分。大多数图像被分类为中等复杂度，其次是简单，最后是最复杂。考虑到简单图像更容易学习，而复杂图像更难且需要更多参考样本，论文采用从简单到复杂的渐进比例对前三个复杂度类别进行采样。由于评分 3 的图像最为稀缺，论文收集了所有这些图像。论文根据总体复杂度 2:3:4:1 的比例选择了 40K 数据点，确保从每个源数据集中均匀选择不同复杂度的样本。因此，论文获得了 40K 高质量（1, Q, A）真实数据点，这些数据点在图像信息和问题难度上具有多样性和渐进性。

图 2：论文在 GPT-4V API 中用于图像标注的提示模板。图像清晰度被视为二元分类，而图像理解复杂度被视为多分类

2.2.2 数据增强

2.2.2.1 挖掘图像以生成 QA

在选择了 40K 多模态推理数据后，论文观察到每张图像通常对应有限的问题。原始问题往往仅关注局部算术差异。然而，还可以提出关于总体平均值、连续变化等问题，表明仅通过一个问题并未充分利用图像的视觉信息。因此，论文可以通过为每张图像生成更多的问题 - 答案对来进一步增强可用真实数据。

论文使用 GPT-4V 根据输入图像和原始问题生成额外的问题。如果以零样本方式生成问题，它们往往聚焦于单方面的视觉场景，缺乏推理和数学技能。对于来自特定任务的图像，如几何图形，应提出更多任务特定的问题。因此，论文采用少样本示范方法让 GPT-4V 生成新问题。

对于属于某一类别（FQA、GPS、MWP、TQA、VQA）的图像，论文首先将每个任务类别内的源数据集问题内部聚类为五个类别。具体来说，使用 TF-IDF 获取文本问题的特征，并使用 K-Means 进行聚类。如图 4 所示，论文以 IconQA 为例。在训练集中对问题进行聚类后，每个聚类内部代表一种特定的提问格式和模式，可供参考。通过从属于某个任务类型的每个源数据集的每个聚类中随机抽取一个问题来构建示范。

生成输入图像新问题的提示如图 3 所示。这种方法确保新生成的问题与原始参考问题的分布一致，同时提高多样性。通过这种方法，论文基于选定的 40K 数据点生成了 200K 个新的问题 - 答案对。

图 3：论文使用的 GPT-4V API 提示模板为每个输入图像生成额外问题。演示通过从每个源数据集的每个集群中随机抽取一个问题构建，以适应特定任务类型

2.2.2.2 原始问题增强

论文设计了提示来增强原始问题。使用 GPT-4V，论文生成了 40K 个更复杂的问题、40K 个简化的问题和 40K 个改写的问题。增强主要集中在以下方面：

• 复杂性： 更复杂的推理样本可以增强微调 LLMs（大型语言模型）的推理能力。论文的第一种方法是在原始图像和相应询问的基础上创建更复杂的问题。
• 逻辑一致性： 鲁棒的多模态大型语言模型（MLLMs）应对给定图像中的相似内容提供一致的回答。论文采用 GPT-4V，通过不同方式提问相同问题，确保答案不变。
• 语义欠规范： 鲁棒的 MLLMs 必须处理语义欠规范问题，即语言信号仅传达了成功交流所需的部分信息。因此，论文在不影响与图像结合的语义理解的前提下，简化了原始问题。

图 5：在论文的 GPT-4V API 中使用的提示模板，用于从原始问题文本生成更复杂、逻辑一致和欠规范的问题

2.3 实验设置

2.3.1 模型与训练

论文采用 LLaVA-1.5 架构作为基础模型，主要包含 Vicuna-v1.5 语言模型和预训练的 Vision Transformer（ViT）作为图像编码器。为了保持基础模型卓越的视觉感知和描述能力，论文使用提出的 MathV360K 指令调优数据集对 LLaVA-1.5-13B 进行微调。该数据集中多样的问题模式和丰富的视觉内容增强了模型的多模态数学推理能力，同时保持其通用的视觉 - 语言理解技能。

2.3.2 评估与指标

论文采用零样本方式，使用 MathVista 的 minitest 子集来评估论文的模型。该 minitest 子集包含 1000 个样本，其中包括 540 道多项选择题和 460 道需要以整数、浮点数或列表形式自由作答的问题。Math-Vista 充分评估了 MLLMs 在多模态数学技能方面的能力，涵盖代数推理（ALG）、算术推理（ARI）、几何推理（GEO）、逻辑推理（LOG）、数值常识（NUM）、科学推理（SCD）和统计推理（STA）。此外，Math-Vista 的问题可以分为以下子集：FQA、GPS、MWP、TQA 和 VQA。在评估过程中，论文首先利用 GPT-4 从响应中提取预测选项或答案，然后报告答案准确性，即判断最终答案是否与标准答案匹配。此外，论文还使用 MMMU 基准来评估论文模型的增强泛化能力。

MMMU 基准包含 900 个评估样本，涵盖六个核心学科：艺术与设计、商业、科学、健康与医学、人文与社会科学以及技术与工程，适合评估 MLLMs 推理能力的泛化性。

2.3.3 实施细节

论文利用 GPT-4V（GPT-4 Vision Preview）进行数据生成过程。为了对图像清晰度和理解复杂度进行分类，论文微调了两个 ViT-Large-Patch16-224 模型，每个模型的学习率为 2e-4，训练周期为 5 个 epoch。

对于 LLaVA-1.5-13B 模型，输入图像分辨率设置为 336 乘 336 像素。投影线性层和语言模型均可训练。在微调阶段，论文设置学习率为 2e-5，采用批量大小为 16，并使用配备 80GB 内存的 A800 GPU 进行 2 个周期的微调。

图 4：T-SNE 对 K-Means 的可视化。论文以 IconQA 为例。每个集群的提问格式可以作为参考，用于生成类似视觉内容的新问题

2.4 结果与分析

2.4.1 主要比较：MathVista

论文在 MathVista 基准的 minitest 分割上比较了 Math-LLaVA 与其他多模态语言模型（MLLMs），结果如表 1 所示。如图所示，开源 MLLMs 如 miniGPT4、instructBLIP 和 LLaVA-1.5-13B 在多模态数学方面表现不佳，总体准确率低于 30%。

与基础模型 LLaVA-1.5-13B 相比，其多模态数学能力较差，Math-LLaVA 实现了 46.6% 的总体准确率，显著提升了 19%。更令人惊讶的是，提出的 Math-LLaVA 模型超过了闭源模型 Gemini 1.0 Pro 和 Claude 3 Haiku，甚至达到了与 GPT-4V（OpenAI）相当的性能，最强大的闭源 MLLMs。

Math-LLaVA 在 GPS 子集上达到了 57.7% 的准确率，超过了 G-LLaVA-13B（Gao et al., 2023），后者已在 170K 高质量的几何图像 - 标题和问题 - 答案对上进行了训练。Math-LLaVA 的优越性能表明，高质量、多样化的多模态问题 - 答案对的数据选择和合成在提高 MLLM 的多模态数学推理能力方面是有效的。

表 1：与 MathVista 基准测试 mini 集上的基准对比。基准结果来自 Lu et al. (2023)。"表示论文复现的 LLaVA-1.5-13B 结果。闭源和开源 MLLMs 中的最佳结果以粗体显示。MathVista 分为两种方式：任务类型或数学技能，论文报告每个子集的准确性

2.4.2 Math-LLaVA 的泛化能力

提出的 Math-LLaVA 模型在多模态数学推理任务中展示了出色的性能。为了评估其泛化能力，论文使用包含各种学科和领域的 MMMU 基准进行了评估实验。结果如表 2 所示。仅使用选定的数据，Math-LLaVA 在科学子集上的性能有所下降。

然而，论文可以观察到，在 MathV360K 上微调的 Math-LLaVA 模型在所有六个子领域上都能显著超越基础模型 LLaVA-1.5-13B，以及其他几个开源 MLLMs。这种优越性能突显了其向下的多模态理解和推理任务的泛化能力。此外，使用论文的合成数据进行微调的过程并没有削弱模型在其他领域的推理能力；相反，它增强了其泛化能力。

表 2：在 MMMU 基准上与基线模型的比较

2.4.3 对合成数据集的过拟合问题

提出的数据合成流程为每张图像生成额外的问答对，以增强 MLLMs 的数学推理能力。直观上，应该探究所提出的模型 Math-LLaVA 是否在生成的问答对上发生过拟合。如果发生过拟合，Math-LLaVA 可能会记忆或检索图像信息，而不需要任何视觉输入。

为了检查这一点，论文比较了 Math-LLaVA 在数据合成前后的性能，分别称为 Math-LLaVA-DS 和 Math-LLaVA，在 MathVista 上仅使用文本输入进行测试。如表 3 所示，Math-LLaVA 在没有视觉信息的情况下进行推理时，在 MathVista 上表现出与 Math-LLaVA-DS 相似的性能，约为 32.0%。此外，仅使用文本数据对 Math-LLaVA 进行微调也得到了类似的观察结果。这表明 Math-LLaVA 模型并未在合成的问答对上发生过拟合。

有趣的是，论文也观察到，仅使用文本输入时，LLaVA-1.5-13B 在 MathVista 上的准确率为 23.3%。潜在的原因，如 (Chen et al., 2024b) 所探讨的，可能是 MathVista 中的许多样本不需要视觉内容，并且在 LLMs 和 MLLMs 的预训练过程中可能发生了无意中的数据泄露。

表 3：仅使用 Math-Vista 的文本作为输入进行推理的结果。对 LLaVA-1.5 使用图像 - 文本或纯文本数据进行微调

2.4.4 合成数据的有效性

为了验证数据选择和提出的数据增强策略的有效性，论文对 MathV360K 的各个组件进行了独立实验。首先，论文在源数据集中随机抽取 40K 个数据点对 LLaVA-1.5 模型进行微调，不进行任何选择，以展示数据过滤和比例调整的效果。

随后，论文分别将选定的 40K 数据点与使用四种增强方法生成的数据结合：为 QA 生成挖掘图像（AskImg），提出复杂问题（CompQ），重新表述问题为了逻辑一致性（RephQ），以及简化问题以解决不明确性（SimpQ）。表 4 展示了不同增强组合在 MathVista 上达到的准确率。结果表明，论文的数据合成方法，结合了数据选择和每种增强方法，取得了更好的性能。综合这些策略，相较于随机采样 40K 数据点，实现了显著的 11% 提升。

表 4：数据选择和不同数据增强策略在 MathVista 上的有效性

2.4.5 每种任务类型增强的提升效果

鉴于论文从五种不同的问答任务类型中选择了数据，论文的目标是研究哪些类型或技能在多模态数学推理中可以通过增强每个单独任务类别的源数据得到提升。为此，论文对新数据进行了实验，针对每种任务类型合成的数据，与选定的数据混合。MathVista 上的结果如图 6 所示。

论文观察到，对各种类型的源数据进行增强可以进一步提高模型在相应任务上的性能。特别是在涉及 FQA、MWP 和 VQA 的任务中，增强效果尤为显著。有趣的是，针对单一任务类型的数据增强也显示出对其他任务类型有效性的提升，这可能是因为不同任务之间所需的推理技能存在重叠。

图 6：通过针对每种任务类型的增强在 MathVista 上的准确性

三、总结与展望

Math-LLaVA 通过构建高质量的 MathV360K 数据集，有效解决了多模态大模型在数学推理任务中视觉信息利用不足的问题。实验证明，通过精细的数据筛选、复杂度分级以及多样化的数据增强策略，可以在不牺牲通用视觉理解能力的前提下，显著提升模型在特定数学领域的推理表现。

未来的研究方向可以进一步探索更大规模的数据集构建，以及如何在更复杂的科学图表和物理公式场景中应用此类增强技术。此外，减少对外部闭源模型（如 GPT-4V）的依赖，开发轻量级的数据合成工具，也是推动开源多模态模型发展的重要方向。