本文全面回顾了多模态大语言模型（MLLMs）时代的数学推理研究进展。文章从基准、方法论和挑战三个维度展开分析，梳理了自 2021 年以来 Math-LLMs 的发展脉络，包括 GPT-f、Minerva 等标志性模型。内容涵盖数据集、任务类型及评估标准的演变，并将方法论分类为推理者、增强者和规划者三种范式。针对当前研究现状，文章指出了多模态对齐、推理深度、评估体系、数据稀缺及计算效率等五大核心挑战，为未来实现具备复杂数学推理能力的 AGI 系统提供了理论参考与技术路径指引。
数学推理作为人类认知的核心方面，在许多领域中至关重要，从教育问题解决到科学进展都离不开它。随着人工通用智能（AGI）的发展，将大语言模型（LLMs）与数学推理任务相结合变得愈发重要。本研究是对多模态大语言模型（MLLMs）时代数学推理的首次全面分析。我们回顾了自 2021 年以来发布的 200 多篇相关研究，重点分析了数学 - 大语言模型（Math-LLMs）领域的最新进展，特别是在多模态设置下的应用。我们将该领域划分为三个维度：基准、方法论和挑战。特别地，我们探讨了多模态数学推理流程，及其中文化的（M）LLMs 和相关方法论的角色。最后，我们识别出五个主要挑战，这些挑战阻碍了该领域 AGI 的实现，并为提升多模态推理能力提供了见解。本综述为研究界提供了重要资源，助力大语言模型在处理复杂多模态推理任务时的能力提升。
数学推理是人类认知能力的关键方面，涉及通过逻辑和系统化思维从一组前提推导结论的过程。它在许多应用领域中发挥着重要作用，从教育中的问题解决到科学发现的突破。随着人工通用智能（AGI）的不断发展，将大语言模型（LLMs）与数学推理任务相结合变得愈加重要。这些模型在语言理解方面具有卓越的能力，能够模拟曾被认为是人类特有的复杂推理过程。近年来，学术界和工业界都日益关注这一方向。
数学推理任务的输入是多样化的，不仅限于传统的文本输入，还扩展到多模态设置。数学问题通常不仅涉及文本信息，还包括视觉元素，如图表、图形或方程式，它们为解决问题提供了必要的背景。在过去的一年中，多模态数学推理已成为多模态大语言模型（MLLMs）的研究重点。这一转变源于认识到，像数学这样的推理任务需要能够同时整合和处理多种模态的模型，才能实现类似人类的推理表现。
然而，多模态数学推理面临着显著的挑战，包括不同模态之间的复杂交互、对深层语义理解的需求，以及跨模态背景信息保持的重要性。这些挑战是实现 AGI 的核心问题，模型必须能够无缝地整合多种知识形式，执行复杂的推理任务。
自 2021 年以来，随着 LLM 的快速发展，数学特定的大语言模型（Math-LLMs）数量稳步增长，并且支持多语言和多模态能力的水平也有所提升。这一领域的标志性进展包括 GPT-f 和 Minerva 的推出，前者突出了定理证明能力的进展，后者则展示了数学问题理解的提升。随后出现的 Hypertree Proof Search 和 Jiuzhang 1.0 进一步巩固了这一趋势。
2023 年，随着 SkyworkMath 等模型的推出，出现了多样化和专业化的趋势，并且增强了多模态支持。在 2024 年，数学指导（如 Qwen2.5-Math）和证明（如 DeepSeek-Proof）能力得到了显著提升。此外，本年度还涌现出一些带有视觉组件的 Math-LLM，如 MathGLM-Vision，标志着模型开始具备处理图像化数学问题的能力。
以往的综述未能全面捕捉到多模态大语言模型时代数学推理的进展与挑战。一些研究集中于深度学习技术在数学推理中的应用或特定领域，如定理证明，但忽视了 LLM 崛起所带来的快速进展。另一些则扩展了范围，讨论了 LLM 在教育或数学领域中的作用，但未深入探讨多模态设置下数学推理的发展和挑战。
因此，本综述旨在填补这一空白，首次全面分析多模态大语言模型时代数学推理的现状，重点关注三个关键维度：基准、方法论和挑战。本文回顾了自 2021 年以来，AI 领域关于基于（M）LLM 的数学推理的 200 多篇相关文献，并总结了 Math-LLM 的进展。
首先从基准的角度分析该领域，讨论 LLM-based 数学推理任务的三个关键方面：数据集、任务和评估。接下来，探讨（M）LLM 在数学推理中的作用，并将其分类为推理者、增强者和规划者。最后，识别出多模态大语言模型时代数学推理面临的五大核心挑战。
基准测试在推动大语言模型（LLM）研究方面发挥着至关重要的作用，因为它为评估推理任务的表现提供了标准化、可复现的流程。虽然像 GSM8K 和 MathQA 这样的先前基准在 LLM 出现之前发挥了重要作用，但我们关注的重点是与（M）LLM 相关的基准。
当前的基准测试涵盖了从基础算术到复杂几何证明的广泛任务。GSM8K 专注于小学级别的数学问题，而更高级的基准则涉及竞赛级数学题。在多模态设置下，数据集开始包含图表、公式图片等视觉输入，要求模型不仅能阅读文本，还能解析视觉符号。
评估不再仅仅依赖最终答案的正确性，而是逐渐引入对推理步骤的验证。部分研究集中在错误检测或其他任务上，例如将错误修正和后续问答作为评估任务，以衡量模型的自我反思和纠错能力。
多模态大语言模型（MLLMs）已被应用于多种方式，以解决广泛的数学推理任务。根据近期方法论的全面回顾，我们将相关研究分类为三种不同的范式：
研究发现，当前以方法为导向的研究主要集中在单一模态设置上，大多数研究仅关注代数任务。然而，自 2024 年以来，越来越多的多模态方法被引入，将数学推理的范围扩展到几何、图形，甚至更广泛的数学概念。这一转变标志着通过多模态学习增强模型鲁棒性的兴趣日益增长，因为它能够应对数学问题的多样性。
尽管取得了显著进展，多模态大语言模型时代数学推理仍面临五大核心挑战，这些挑战阻碍了该领域 AGI 的实现：
在本综述中，我们全面回顾了多模态大语言模型（MLLMs）背景下数学推理的进展与挑战。我们强调了 Math-LLMs 发展的重要进展，以及多模态集成在解决复杂推理任务中的日益重要性。我们识别出了五个关键挑战，这些挑战对继续发展能够执行复杂数学推理任务的 AGI 系统至关重要。
随着研究的持续推进，解决这些挑战对于释放 LLM 在多模态设置中的全部潜力至关重要。我们希望本综述为未来的 LLM 研究提供有价值的见解，最终推动 AI 系统在数学推理方面达到更高的效能和更接近人类的能力。未来的工作应致力于构建更强大的多模态对齐机制，开发更高效的推理架构，并建立更全面的数据集和评估体系，以加速数学推理向通用人工智能迈进的步伐。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
