Qwen2.5-Math 开源模型实战:从本地部署到奥数题推理验证
在 Qwen2.5 全家桶中,除了常规的大语言模型和专门针对编程的 Coder 模型外,还有一个专门针对数学的 Qwen2.5-Math 模型。它号称是领先的数学开源大语言模型,本文将通过奥数题目来验证其强大之处。
我们将通过以下三个主要部分来完成 Qwen2.5-Math 模型的实战之旅:
- Qwen2.5-Math的基本介绍,了解其特点和能力
- 本地部署Qwen2.5-Math-1.5B模型,体验其数学推理能力
- 选取小学和初中阶段的经典奥数题,让 Qwen2.5-Math-72B 作为 AI 老师进行逻辑推导验证
Qwen2.5-Math 基本介绍、CoT 和 TIR 推理方式
Qwen2.5-Math 明确说明:该模型主要被设计用于通过CoT或TIR的方式解中英数学题,不推荐在其他任务上使用该系列模型。那么,什么是 CoT 和 TIR 推理方式呢?
CoT 推理方式
即思维链(Chain of Thought),主要目的是让大模型一步一步地展现出其推理过程,而不是直接给答案,就像人类逻辑思维过程一样,通过多步分解的方式,能更好地理解和解决复杂问题。如下数学题目的解答过程:
- 题目:小明有 10 个苹果,他给了小红 3 个苹果,然后又买了 5 个苹果,请问小明现在有几个苹果?
- CoT 推理过程:
- 第一步:小明最初有 10 个苹果。
- 第二步:小明给了小红 3 个苹果,所以现在剩下 10-3=7 个苹果。
- 第三步:小明又买了 5 个苹果,所以现在共有 7+5=12 个苹果。
- 答案:现在小明有 12 个苹果。
TIR 推理方式
即工具集成推理(Tool integrated Reasoning),就是在推理过程中使用外部工具(如使用 Python 执行代码获取结果)。TIR 是 Qwen2.5-Math 的新特性,它能显著提升中英文的数学解题能力,包括精确计算、符号操作和算法操作等方面。
此外,有关 Qwen2.5-Math 的预训练架构设计有个特别有趣的地方:Qwen2.5-Math的部分预训练数据,竟然是由Qwen2-Math-Instruct 模型提供的,这种自我迭代机制使得模型表现更加出色。
更多 Qwen2.5-Math 的详细介绍,可查看官网。
Qwen2.5-Math 本地部署和体验
我们先本地部署 Qwen2.5-Math 模型,然后进行简单的数学题推理。由于硬件配置限制,本次演示我们使用1.5B参数版本(大家可根据自己硬件配置,选择不同的参数量版本)。我们通过以下步骤完成整个流程:
第一步:下载 Qwen2.5-Math 模型权重文件
存放权重文件目录:Qwen2.5-Math-1.5B-Instruct
# Git 大文件系统
git lfs install
# 下载模型权重文件
git clone https://www.modelscope.cn/qwen/Qwen2.5-math-1.5B-Instruct.git Qwen2.5-Math-1.5B-Instruct
若下载过程中异常中断,可以通过 git lfs install 命令继续下载:
Qwen2.5-Math-1.5B-Instruct
git lfs pull


