使用 Llama-Factory 微调数学解题模型的思维链优化

为了让模型更明确地进入推理模式，我们需要定义一个统一的 prompt 模板。在 Llama-Factory 中，可以通过注册自定义模板来实现这一点：

register_template(
    name="math_cot",
    prompt=[("user", "让我们一步步解决这个问题：{instruction}"), ("assistant", "{output}")],
    separator="\n",
)

然后在配置文件中指定：

template: math_cot

这样，所有输入都会被自动包装成标准的 CoT 格式。训练过程中，模型会逐渐学会将这类引导语与分步解答关联起来，即使在推理阶段没有显式提示，也更倾向于生成带有中间步骤的回答。

进一步提升效果的方法还包括加入少样本示例作为前缀。例如：

问题：一支笔 5 元，买 3 支多少钱？ 解答：每支笔 5 元，买 3 支就是 5 × 3 = 15 元。答：15

问题：一本书有 120 页，每天看 10 页，几天看完？ 解答：总共 120 页，每天看 10 页，需要 120 ÷ 10 = 12 天。答：12

现在请回答：…

这种 few-shot 前缀可以显著增强泛化能力，尤其适用于新题型或边缘情况。你可以将其硬编码进模板，也可以通过动态拼接方式注入测试集。

数据质量比模型规模更重要

很多人误以为只要用更大的模型（比如 70B）就能自动解决推理问题。但实际经验表明，在数学任务中，数据质量和标注一致性往往比参数量影响更大。

举个例子：如果你的数据集中混入了一些跳跃性很强的解答，比如：

'先算周长再求面积……所以答案是 36。'

却没有说明具体怎么算的，模型很可能会学到这种模糊表达的习惯。一旦遇到类似结构的问题，它也会跳过关键步骤，导致'看似合理实则错误'。

因此，在构建训练集时建议遵循以下原则：

• 所有答案必须包含清晰的因果链条；
• 统一使用相同的起始句式（如'让我们一步步解决这个问题'）；
• 避免使用缩写或口语化表达；
• 覆盖常见易错点，如单位转换、负数运算、括号优先级等；
• 分层设计难度，避免过度集中在简单算术题上造成过拟合。

此外，还可以引入外部校验机制。例如，利用 SymPy 对代数题的中间步骤进行符号验证，剔除逻辑不一致的样本。虽然这会增加预处理成本，但从长期来看能显著提升模型鲁棒性。

实战工作流：从零搭建一个数学辅导模型

下面是一个典型的端到端实践路径，适合中小型团队快速验证 CoT 微调的效果。

第一步：环境准备

git clone https://github.com/hiyouga/Llama-Factory.git
cd Llama-Factory
pip install -r requirements.txt

推荐使用 Python 3.10+ 和 PyTorch 2.0+ 环境。若显存有限，务必安装 bitsandbytes-cudaXXX 支持 4-bit 量化。

第二步：启动 WebUI

gradio src/webui.py

访问 http://localhost:7860，你会看到一个图形化界面，支持上传数据集、选择模型、调整参数并实时监控训练状态。对于非技术背景的教研人员来说，这是非常友好的协作入口。

第三步：准备数据

将收集的数学题整理为 Alpaca 格式的 JSON 文件：

[
  {
    "instruction": "一辆汽车每小时行驶 60 公里，3 小时能走多远？",
    "input": "",
    "output": "速度 × 时间 = 距离，即 60 × 3 = 180 公里。答：180"
  }
]

存放在 data/math_cot_dataset/ 目录下，并在 WebUI 中注册该数据集名称。

第四步：开始训练

在 WebUI 或 YAML 中设置如下关键参数：

点击'开始训练'后，系统会自动加载模型、分词、注入 LoRA 适配器并启动训练。你可以在页面上实时查看 loss 曲线和 GPU 利用率。

第五步：评估与部署

训练结束后，使用保留的测试集进行评估。除了传统的最终答案准确率外，还应关注：

• 推理步骤完整性（是否缺失关键环节）
• 数学表达规范性（是否有歧义表述）
• 错误类型分布（是否反复犯同类错误）

可以借助 BLEU、ROUGE 或更专业的 NLI 模型来打分，辅助人工审核。

最终导出合并后的模型权重，通过 HuggingFace Hub 或本地 API 服务部署。例如使用 vLLM 提供高吞吐推理：

from vllm import LLM, SamplingParams
llm = LLM(model="output/qwen-7b-lora-math-merged")
sampling_params = SamplingParams(temperature=0.7, max_tokens=512)
outputs = llm.generate(["让我们一步步解决这个问题：..."], sampling_params)
print(outputs[0].text)

工程之外的设计考量

成功的 AI 教育产品不仅是技术问题，更是系统设计问题。在应用层面还需注意以下几个方面：

硬件选型建议

• LoRA 微调 7B 模型：RTX 3090 / 4090（24GB VRAM）足够；
• QLoRA 微调：可在 RTX 3090 上完成，显存压至 10GB 以下；
• 全参数微调：需至少 2×A100 80GB + DeepSpeed ZeRO-2；
• 推理部署：7B 模型可用 llama.cpp 在 Mac M 系列芯片离线运行。

安全与合规

• 过滤涉及赌博、暴力、隐私的应用题（如'赌博赢了多少钱'）；
• 添加版权声明，尊重原始数据来源（如 GSM8K、Math23K）；
• 输出中避免绝对化断言，增加'建议核对计算过程'类提示。

持续迭代机制

• 建立用户反馈闭环：收集学生提交的错题和模型错误响应；
• 设计增量训练流水线：每周合并新数据重新微调；
• 使用 Git LFS 管理模型版本，确保可追溯。

写在最后：通往可解释 AI 的一条可行路径

当前的大模型发展正从'追求规模'转向'强调可控与可信'。而在教育、医疗、金融等高风险领域，可解释性已经成为落地的关键门槛。

Llama-Factory + 思维链微调的组合，提供了一条低成本、高效率的技术路径。它不要求你拥有超大规模算力，也不依赖神秘的'黑科技'，而是回归本质：用好的数据、合理的架构、工程化的工具，去塑造一个真正有用的专用模型。

未来，随着小型高性能模型（如 Phi-3-mini、TinyLlama）的发展，配合此类轻量微调框架，我们甚至有望在手机端实现本地化的 CoT 推理——这意味着即便在网络不佳的地区，学生也能获得即时、透明的解题指导。

这才是 AI 赋能教育的真正意义：不是取代教师，而是让更多人平等地获得优质思维资源。