DeepSeekMath-V2：基于自我验证的数学推理新范式

3.2.2 Verifier 训练过程 -RL

初始强化学习数据集构建流程：

1. 问题采集：从 Art of Problem Solving（AoPS）竞赛中爬取问题，共计 17,503 个问题（只选'必须写证明'的题）。
2. 候选证明生成：使用 DeepSeek-V3.2-Exp-Thinking 的一个变体生成候选证明。（系统性地产生大量'思路合理但存在瑕疵'的真实证明样本）
3. 人工评分：由数学专家根据评分标准给出整体评分 (1/0.5/0),

由此得到初始强化学习数据集：

D_ν = {(X_i, Y_i, s_i)},

其中每个项目包括问题 X_i、证明 Y_i 和总体评分 s_i ∈ {0, 0.5, 1}。

强化学习目标:

基于经过监督微调的 DeepSeek-V3.2-Exp-SFT 训练验证器，使用两个奖励组件：

1. 格式奖励 R_format：指示函数，确保输出包含关键短语
   • "Here is my evaluation of the solution:"
   • "Based on my evaluation, the final overall score should be:" 并在之后给出评分 \boxed{}。
2. 评分奖励 R_score：衡量预测评分 s'_i 与标注评分 s_i 的接近程度： R_score(s'_i, s_i) = 1 - |s'_i - s_i|

最终验证器的强化学习目标为：

max_{π_φ} E_{(X_i, Y_i, s_i)∼D_ν, (V'_i, s'_i)∼π_φ(·|X_i, Y_i)} [R_format(V'_i) · R_score(s'_i, s_i)]

其中 V'_i 表示验证器的最终输出，s'_i 为从中提取的证明评分。

3.3 Meta-Verifier：验证分析的二级审查器

3.3.1 引入的原因与作用

引入 Meta-Verifier 的原因： Verifier 能编出一套'看起来合理'的批评理由，并且分数预测正确，能拿满 reward，从而导致 reward hacking。

Meta-Verifier 用于判断：

• Verifier 指出的问题是否真实存在；
• 所指出的问题是否能够合理支持其给出的证明评分；
• 分析过程是否符合评分标准 I_ν 的逻辑要求。

这个步骤也是通过 prompt 引导来完成的。

3.3.2 Meta-Verifier 训练过程

与 Verifier 训练方式类似，先获得一个初始验证器 π_φ。然后数学专家依据元验证标准 I_m_ν，对 Verifier 生成的证明分析（V_i）的质量进行评分（ms_i ∈ {0, 0.5, 1}），构建元验证数据集：D_m_ν = {(X_i, Y_i, V_i, ms_i)}。 最后训练一个用于分析 Verifier 的证明分析元验证器 π_η(·|X, Y, V, I_m_ν)

Meta-Verifier 的强化学习目标在结构上与 Verifier 相同，同样由格式奖励和评分奖励组成。

3.3.3 将元验证反馈整合进验证器训练

训练完成 Meta-Verifier 后，将其反馈引入 Verifier 的训练过程，将 Verifier 训练时的奖励函数扩展为：

R_V = R_format · R_score · R_meta

其中：

• R_format 约束输出格式；
• R_score 衡量预测评分与专家评分的一致性；
• R_meta 为 Meta-Verifier 给出的分析质量评分。

使用该复合奖励函数训练后，Verifier 的证明分析平均质量评分（由 Meta-Verifier 评估）从 0.85 提升至 0.96；同时保持了证明评分预测的相同准确率。

Meta-Verifier 通过约束'分析本身的真实性'，从根本上缓解了 reward hacking 问题。

3.4 Generator：证明生成器

3.4.1 优化目标的转变

传统数学推理模型的训练目标通常是：最大化最终答案正确率。而此处的 Generator 的优化目标被重定义为最大化 Verifier 给予的验证评分:

max_{π_θ} E_{X_i∼D_p, Y_i∼π_θ(·|X_i)} [R_Y]

其中 R_Y 是由 π_φ(·|X_i, Y_i, I_ν) 产生的证明评分。

这意味着 Generator 会逐步学习生成更完整、更严谨、且更难被否定的证明，而非仅仅追求结论正确。

3.4.2 自我验证训练机制

对于 IMO、CMO 等高难度竞赛问题，生成器往往难以一次性生成完全正确的证明。但是当生成器被提示对自己的证明进行分析时，它倾向于过度自信，即使外部验证器能够轻易发现明显缺陷。这表明生成器本身并不具备严格的自我验证能力。

因此，在训练过程中显式引入自我验证任务，生成器 π_θ 被 Prompt 引导完成两个连续任务：

1. 生成一个证明 Y；
2. 对该证明进行自我分析 Z，其格式与评分标准 I_ν 与验证器完全一致。（自我分析中给出的预测证明评分记为 s'）

... ## Solution // 最终解答 ## Self Evaluation Here is my evaluation of the solution: // 对解答的详细分析和自我评估 Based on my evaluation, the final overall score should be: \boxed{...} --- Here is your task input: ## Problem {quesiton}

为确保自我评估的可靠性，使用外部验证器 π_φ 对两个部分分别进行评估：

• 证明 Y 获得评分 R_Y = s；
• 自我分析 Z 获得元验证评分 R_meta(Z) = ms。

最终的强化学习奖励函数定义为：

R = R_format(Y, Z) · (α · R_Y + β · R_Z) R_Z = R_score(s', s) · R_meta(Z)

其中：

• R_score(s', s) 奖励自我评分与外部验证评分的一致性；
• 权重系数设置为 α = 0.76，β = 0.24。

该奖励结构在训练中形成了明确的激励机制：

• 如实承认错误 比虚假宣称正确性获得更高奖励；
• 最高奖励来自于 生成正确证明并准确判断其严谨性；
• 对生成器而言，在最终输出前主动发现并修复问题是一种更优策略。

3.5 Verifier 与 Generator 的协同进化

验证器与生成器并非独立优化，而是形成一个持续演化的闭环系统：

• 验证器为生成器提供高质量、结构化的训练信号；
• 随着生成器能力提升，其生成的证明不断逼近验证器当前能力边界，从而反过来推动验证器进化。

这些'困难样本'（即在一次验证中未被成功否定的证明）构成了后续提升验证能力的关键训练数据来源。

3.5.1 自动化协同标注流程

1. 对每个证明生成 n 个独立的验证器分析；
2. 对评分为 0 或 0.5 的分析，生成 m 个元验证评估，若多数确认问题真实存在，则该分析被视为有效；
3. 对每个证明：
   • 若至少有 k 个有效分析给出最低评分，则证明被标记为该评分；
   • 若所有验证尝试均未发现合法问题，则标记为 1；
   • 否则证明被丢弃或交由专家审查。

在最后两轮训练迭代中，该流程完全取代人工标注，且自动标签与专家判断保持高度一致。

3.5.2 类 GAN 视角下的协同进化机制分析

从机制角度看，Verifier–Generator 的协同进化过程在结构上与生成对抗网络（GAN）存在一定相似性，但二者在优化目标与训练稳定性设计上具有本质差异。

GAN 与 DeepSeekMath-V2 的对应关系

在两者中，系统能力的提升均由'当前模型无法处理的样本'所驱动。

GAN 与 DeepSeekMath-V2 的核心差异

其中，Meta-Verifier 的引入尤为重要，它为验证器的分析质量提供了额外约束，用于评估其所指出问题的真实性与合理性，从而降低验证器通过生成表面合理但实际无效的批评来获得奖励的风险，避免训练过程中的 reward hacking 现象。

从这一视角看，DeepSeekMath-V2 的协同进化机制并非简单的对抗学习，而更接近一种以验证能力为约束、以困难样本为驱动的渐进式自举（bootstrapping）推理能力扩展机制。这种设计使系统能够在极少人工标注参与的情况下，持续提升推理严谨性，并实现从'答案正确'向'推理可信'的范式转变。

四、实验

4.1 训练设置

4.1.1 强化学习方法

使用 GRPO 算法作为统一的强化学习方法，训练 Verifier、Generator、Meta-Verifier，只是 Reward 不同。（GRPO 非常适合评分型的奖励（0/0.5/1））

4.1.2 训练顺序

In each iteration, we first optimized proof verification.

每一轮训练顺序是单向的、固定的：先 Verifier，后 Generator（用验证能力指导生成）

The proof generator was then initialized from the verifier checkpoint

Generator 不是独立模型，而是用已具备验证能力的 Verifier 权重作为初始化。

Starting from the second iteration, the proof verifier was initialized with a checkpoint that consolidated both verification and generation capabilities from the previous iteration through rejection fine-tuning.

第二轮迭代开始：Verifier 也继承 Generator 的能力，这个融合通过 Rejection Fine-Tuning (RFT) 完成。

本质：Generator 与 Verifier 的参数初始化是共享/继承的，而不是长期对抗的。

大致流程图如下：

Rejection Fine-Tuning
Base LLM
Train Verifier (GRPO)
Verifier Checkpoint
Initialize Generator
Train Generator (Self-Verification RL)
Consolidated Model (Verifier + Generator)

4.1.3 实验结果

使用训练出的 Verifier 打分如图：

[图片：Verifier 打分效果示意图]

4.2 生成 → 自我分析 → 再生成

对于 IMO、CMO 这类高难度竞赛题，模型往往难以在单次生成（128K token 限制）内给出完整、严谨的证明。

This approach first generates a proof with self-analysis, then iteratively re-prompts the generator with its previous output.

通过'生成 → 自我分析 → 再生成'的循环精炼机制，可以提高证明质量：

1. 初始生成：Generator 先生成一个完整证明，并同时给出自我分析 / 自我评分。若模型在自我验证中判断证明不完美，则显式指出存在的问题。
2. 精炼再提示：将上一轮证明 + 自我指出的问题作为新的上下文，再次提示生成器进行修正。
3. 多轮迭代：重复上述过程，直到自评分达到满分或达到最大精炼轮数（8 次）

[图片：生成 - 分析 - 再生成流程示意图]

4.3 高计算量搜索

尽管序列精炼显著提升了证明质量，但对于最难的问题：

• 错误可能极其隐蔽
• 单条生成路径仍容易陷入局部最优
• 需要更大范围的策略探索 + 严格验证

因此，论文进一步引入大规模并行搜索 + 高强度验证：

1. 候选池初始化：64 个候选证明，每个候选对应 64 次独立验证
2. 迭代修正：
   • 根据平均验证分数，选出得分最高的 64 个证明
   • 将每个候选证明与 8 个随机选取的验证分析配对（优先验证分数低的）
   • 每个证明 - 分析对生成一个改进的证明，随后更新候选池。
   • 终止条件：（1）某个证明通过全部 64 次验证（具有极高置信度）（2）达到最大迭代次数（16 次）

整个过程中生成与验证使用同一个最终模型，即最终的 Generator。

五、小结

DeepSeekMath-V2 提出了一种以自我可验证（Self-Verification）为核心的数学推理训练范式，突破了仅依赖最终答案正确性的传统奖励机制。该方法通过显式训练模型识别并修正自身推理中的潜在问题，使优化目标从'给出正确答案'转向'生成难以被否定的严谨推理过程'。

在方法层面，论文构建了一个由证明生成器（Generator）—证明验证器（Verifier）—元验证器（Meta-Verifier）组成的协同系统，并通过迭代式训练形成稳定的闭环。元验证机制在其中起到了关键约束作用，有效缓解了验证器的幻觉问题和 reward hacking 风险，从而保证了训练过程的可靠性。

该工作的重要技术贡献可以概括为四点：

• 构建了一个具备较高可靠性的、基于大语言模型的数学证明验证器；
• 通过元验证机制显式约束验证分析质量，显著降低幻觉问题；
• 将自我验证纳入生成器的训练目标，引导模型主动发现并修复推理缺陷；
• 通过扩展验证计算与自动化标注流程，减少对人工专家标注的依赖，实现验证能力的持续提升。