
批判微调 CFT:以 1/140 成本实现媲美 DeepSeek-R1 的数学推理能力
综述由AI生成批判微调 CFT 是一种受人类批判性思维启发的新范式,旨在让模型学习对有噪声的回答进行批判而非简单模仿。在 Qwen2.5 等基础模型上,CFT 在六个数学基准测试中较 SFT 平均提升 4-10%。该方法仅需在 8 块 H100 GPU 上训练 1 小时,计算成本减少 144 倍,性能可匹敌基于强化学习的 DeepSeek-r1 复制模型。通过构建包含 5 万样本的 WebInstruct 数据集并利用 GPT-4o 生成批评数据,C…











