UC 伯克利开源 450 美元训练成本 32B 推理模型 Sky-T1

为确保这项工作能「惠及更广泛的社区」，团队开源了所有细节（如数据、代码、模型权重），使社区能够轻松复制和改进：

• 基础设施：在单一存储库中构建数据、训练和评估模型；
• 数据：用于训练 Sky-T1-32B-Preview 的 17K 数据；
• 技术细节：技术报告及 wandb 日志；
• 模型权重：32B 模型权重。

技术细节深度解析

数据整理过程

为了生成训练数据，团队使用了 QwQ-32B-Preview，这是一个开源模型，其推理能力与 o1-preview 相当。团队对数据混合进行了整理，以涵盖需要推理的不同领域，并采用拒绝采样程序来提高数据质量。

然后，团队受到 Still-2 的启发，用 GPT-4o-mini 将 QwQ trace 重写为结构规整的版本，以提高数据质量并简化解析。

他们发现，解析的简便性对推理模型尤其有利。它们被训练成以特定格式做出响应，而结果往往难以解析。例如，在 APPs 数据集上，如果不重新格式化，团队只能假设代码是写在最后一个代码块中的，而 QwQ 只能达到约 25% 的准确率。但是，有时代码可能写在中间，经过重新格式化后，准确率会提高到 90% 以上。

拒绝采样策略：根据数据集提供的解决方案，如果 QwQ 样本不正确，团队就会将其丢弃。对于数学问题，团队会与 ground truth 解决方案进行精确匹配。对于编码问题，团队执行数据集中提供的单元测试。团队的最终数据包含来自 APPs 和 TACO 的 5k 编码数据，以及来自 AIME、MATH 和 NuminaMATH 数据集的 Olympiads 子集的 10k 数学数据。此外，团队还保留了来自 STILL-2 的 1k 科学和谜题数据。

训练配置详解

团队使用训练数据来微调 Qwen2.5-32B-Instruct，这是一个不具备推理能力的开源模型。该模型采用 3 个 epoch、学习率 1e-5 和 96 的批大小进行训练。使用 DeepSpeed Zero-3 offload（根据 Lambda Cloud 的定价约为 450 美元），在 8 个 H100 上用 19 个小时完成模型训练。团队使用了 Llama-Factory 进行训练。

DeepSpeed Zero-3 Offload 是一种显存优化技术，它将模型参数、梯度和优化器状态分片到多个 GPU 上，并将部分数据卸载到 CPU 内存中，从而允许在有限的硬件资源下训练更大的模型。这种技术是控制成本的关键因素之一。

评估结果分析

Sky-T1 在 MATH500（「竞赛级」数学挑战）上的表现优于 o1 的早期预览版本，还在一组来自 LiveCodeBench（一种编码评估）的难题上击败了 o1 的预览版本。然而，Sky-T1 不如 GPQA-Diamond 上的 o1 预览版，后者包含博士毕业生应该了解的物理、生物和化学相关问题。

不过，OpenAI 的 o1 GA 版本比 o1 的预览版更强大，并且 OpenAI 预计将在未来几周发布性能更佳的推理模型 o3。

值得重视的新发现

模型大小很重要

团队最初尝试在较小的模型（7B 和 14B）上进行训练，但观察到的改进不大。例如，在 APPs 数据集上训练 Qwen2.5-14B-Coder-Instruct 在 LiveCodeBench 上的性能略有提高，从 42.6% 提高到 46.3%。然而，在手动检查较小模型（小于 32B 的模型）的输出时，团队发现它们经常生成重复内容，从而限制了它们的有效性。

这表明推理能力并非线性增长，存在一个阈值，超过该阈值后，模型才能展现出稳定的复杂逻辑处理能力。

数据混合很重要

团队最初使用 Numina 数据集（由 STILL-2 提供）中的 3-4K 个数学问题训练 32B 模型，AIME24 的准确率从 16.7% 显著提高到 43.3%。然而，将 APPs 数据集生成的编程数据纳入训练过程时，AIME24 的准确率下降到 36.7%。可能意味着，这种下降是由于数学和编程任务所需的推理方法不同。

编程推理通常涉及额外的逻辑步骤，如模拟测试输入或内部执行生成的代码，而数学问题的推理往往更为直接和结构化。 为了解决这些差异，团队使用 NuminaMath 数据集中具有挑战性的数学问题和 TACO 数据集中复杂的编程任务来丰富训练数据。这种均衡的数据混合使模型在两个领域都表现出色，在 AIME24 上恢复了 43.3% 的准确率，同时也提高了其编程能力。

行业影响与未来展望

Sky-T1 的出现标志着开源推理模型的一个重要里程碑。过去，高性能推理模型往往被闭源巨头垄断，导致学术界和中小企业难以跟进。Sky-T1 的低成本和高可复现性，使得更多开发者能够参与到推理模型的研究和优化中来。

未来的研究方向可能包括：

1. 更大规模的数据集：进一步扩充高质量推理数据，覆盖更多学科领域。
2. 更高效的训练方法：探索更低成本的训练框架，进一步降低门槛。
3. 多模态推理：将推理能力扩展到图像、视频等多模态数据。
4. 本地化部署：随着硬件成本下降，推理模型有望在消费级设备上流畅运行。

与此同时，也有研究者表示了怀疑：

尽管存在争议，Sky-T1 无疑为开源社区提供了宝贵的参考。它证明了通过精心设计的合成数据和优化的训练流程，低成本训练高性能推理模型是可行的。这一突破将激励更多团队投身于开源 AI 生态的建设中，推动整个行业的技术进步。

结语

Sky-T1-32B-Preview 的成功发布，不仅展示了 UC 伯克利团队的技术实力，也为全球 AI 开发者提供了一个极具价值的开源范例。通过公开数据、代码和权重，NovaSky 团队降低了推理模型的开发门槛，促进了知识的共享与传播。随着技术的不断迭代，我们有理由相信，未来将有更多低成本、高性能的推理模型涌现，为人工智能的普及和应用奠定坚实基础。