小模型思维链（CoT）能力微调与优化实践

以上不同的指令样本 Looklike 如下，差异包括是否有 few-shot 上文，是否有 COT 推理：

在指令样本构建上多数是直接输入问题，输出 COT 思维链的，但个人其实更偏好 few-shot 的 COT 方案。因为在实际应用中，其实需要分析和推理的很多场景都是非标准化的，远远不是解个数学题或者 QA 这类标准化问题可以覆盖。这种情况下需要定制场景所需的推理逻辑，这时 zero-shot 肯定就不行了，需要 few-shot 来给出不同场景所需的不同推理链路。例如问诊的流程要先问当前症状，病程，病史，用药，再基于用户不同的回答，选择是化验，拍片，还是听诊开药等等。因此大模型和小模型的能力差异除了小模型自身的推理能力有限，还有小模型的 In-Context 理解能力有限，而 few-shot 样本微调被证明可以提升模型 In-context 理解能力。

再说下微调的部分，除了常规的指令微调方案之外，[1] 采用了蒸馏方案，不熟悉蒸馏的可以先看下。简单来说就是让 Student 模型拟合 Teacher 模型的分布，分布可以是对齐输出层也可以进一步对齐模型中间层，损失函数一般是两个分布的 KL 散度或者 MSE。这里作者使用的蒸馏方案是对齐输出层分布，考虑 OpenAI 的接口每次只返回 Top5 Token 对应的概率，因此只对 Student 模型每步解码的 Top5 Token 计算 KL 散度作为 loss。蒸馏过程还有一些例如 tokenizer 对齐的细节，详见论文。

[4] 采用了两步微调，第一步在指令微调模型的基础上，使用范围更广的 COT Collection 样本集对模型进行 COT 微调，再在该模型的基础上，使用单一领域/任务的 COT 样本进一步微调，效果会有进一步提升。这一点其实可能说明 COT 推理本身除了是一种生成风格，也是一种模型能力，所以不同的推理数据集之间存在可迁移性，我们在单任务推理中混入数学 COT 也发现有效果提升。

Insights

效果其实不用太多说，小模型在经过以上 COT 训练后，在对应数据集上都有很显著的能力提升。考虑不同论文使用的模型 checkpoint 不同，Benchmark 数据集的划分也不同所以可比性不高，以及现在的很多 random split 的方案真的说不清楚是否有信息泄露问题。建议大家在自己的业务使用中去寻找更合适的方案。这里想更多说下论文中提到的一些 insight。

COT 能力提升以其他任务能力下降为代价

论文 [1] 发现在数学 COT 能力提升的同时，模型在 BigBench(BBH) 上的打分会出现显著的下降，并且这个过程是随微调逐渐发生的。论文指出的可能原因是小模型能承载的能力有限，因此不像大模型可以在广泛任务上有很好的表现，小模型单一能力的提升，可能会以通用能力损失为代价。虽然这里我有些存疑，感觉 BBH 的效果下降也可能是因为 COT 的生成风格和很多通用任务的生成风格存在差异，如果在 COT 微调时在中加入额外的指令，把直接生成推理转化成基于指令推理的条件生成任务，可能会降低对其他任务的影响。

小模型 COT 也存在规模效应

论文几乎都提到了这一点，简单说就是越大的模型越好，所以在 ROI 允许的范围内选择最大的小模型。

使用 Few-shot-COT 微调，会同时提升 zero-shot 和 few-shot 能力，反之不成立

以上发现也是论文 [1] 使用混合样本 (fewshot+zeroshot+无 cot) 样本进行微调的原因。其实比较好理解，因为 COT 推理的生成风格和其他指令任务是存在差异的（zero-shot-cot 在我看来就像是无缘无故，别人问你问题，你本来可以直接给个答案，结果你突然开启柯南模式开始叭叭的推理）。因此如果用 zero-shot-cot 微调，会直接影响模型的解码分布，而使用 few-shot-cot 微调，充分的上文让模型更多拟合 COT 条件解码概率，只会有部分能力迁移到无条件解码概率，且对其他指令任务的影响也会更小。

多步推理任务上 COT 微调可能比常规指令微调效果更佳，模型规模效应更明显

论文 [3] 对比了在同一个任务上使用 COT 样本微调和使用只有答案的常规样本微调，整体上在需要多步推理的任务上，COT 微调有更明显的模型规模效应，随模型变大 COT 微调的效果会显著超过常规微调。

COT 数据集的质量和数量都很重要

论文 [2] 论证了 COT 数据集存在规模效应，样本越多，微调效果越好，这里的规模效应可能更多来自思维链的多样性覆盖。而论文 [3] 论证了相同数量的 COT 样本，人工筛选的正确推理样本对比从模型预测答案正确的 COT 中采样相同量级的样本，效果会有显著提升。毕竟 1 个错误的样本可能需要 10 个正确的样本来纠偏，因此在保证数据集多样性和规模的同时，更有效的样本过滤逻辑也很重要。

实施建议与总结

综合上述分析，对于希望在资源受限环境下部署具备推理能力的小模型团队，以下几点建议可供参考：

1. 模型选型：在显存和延迟允许的前提下，优先选择参数量较大的开源模型。小模型的 CoT 能力确实存在明显的规模效应，6B 模型通常优于 1B 模型。
2. 数据策略：不要仅依赖单一来源的数据。结合高质量的人工筛选数据和多样化的大模型生成数据。对于特定垂直领域，务必构建 Few-shot 示例库，这比单纯的 Zero-shot 微调更能激活模型的上下文推理能力。
3. 训练方法：如果算力充足，可以尝试知识蒸馏，利用大模型的中间层分布或 Top-K Token 概率来约束小模型，这有助于保留更多细粒度的推理特征。若采用 SFT，注意避免过度微调导致灾难性遗忘，可在训练集中混入少量通用指令数据。
4. 评估指标：除了关注目标任务的准确率，还需监控模型在通用基准测试（如 MMLU, BBH）上的表现，确保推理能力的增强没有以牺牲通用语言理解为代价。

总之，小模型实现 CoT 并非不可能，关键在于如何构造高质量的推理数据以及选择合适的微调策略。随着开源生态的发展，未来可能会有更多针对小模型优化的推理架构出现，但目前通过数据工程驱动的微调是最可行的路径。