探讨小模型实现思维链（CoT）推理的可行性与方法。针对小模型语义理解与数学计算受限的问题，文章分析了通过微调赋予其 CoT 能力的方案。对比了四篇核心论文在样本构造（准确率、多样性）和训练方式（蒸馏、指令微调）上的差异。重点讨论了 Few-shot 与 Zero-shot 对 In-context 理解的影响，以及 CoT 微调带来的任务能力权衡。结论表明，增加模型规模、优化数据集质量及采用 Few-shot 策略能显著提升小模型的推理表现，但需注意通用能力的潜在损失。实施建议涵盖模型选型、数据策略、训练方法及评估指标，为资源受限环境下的推理部署提供参考。
前两章我们分别介绍了 COT 的多种使用方法以及 COT 的影响因素。这一章更多面向应用，在现实场景中考虑成本和推理延时，大家还是希望能用 6B 的模型就不用 100B 的大模型。但是在文中反复提到，不论是 few-shot 还是 zero-shot 的思维链能力似乎都是 100B 左右的大模型才有的涌现能力，而在小模型上使用 COT 甚至会带来准确率的下降。
至于为啥小模型无法进行 COT，论文通过把小模型回答错误但大模型可以回答正确的问题进行归纳总结，认为小模型的 COT 能力受到有限的语义理解和数学计算能力的限制。不过我们在实际尝试中发现小模型的 few-shot 理解能力似乎是更大的短板，表现在小模型无法很好理解抽象 few-shot 中的推理模板和样本间的共性。
不过以上的观点都是针对模型的先天能力，那我们是否可以把 COT 推理作为一种生成风格，或者 NLP 任务类型，通过微调让模型获得 COT 能力呢？
想要让小模型拥有 COT 能力，多数方案是通过 COT 样本微调来实现的，以下参考论文的核心差异就在 COT 样本构造和微调方式。我们将几篇论文合在一起来说，下图展示了不同方法的对比：
以下参考论文都是使用大模型来生成 COT 样本，不过在数据集、COT 样本构建和过滤机制上存在差异。
论文 [1] 使用了 GSM8k 的数据集，用 Code-Davinci-002 随机生成 40 个的思维链推理，选择答案正确的一条作为训练样本。样本生成这块写的相对比较模糊。
论文 [2] 优化了 COT 样本准确率。使用 Palm 540B 和 GPT3 175B 模型，用 8 个 few-shot 样本来引导模型生成 COT。这里为了提高大模型 COT 的准确率，作者修改了指令，在 few-shot+question 之后会直接给出正确答案作为 Hint，来引导模型倒推出正确的 COT，同样是只过滤答案正确的样本。
论文 [3] 优化了 思维链的多样性。考虑同一个问题其实有很多种解法，以及不同的解法间往往存在逻辑共性，与其让模型拟合单一的推理结果，不如让模型从多个推理路径中去抽象重要信息。因此论文提出了 diverse reasoning，每个样本用 text-davinci-002 生成多个思维链，保留所有答案正确且推理逻辑不同的样本。并且在论文中验证了一个样本生成更多思维链会带来显著的效果提升。
论文 [4] 优化了 COT 数据集的多样性，整了个 COT Collection 数据集包含 1.88M 的 COT 样本。具体的数据筛选和构建逻辑详见论文。使用了 Codex 来生成思维链，方案融合了 [2] 和 [3]。
不同论文选择了不同的 student 模型，指令样本构建和指令微调方式，简单对比如下：
| 论文 | 微调模型 | 微调样本 | 微调方式 |
|---|---|---|---|
| [1] | FlanT5 250M~11B | Few-shot-COT+Zero-shot-COT+Few-shot-Answer Only | 蒸馏：Top5 Token 的 KL 距离 |
| [2] | T5 60M~11B | Zero-shot-COT | 指令微调 SFT |
| [3] | GPT-3 0.3B~6.7B | prompt 模板 Zero-shot-COT | 指令微调 SFT |
| [4] | FlanT5 T0 | Few-Shot-COT + Zero-shot-COT | 两步指令微调 |
以上不同的指令样本 Looklike 如下，差异包括是否有 few-shot 上文，是否有 COT 推理：
在指令样本构建上多数是直接输入问题，输出 COT 思维链的，但个人其实更偏好 few-shot 的 COT 方案。因为在实际应用中，其实需要分析和推理的很多场景都是非标准化的，远远不是解个数学题或者 QA 这类标准化问题可以覆盖。这种情况下需要定制场景所需的推理逻辑，这时 zero-shot 肯定就不行了，需要 few-shot 来给出不同场景所需的不同推理链路。例如问诊的流程要先问当前症状，病程，病史，用药，再基于用户不同的回答，选择是化验，拍片，还是听诊开药等等。因此大模型和小模型的能力差异除了小模型自身的推理能力有限，还有小模型的 In-Context 理解能力有限，而 few-shot 样本微调被证明可以提升模型 In-context 理解能力。
再说下微调的部分，除了常规的指令微调方案之外，[1] 采用了蒸馏方案，不熟悉蒸馏的可以先看下。简单来说就是让 Student 模型拟合 Teacher 模型的分布，分布可以是对齐输出层也可以进一步对齐模型中间层，损失函数一般是两个分布的 KL 散度或者 MSE。这里作者使用的蒸馏方案是对齐输出层分布，考虑 OpenAI 的接口每次只返回 Top5 Token 对应的概率，因此只对 Student 模型每步解码的 Top5 Token 计算 KL 散度作为 loss。蒸馏过程还有一些例如 tokenizer 对齐的细节，详见论文。
[4] 采用了两步微调，第一步在指令微调模型的基础上，使用范围更广的 COT Collection 样本集对模型进行 COT 微调，再在该模型的基础上，使用单一领域/任务的 COT 样本进一步微调，效果会有进一步提升。这一点其实可能说明 COT 推理本身除了是一种生成风格，也是一种模型能力，所以不同的推理数据集之间存在可迁移性，我们在单任务推理中混入数学 COT 也发现有效果提升。
效果其实不用太多说，小模型在经过以上 COT 训练后，在对应数据集上都有很显著的能力提升。考虑不同论文使用的模型 checkpoint 不同，Benchmark 数据集的划分也不同所以可比性不高，以及现在的很多 random split 的方案真的说不清楚是否有信息泄露问题。建议大家在自己的业务使用中去寻找更合适的方案。这里想更多说下论文中提到的一些 insight。
论文 [1] 发现在数学 COT 能力提升的同时，模型在 BigBench(BBH) 上的打分会出现显著的下降，并且这个过程是随微调逐渐发生的。论文指出的可能原因是小模型能承载的能力有限，因此不像大模型可以在广泛任务上有很好的表现，小模型单一能力的提升，可能会以通用能力损失为代价。虽然这里我有些存疑，感觉 BBH 的效果下降也可能是因为 COT 的生成风格和很多通用任务的生成风格存在差异，如果在 COT 微调时在中加入额外的指令，把直接生成推理转化成基于指令推理的条件生成任务，可能会降低对其他任务的影响。
论文几乎都提到了这一点，简单说就是越大的模型越好，所以在 ROI 允许的范围内选择最大的小模型。
以上发现也是论文 [1] 使用混合样本 (fewshot+zeroshot+无 cot) 样本进行微调的原因。其实比较好理解，因为 COT 推理的生成风格和其他指令任务是存在差异的（zero-shot-cot 在我看来就像是无缘无故，别人问你问题，你本来可以直接给个答案，结果你突然开启柯南模式开始叭叭的推理）。因此如果用 zero-shot-cot 微调，会直接影响模型的解码分布，而使用 few-shot-cot 微调，充分的上文让模型更多拟合 COT 条件解码概率，只会有部分能力迁移到无条件解码概率，且对其他指令任务的影响也会更小。
论文 [3] 对比了在同一个任务上使用 COT 样本微调和使用只有答案的常规样本微调，整体上在需要多步推理的任务上，COT 微调有更明显的模型规模效应，随模型变大 COT 微调的效果会显著超过常规微调。
论文 [2] 论证了 COT 数据集存在规模效应，样本越多，微调效果越好，这里的规模效应可能更多来自思维链的多样性覆盖。而论文 [3] 论证了相同数量的 COT 样本，人工筛选的正确推理样本对比从模型预测答案正确的 COT 中采样相同量级的样本，效果会有显著提升。毕竟 1 个错误的样本可能需要 10 个正确的样本来纠偏，因此在保证数据集多样性和规模的同时，更有效的样本过滤逻辑也很重要。
综合上述分析，对于希望在资源受限环境下部署具备推理能力的小模型团队，以下几点建议可供参考：
总之，小模型实现 CoT 并非不可能，关键在于如何构造高质量的推理数据以及选择合适的微调策略。随着开源生态的发展，未来可能会有更多针对小模型优化的推理架构出现，但目前通过数据工程驱动的微调是最可行的路径。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online
