大模型复杂推理：思维链（CoT）基础用法与进阶技巧

整体提示词的效果比较玄学，但只要指令词有引导模型逐步推理的含义，对模型效果都是有提升的。Zero-shot-COT 同样具有规模效应，只在大模型上才表现出超越常规指令的效果。

COT 进阶用法

以上不论是 Few-shot 还是 Zero-shot COT 都是基于模型自身给出推理过程，而人工不会过多干预推理过程。在进阶用法中会对推理过程做进一步的人工干预来引导解码步骤，进一步提升解码准确率，且以下的进阶方案是可以组合使用的。

Self-Consistency

Self-Consistency 是在 Few-shot-COT 的基础上，用 Ensemble 来替换 Greedy Search，来提高解码准确率的一种解码策略。论文显示加入 Self-Consistency，可以进一步提升思维链的效果（GSM8K +17.9%）。

在使用大模型进行固定问题回答例如多项选择、数学问题时，我们往往会采用 Greedy-Search 的方式来进行解码。但每一步都选 Top Token 的局部最优的解码方案很显然不是全局最优的，而 Self-Consistency 提供了一种无监督的 Ensemble 方案，来对模型随机解码生成的多个回复'投票'出一个更准确答案。

Self-Consistency 的基础假设很人性化：同一个问题不同人也会给出不同的解法，但正确的解法们会殊途同归得到相同的正确答案。以此类比模型解码，同一问题不同随机解码会得到不同的思维链推理过程，期望概率最高的答案，准确率最高。

聚合方案

针对解码输出，如何对答案进行聚合，论文对比了以下几种方案：

1. Major Vote： 直接对解码后的结果投票，投出一个出现概率最高的答案。该说不说大道至简，最简单的方案往往是最好的。
2. Normalized Weighted Sum： 计算路径的概率，既模型输出的每一个 token 条件解码概率求和，并对解码长度 K 进行归一化。

参数设置建议

• Temperature： Temperature 太低会导致解码差异太小，投票投了个寂寞；太高又会影响最终的准确率。Top-p=0.4, Temperature=0.5 是一个不错的测试起点。
• 采样次数： Major Vote 的效果很依赖候选样本数。采样 5 次以上就能超过 Greedy 解码，具体解码次数看你家有多少余粮吧。

Least-to-Most

如果说上面的 Self-Consistency 多少有点暴力出奇迹，那 Least-to-Most 明显更优雅一些。思路很简单，在解决复杂问题时，第一步先引导模型把问题拆分成子问题；第二步逐一回答子问题，并把子问题的回答作为下一个问题回答的上文，直到给出最终答案，主打一个循序渐进的解决问题。

实现流程

1. Problem Reducing（问题拆解）： 引导模型将复杂问题拆解成几个必须的中间解题步骤并给出对应问题。
   • Prompt 示例："对以下数学问题进行问题拆解，分成几个必须的中间解题步骤并给出对应问题："
2. Sequentially Solve（子问题有序回答）： 把 Reduce 步骤的子问题解析出来，按顺序输入模型，先回答第一个子问题，再把第一个子问题和回答一起拼接作为上文，继续回答第二个子问题。

代码实现指南

在实际工程中，我们可以通过 Python 脚本快速构建 Few-shot CoT 的 Prompt。以下是一个简单的实现示例：

def build_cot_prompt(question, examples):
    """
    构建 Few-shot Chain of Thought Prompt
    
    Args:
        question: 当前待解决的问题
        examples: 包含推理过程的示例列表，格式为 [(question, reasoning, answer), ...]
    
    Returns:
        str: 完整的 Prompt 字符串
    """
    prompt_parts = []
    for ex_q, ex_r, ex_a in examples:
        prompt_parts.append(f"Question: {ex_q}\nReasoning: {ex_r}\nAnswer: {ex_a}")
    
    prompt_parts.append(f"Question: {question}\nReasoning:")
    return "\n".join(prompt_parts)

# 示例数据
examples = [
    (
        "小明有 5 个苹果，吃了 2 个，还剩几个？",
        "小明初始有 5 个苹果。他吃了 2 个，意味着数量减少。我们需要计算 5 减去 2。",
        "3"
    ),
    (
        "一辆车以 60km/h 行驶 2 小时，走了多远？",
        "距离等于速度乘以时间。速度是 60km/h，时间是 2 小时。计算 60 乘以 2。",
        "120km"
    )
]

problem = "一辆车以 80km/h 行驶 3 小时，走了多远？"
prompt = build_cot_prompt(problem, examples)
print(prompt)

局限性与最佳实践

尽管 CoT 技术显著提升了大模型的推理能力，但在实际应用中仍需要注意以下几点：

1. 幻觉风险： 即使有了推理过程，模型仍然可能编造事实或逻辑错误。对于关键任务，建议结合验证机制。
2. Token 成本： CoT 会增加输出长度，从而增加 Token 消耗和延迟。在生产环境中需权衡性能与成本。
3. 领域适配： 通用领域的 CoT 效果较好，但在垂直领域（如医疗、法律），可能需要针对特定术语和逻辑微调 Few-shot 样本。
4. 评估指标： 不要仅依赖准确率，还需关注推理过程的可解释性和一致性。

总结

思维链（CoT）通过显式地引导模型生成推理步骤，有效解决了大模型在复杂推理任务上的短板。从基础的 Few-shot 和 Zero-shot 方法，到进阶的 Self-Consistency 和 Least-to-Most 策略，CoT 技术栈正在不断丰富。开发者应根据具体业务场景，选择合适的 Prompt 策略，并结合代码实现进行优化，以最大化利用大模型的推理潜力。