本文详细介绍了大模型思维链（Chain-of-Thought，CoT）的技术原理及其演进。文章首先阐述了提示学习（Prompt Learning）的背景，指出 Zero-shot、One-shot、Few-shot 方法的局限性，引出 CoT 概念。随后深入解析了 CoT 的开山之作，包括 Jason Wei 的贡献及 CoT 在常识推理、数学逻辑和可解释性方面的优势。接着探讨了 Zero-shot-CoT、自洽性（Self-consistency）、最少到最多提示（LtM）、Flan-PaLM/T5 微调以及 Fine-tune-CoT 等改进方案。最后分析了 CoT 的局限性，如依赖模型规模、应用领域有限及计算错误等问题，并总结了智能时代人机协作的策略。
2021 年，提示学习（prompt learning）浪潮兴起，而早在 2020 年，OpenAI 就在论文中提出了如何使用 prompt learning 提升大模型的推理能力。
论文中提出了 Zero-shot、One-shot、Few-shot 三种不同的 prompt 方法，如下图所示。
但是，即使是 Few-Shot，这种方法还是有比较大的缺陷的。如果你的问题相对简单，不需要什么逻辑推理，可能靠大模型背答案就能做得不错，但是对于一些需要推理的问题，都不用太难，就一些简单的算术应用题，大模型就大概率不太 work。于是，思维链（Chain-of-Thought，CoT）很自然地被提出了。
最近 AI 大厂的开发人员和高校的 NLP 研究人员，都在琢磨，怎么让大模型'涌现'。
所谓'涌现'，在大模型领域指的是当模型突破某个规模时，性能显著提升，表现出让人惊艳、意想不到的能力。比如语言理解能力、生成能力、逻辑推理能力等。一般来说，模型在 100 亿（10B）到 1000 亿（100B）参数区间，可能产生能力涌现。
但老话说得好'氪不救非，玄不改命'。靠砸钱和运气，只一味把模型做的大大大，也未必能让 AI'显灵'。
强大的逻辑推理是大语言模型'智能涌现'出的核心能力之一，好像 AI 有了人的意识一样。而推理能力的关键，在于一个技术——思维链（Chain of Thought，CoT）。
大家如果看过类 GPT 应用的翻车问题，会发现大多都是数学算术题、逻辑思考题等，这类需要精确推理的问题，而这正是思维链能够重点解决的。现在训练大语言模型的企业和机构很多，但能够训练出思维链并应用的很少。
换句话说，只有解锁了思维链技术，大语言模型才有可能'涌现'，才能在'大炼模型'的竞争中具备能力优势。
思维链的故事，我们从一个奇男子说起。
一个神奇的男子
思维链，在人工智能领域，是一个非常非常新的概念。
2022 年 1 月，它的相关论文才被放到 arxiv 上，成果也特别惊艳，谷歌在当年五月的年度开发者大会 Google I/O 2022，也对思维链这一研究成果进行了宣传。当时同台宣传的还有大模型 PaLM 和 Pixel 系列手机等。
你可能发现了华点，怎么让思维链闻名世界的，却变成了 OpenAI 的 ChatGPT 呢？
这就要提到一个奇男子——思维链的提出者 Jason Wei。
之所以神奇，一是本人能力卓绝。
这位华人科学家，2020 年本科毕业成为谷歌大脑的高级研究员，在任职期间，提出了思维链的概念，发现思维链可以在大语言模型中增强推理能力。
二是他的个人际遇，对 AI 影响很大，2022 年 2 月他离开谷歌，加入了 OpenAI，进入 ChatGPT 团队，这也是思维链在 OpenAI 发扬光大，让 ChatGPT 拔得头筹的原因之一。
那这位奇男子和同事的工作，究竟干了什么呢？
没错，就是这篇思维链的开山之作。
谷歌之前在大模型下了很大功夫，GPT 生成式预训练模型中的'T'，也就是 Transformer，就是谷歌大脑搞出来的。但是，预训练 + 精调的大模型搞了几年，仍然没办法很好地完成多步骤推理任务，比如数学问题和常识推理。
所以 Jason Wei 等人提出了思维链提示的方法，真的一下子就让大模型的逻辑推理能力不一样了。
具体来说，有三个不一样：
思维链效果如此拉满，那么 Jason Wei 提出的 CoT 到底是一项什么样的技术，接下来介绍下细节。
在解释何为 CoT 前，不妨来看个论文展示的结果：
不难看出，在解数学问题上，同样使用 PaLM 这个 540B 的超级 LLM，CoT 的表现是传统 prompting 的 300% 以上，甚至超过了此前有监督的最优表现。
这看起来很不可思议，然而 CoT 方法却极其简单。CoT 提示过程是一种最近开发的提示方法，它鼓励大语言模型解释其推理过程。思维链的主要思想是通过向大语言模型展示一些少量的 examples，在样例中解释推理过程，大语言模型在回答提示时也会显示推理过程。这种推理的解释往往会引导出更准确的结果。
以一个数学题为例：
可以看到模型无法做出正确的回答。但如果说，我们给模型一些关于解题的思路，就像我们数学考试，都会把解题过程写出来再最终得出答案，不然无法得分。CoT 做的就是这件事，示例如下：
可以看到，类似的算术题，思维链提示会在给出答案之前，还会自动给出推理步骤：
可以看出，CoT 在实现上修改了 demonstration 每个 example 的 target，source 保留原样，但 target 从原先的 answer(a) 换成了 rationale(r) + a。因此可以看到右侧，所有内容均由模型生成，模型不是生成 a，而是生成 r+a。
简单来说，语言模型很难将所有的语义直接转化为一个方程，因为这是一个更加复杂的思考过程，但可以通过中间步骤，来更好地推理问题的每个部分。
思维链提示，就是把一个多步骤推理问题，分解成很多个中间步骤，分配给更多的计算量，生成更多的 token，再把这些答案拼接在一起进行求解。
论文里面作者提到了很多 CoT 的优势，其中包括它把一个多步推理问题分解出多个中间步骤，并且让 LLM 更加可解释。它能解决的问题很多，除了上述的数学应用题，还有常识推理、以及 symbolic manipulation（符号操作）这类任务（就是一些手造的考验大模型的问题，比如最典型的 Last Letter Concatenation（最后一个字母串联）和 coin flip（抛硬币）），下面补充几个例子方便理解：
零样本思维链（Zero Shot Chain of Thought，Zero-shot-CoT）提示过程是对 CoT prompting 的后续研究，引入了一种非常简单的零样本提示。他们发现，通过在问题的结尾附加"Let's think step by step"这几个词，大语言模型能够生成一个回答问题的思维链。从这个思维链中，他们能够提取更准确的答案。
其实 Zero-shot-CoT 是一个 pipeline。也就是说"Let's think step by step"这句话，只是通过这个 prompt 让 LLM 尽可能生成一些思考过程，然后再将生成的 rationale（理由）和 question 拼在一起，重新配合一个 answer 指向的 prompt 如"The answer is "来激励模型生成答案。
从技术上讲，完整的零样本思维链（Zero-shot-CoT）过程涉及两个单独的提示/补全结果。在下图中，左侧生成一个思维链，而右侧接收来自第一个提示（包括第一个提示本身）的输出，并从思维链中提取答案。这个第二个提示是一个自我增强的提示。
作者还做了解释，说明这句"Let's think step by step"是经过验证的，比如对比下面的其它的 instruction，尤其那些不相关的和误导的，效果就非常差，说明大模型真的是在理解这句 instruction 的意思。
我们看一下 Zero-shot-CoT 的实验效果：
再看一下在 GPT-3 上的实验效果：
效果拉满，Zero-Shot-CoT 能让 GPT-3 从 17 提升到 78，换到 PaLM 上稍微小点，25 到 66。
这篇文章是 CoT 后很快的一个跟进工作，是 CoT 系列改进的重要一步，在 2022 年 3 月在 arxiv 上被放出来。这篇文章几乎用的和 CoT 完全一样的数据集和设置，主要改进是对答案进行了多数投票（majority vote），并且发现其可以显著地提高思维链方法的性能。
文章提出的方法叫自洽性（Self-consistency），是对 CoT 的一个补充，它不仅仅生成一个思路链，而是生成多个思路链，然后取多数答案作为最终答案。
在下面的图中，左侧的提示是使用少样本思维链范例编写的。使用这个提示，独立生成多个思维链，从每个思维链中提取答案，通过'边缘化推理路径'来计算最终答案。实际上，这意味着取多数答案。
我们看一下实验效果：
可以看到相比之前的单路径 CoT（图中的 Single-path），Self-Consistency 显著提升了效果，而且随着采样个数的提升（图中的 Sampled Reasoning Paths 对应图 3.1 的'采样不同的推理路径'），效果也不断变好。
我们知道 LaMDA-137B 模型中可以通过热度（temperature）和 Top-k 参数控制采样方法，具体的效果如下图所示：
备注：
最少到最多提示过程 (Least to Most prompting, LtM) 将思维链提示过程 (CoT prompting) 进一步发展，首先将问题分解为子问题，然后逐个解决。它是受到针对儿童的现实教育策略的启发而发展出的一种技术。
与思维链提示过程类似，需要解决的问题被分解成一组建立在彼此之上的子问题。在第二步中，这些子问题被逐个解决。与思维链不同的是，先前子问题的解决方案被输入到提示中，以尝试解决下一个问题。
简单来说就是一步一步来，step by step。单纯的 CoT 不足以解决复杂问题，但是我们可以把它分解成一个个小问题，然后再使用 CoT，这样模型就能把问题求解出来。所以从这个角度看，Least-to-Most 和 CoT 不是选择关系，而是可以互相打配合的。具体怎么做呢？其实就是两步走，分别是：
这么说可能还有些许抽象，下面给一个原文的例子，先看第一阶段：
大多问题都可以定义成'输入 - 输出'的格式，同样两步走的两个任务也不例外。Stage 1 做的事情就是要求大模型根据输入和提示"To solve {problem}, we need to "，生成红色的部分，即子问题。换句话说，这个任务的目标就是生成子问题，利用 LLM 和 prompt 去生成。
而 Stage 2 做的事情则是利用 Stage 1 得到的子问题和其解题结果拼进 Stage 2 的输入当中，让模型来生成最终答案，如下图所示：
可以看到图的上半部分即把问题替换成 Stage 1 的子问题，模型就根据 context 和新问题生成子问题的答案。
当然你可能会产生疑问，问题虽然变简单了，但是它可能还是会做错不少，配合后面 Stage 2，是不是就错上加错，最后也提升不了多少呢？这时候就可以看到，这一步也是可以用 CoT 来做的，可以看到右上角的框其实把解子问题的解题过程也列出来了。这也是为什么前文提到 Least-to-Most 是可以配合使用的。
下一步做法就是合并：context + 子问题 + 子问题解题过程 + 子问题答案 + 最终问题，然后让模型去生成解题过程和正确答案，那么这一步也是用 CoT 来做的。
显然这是一个两步走的 pipeline，具体不同任务怎么做这个 pipeline 是有些具体细节需要考虑的。
在 SCAN 这个数据集上，Least-to-Most 的表现可以说是让人惊讶，如果使用 GPT-3 的 code-davinci-002，准确率能从 16 提到接近 100%。你甚至可以直接认为这个数据集已经被它直接解决了。
| 方法 | 标准 Prompting | CoT | Least-to-Most |
|---|---|---|---|
| code-davinci-002 | 16.7 | 16.2 | 99.7 |
| text-davinci-002 | 6.0 | 0.0 | 76.0 |
| code-davinci-001 | 0.4 | 0.0 | 60.7 |
另外还有数学题方面也是在原版 CoT 上很有进一步明显提升。
| 方法 | Non-football (DROP) | Football (DROP) | GSM8K |
|---|---|---|---|
| Zero-Shot | 43.86 | 51.77 | 16.38 |
| 标准 Prompting | 58.78 | 62.73 | 17.06 |
| CoT | 74.77 | 59.56 | 60.87 |
| Least-to-Most | 82.45 | 73.42 | 62.39 |
Flan-T5 是 Google 最新的一篇工作，通过在超大规模的任务上进行微调，让语言模型具备了极强的泛化性能，做到单个模型就可以在 1800 多个 NLP 任务上都能有很好的表现。这意味着模型一旦训练完毕，可以直接在几乎全部的 NLP 任务上直接使用。
Flan-T5 是在吸收 Flan 的精华的基础上，加入了 CoT 的数据来做 finetune。PaLM/T5 是 2019 年 Google 发布的一个语言模型。论文的核心贡献是提出一套多任务的微调方案，来极大提升语言模型的泛化性。
这么 Finetune 过后的模型，其实不论在 CoT 任务和非 CoT 任务上其实都表现得很好，而且在 BBH 上做 zero-shot 优势更是巨大。这也进一步证明了 CoT 是可以和当前流行的 instruction tuning 无缝衔接的。
下面看一下 Flan-PaLM/T5 的具体做法。
**(1) 任务收集：**工作的第一步是收集一系列有标签的数据，这里一个任务可以被定义成<数据集，任务类型>的形式，比如'基于 SQuAD 数据集的问题生成任务'。需要注意的是这里有 9 个任务是需要进行推理的任务，即 Chain-of-thought（CoT）任务。
**(2) 形式改写：**因为需要用单个语言模型来完成超过 1800+ 种不同的任务，所以需要将任务都转换成相同的'输入格式'喂给模型训练，同时这些任务的输出也需要是统一的'输出格式'。
如上图所示，根据'是否需要进行推理（CoT）'以及'是否需要提供示例（Few-shot）'可将输入输出划分成四种类型：
(3) 训练过程：采用恒定的学习率以及 Adafactor 优化器进行训练；同时会将多个训练样本'打包'成一个训练样本，这些训练样本直接会通过一个特殊的'结束 token'进行分割。训练时候在每个指定的步数会在'保留任务'上进行模型评估，保存最佳的 checkpoint。
尽管微调的任务数量很多，但是相比于语言模型本身的预训练过程，计算量小了非常多，只有 0.2%。所以通过这个方案，大公司训练好的语言模型可以被再次有效的利用，我们只需要做好'微调'即可，不用重复耗费大量计算资源再去训一个语言模型。
一些结论汇总：
总结一下，这篇工作提出了 Flan 的微调框架，核心有四点：
实现了用一个模型来解决超过 1800 种几乎全部的 NLP 任务，通过较低的成本，极大发掘了现有语言模型的泛化性能，让大家看到了通用模型的希望。
前面已经介绍过，通过包含少数思维链（CoT）推理的样本或通过 promp 来让模型逐步思考的方法可以在大型语言模型中促成复杂的推理能力。
基于 CoT 方法的主要缺点是它需要依赖于拥有数百亿参数的巨大语言模型。由于计算要求和推理成本过于庞大，这些模型难以大规模部署。因此，来自韩国科学技术院的研究者努力使小型模型能够进行复杂的推理，以用于实际应用。
有鉴于此，论文提出了一种名为 Fine-tune-CoT 的方法，该方法旨在利用非常大的语言模型的思维链推理能力来指导小模型解决复杂任务。
为了详细说明，下面应用前面的 Zero-shot-Cot 从非常大的教师模型中生成推理，并使用它们来微调较小的学生模型。
研究者注意到，与标准的 prompting 类似，对于训练语言模型来解决复杂推理的任务来说，纯微调往往是不够的。虽然已经有人尝试用规定好的推理步骤对小模型进行微调来解决这个问题，但这些方法需要巨量的推理注释，而且往往还需要与特定任务匹配的训练设置。
论文中提出的方法，由于基于语言模型的教师具有显著的零样本推理能力，无需手工制作推理注释及特定任务设置，可以很容易地应用于新的下游任务。从本质上讲，论文的方法保留了基于 CoT 的多功能性，同时模型规模还不是很大。
Fine-tune-CoT 的核心思想是采用 Zero-Shot-CoT 生成我们的问答数据，然后使用温度 T 采样（也可以用 Top-k 采样），以此生成尽可能多的数据，然后再进行 Fine-tune。
其实就是使用不同的温度参数 T 采样，用 ChatGPT 这样的大模型生成 CoT 数据，然后再用小模型进行 Fine-tune。
在样本研究中，研究者确认多样化推理样本包含各种推理路径以及语言模板，这一点也可以在细化的学生模型中观察到。多样化推理路径被生成并被边缘化以找到最优答案。
前面说了这么多，是不是有了思维链，大语言模型就所向披靡了呢？照这么发展下去，真能媲美人类的能力了？
大可不必担心，思维链本身还是有很多局限的，而它的局限也是大语言模型的局限。
首先，思维链必须在模型规模足够大时才能涌现。
在 Jason Wei 等的研究中，PaLM 在扩展到 540B 参数时，与思维链提示结合，才表现出了先进的性能。一些小规模模型，思维链并没有太大的影响，能力提升也不会很大。
谷歌大脑的研究人员认为，策略问题需要大量的世界知识，而小型模型没有足够的参数来记忆这些世界知识，所以也不太可能产生正确的推理步骤。
但问题是，能落地到产业的模型，规模必然不会太大，思维链拆解了更多的步骤、用到更多的计算资源，相当于更加耗费脑力，很多研究机构和企业是负担不起 175B 参数以上的大模型。
所以思维链必须要探索，如何在较小的模型中进行推理，降低实际应用的成本。
其次，思维链的应用领域是有限的。
目前，思维链只是在一些有限的领域，比如数学问题，五个常识推理基准（CommonsenseQA，StrategyQA，Date Understanding 和 Sports Understanding 以及 SayCan）上显现出作用，其他类型的任务，像是机器翻译，性能提升效果还有待评估。
而且，相关研究用到的模型（GPT-3 API）或数据集，都是半公开或不公开的，这就使其难以被复现和验证。严谨来看，思维链的效果还需要被进一步探索，才能下定论。
此外，即使有思维链提示，大语言模型依然不能解决小学水平的数学问题。
没有思维链，数学推理是指定不行。但有了思维链，大语言模型也可能出现错误推理，尤其是非常简单的计算错误。Jason Wei 等的论文中，曾展示过在 GSM8K 的一个子集中，大语言模型出现了 8% 的计算错误，比如 6 * 13 = 68（正确答案是 78）。
这说明，即使有了思维链，大语言模型还是没有真正理解数学逻辑，不知道加减乘除的真实意义，只是通过更精细的叠加来'照葫芦画瓢'，所以，对于有精确要求的任务，还要进一步探索新的技术。
思维链确实增强了大语言模型的能力，但逻辑推理仍然是大语言模型的弱项，等待着更多突破。
One more thing
通过思维链，我们可以看到大语言模型为什么强，也为什么弱。
它强在，模型规模的提高，让语义理解、符号映射、连贯文本生成等能力跃升，从而让多步骤推理的思维链成为可能，带来'智能涌现'。
它弱在，即使大语言模型表现出了前所未有的能力，但思维链暴露了它，依然是鹦鹉学舌，而非真的产生了意识。
认知心理学教授斯坦尼斯拉斯·迪昂（Stanislas Dehaene）在《精准学习》中提出，缓慢地、理智地、符号化地运作，是人脑的特权。它可以在任何可能的时候，提取具有普遍性、逻辑性的、明确的原则。
五六岁的儿童学会了较小数字的加法，就可以理解其含义，用到更大的数字的加法中，而目前最强大的大语言模型，还连'加法'这个简单的抽象定律都理解不了。
大语言模型，正如科幻作家特德·姜所说，是网上所有文本的模糊图像，一张有损压缩的 JPEG，但它可以用远超人脑的算力和数据，极其高产地做好文本生成、图像生成这样的模糊任务。而人脑更擅长精确的、逻辑性的任务，就像特德·姜说的：'当你还有原始图片的时候，一张模糊的 JPEG 到底有多大用处呢？'
智能时代的生存策略，就是不要以己之短，硬碰 AI 之长。而是用 AI 之长，让自己的长板变得更长；用人脑的精确，让 AI 生成的模糊答案变得更高质量；用好思维链提示，让 LLM 生成时事半功倍。
本篇文章主要是介绍了 CoT 以及后续的改进，目前从行业观察来看，CoT 已经被广泛应用，甚至很多人认为就是标准的做法。但国内来看，似乎缺乏对它的重视，觉得不过是个简单的 trick。其实不只是 CoT，对整体 LLM 的认知和谷歌、OpenAI 那边确实有些差距。至于为何，Jason Wei 那条推特一定程度说明问题，大致意思是 20 年后入门 NLP 的人比之前的幸福，他们对 LM 的认知来自于强大的 LLM，而过去的人往往还停留在 BERT 的范式。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online
