大模型 LLM：提示工程（Prompt Engineering）核心解读

通过将 prompt 分类为不同的用途，可以更好地理解模型如何应用于各种任务和情境。这有助于选择合适的提示类型，并设计它们以满足特定需求。

3. Prompt 的一般要素

在应用 Prompt 的时候，我们需要理解一个 Prompt 可能包含的 6 个要素：任务，上下文，示例，角色，格式和语气，而且这些要素是按重要性降序排列的。

3.1 任务

任务序列是由动词引导的，例如 generate, drive, write, analyze 等，而且需要明确任务目标。

3.2 上下文

背景上下文极具挑战性，一般要描述什么是用户的背景信息，成功的结果希望是什么样子，以及他们处于怎样的环境中。

3.3 示例

基本上，对所有主要语言模型进行的研究表明，在提示中包含例子都将产生更高质量的答案。

如果想为团队内的某个职位撰写一份 JD，prompt 可以是首先向 ChatGPT 提供情景描述（context），然后再根据已经准备好的描述提供一个参考案例（example）。

3.4 角色

这是你希望人工智能所扮演的角色。想象一下你有一个问题，想咨询专家来解决这些疑问。例如，如果你在锻炼时受伤，你会去找一位有康复治疗师。如果你正在找工作，你会向招聘人员寻求建议。

3.5 格式

想象一下实现的目标，可以是个人或团体的目标，比如找到工作、成为一位优秀的演讲者等。所有这些都是零散的想法，但借助人工智能的帮助，可以将它们整理成一个特定的格式，比如一个表格。我们也可以希望得到电子邮件、要点、代码块等格式。这些格式对我们的工作也很有用，例如段落和标记。

看一个电子邮件示例，给一个上下文、一个任务，并要求 AI 使用标题格式。

3.6 语气

如果正确衡量要使用的音调类型，'语气'这一个元素就很容易理解。

在这 6 个要素中，任务是必须的，上下文和示例非常重要，而且最好也要有角色、格式和语气。下面是一个实际示例，需要在电子邮件中传达包含相关和有影响力信息的内容。

那么，Prompt 如何在 LLM 起作用的呢？它的工作原理又是什么呢？

4. Prompt 的工作原理

在试图理解 Prompt 的工作原理之前，需要理解大模型是如何生成文本的。简单起见，可以把大模型的文本生成理解为目标文本的补全，在理解了 LLM 文本生成的工作原理之后，就可能对 Prompt 有一个相对清楚的理解。

例如，假设想让'Paris is the city…'这句话继续下去。编码器使用 Bloom-560M 模型发送我们拥有的所有 token 的 logits，这些 logits 可以使用 softmax 函数转换为选择生成 token 的概率。

如果查看 top 5 个输出 token，它们都是有意义的。我们可以生成以下看起来合法的短语：

• Paris is the city of love.
• Paris is the city that never sleeps.
• Paris is the city where art and culture flourish.
• Paris is the city with iconic landmarks.
• Paris is the city in which history has a unique charm.

然后，有不同的策略来选择 token。

4.1 Greedy Sampling

简单来说，贪婪采样的模型在每一步都选择它认为最有可能的词语——它不考虑其他可能性或探索不同的选择。模型选择概率最高的词语，并基于选择的词语继续生成文本。

使用贪婪策略是计算效率高且直接的方法，但也会带来重复或过于确定性的输出。由于模型在每一步中只考虑最可能的标记，可能无法捕捉到上下文和语言的全部多样性，也不能产生最富创造力的回答。模型的这种目光短浅的特点仅仅关注每一步中最可能的标记，而忽视了对整个序列的整体影响。

示例中生成的输出可能是：Paris is the city of the future. The

4.2 Beam Search

Beam 搜索是文本生成中使用的另一个策略。在 beam 搜索中，模型假设一组最有可能的前'k'个 token，而不仅仅考虑每个步骤中最有可能的 token。这组 k 个 token 被称为'beam'。

模型通过为每个 token 生成可能的序列，并通过扩展每个 beam 在文本生成的每个步骤中跟踪它们的概率来生成可能的序列。这个过程会一直持续下去，直到达到生成文本的所需长度或者每个 beam 遇到一个'终止'标记的时候。模型会从所有 beam 中选择具有最高整体概率的序列作为最终输出。从算法的角度来看，创建 beam 就是扩展一个 k 叉树。在创建 beam 之后，选择具有最高整体概率的分支作为最终输出。

示例中生成的输出可能是：Paris is the city of history and culture.

4.3 Probability Sampling

简单来说就是通过选择一个随机值，并将其映射到所选的词汇来选择下一个词。可以将其想象为旋转轮盘，每个词汇的区域由其概率决定。概率越高，选中该词的机会越大。这是一个相对简单的计算解决方案，由于相对较高的随机性，句子（或词语序列）可能每次都会不同。

4.4 Random Sampling with Temperature

一般地，使用 softmax 函数将 logit 转换为概率。在这里，为随机采样引入了温度——一种影响文本生成随机性的超参数。比较一下激活函数，可以更好地理解温度如何影响概率计算。

在引入温度之后，与典型的 softmax 不同之处在于分母除以了温度 T。温度越高（趋向 1）输出结果会更加多样化，而温度越低（趋向 0），输出结果则更加集中并更具确定性。当 T = 1 的时候，演变为最初使用的 softmax 函数。

4.5 Top-k Sampling

虽然可以根据温度来调整概率，另一个改进是使用前 k 个 token 而不是全部 token。这将增强文本生成的稳定性，又不会太大程度上降低创造力。现在只对前 k 个 token 进行温度下的随机抽样。唯一可能的问题可能是选择数字 k，以下是如何改进它。

4.6 Top-P Sampling

Top-p 采样不是指定一个固定的'k'令牌数量，而是使用一个概率阈值'p'。该阈值代表了希望在采样中包括的累积概率。模型在每个步骤中计算所有可能令牌的概率，然后按照降序的方式对它们进行排序。

该模型将继续添加 token 到生成的文本中，直到它们的概率之和超过指定的阈值。top-p 采样的优势在于它允许根据上下文进行更动态和自适应的标记选择。每步选择的标记数量可以根据该上下文中 token 的概率而变化，这可以产生更多样化和更高质量的输出。

4.7 Prompt 的可能工作机制

在预训练语言模型中，解码策略对于文本生成非常重要。有多种方法来定义概率，又有多种方法来使用这些概率。温度控制了解码过程中 token 选择的随机性。较高的温度增强了创造力，而较低的温度则关注连贯性和结构。虽然创造力可以带来有趣的语言体验，但适度的稳定性可以确保生成的文本的优雅。

那么，Prompt 的本质大概应该是语义特征的显式表达，Prompt 的工作机制很可能只是影响大模型所选择生成文本 token 的概率。由于大模型在很大程度上是一个黑盒子，其涌现特性具有难解释性，而海量的数据关系很难抽象出确定性的特征，只能是概率性结果。另一方面，用户的需求千变万化，并且对于需求的表达更是极具多样性。因此，Prompt 很可能在某些限定的领域才存在一些通用的表达方式。

5. 什么是提示工程：Prompt Engineering

提示工程（Prompt Engineering），也被称为在上下文中提示，是指如何与 LLM 通信的方法，以引导其行为为期望的结果，而无需更新模型权重。提示工程关注提示词的开发和优化，帮助用户将大模型用于各场景和研究领域。这是一门经验科学，Prompt Engineering 的效果在不同模型之间可能有很大差异，因此需要大量的试验和启发。

因此，提示工程旨在获取这些提示并帮助模型在其输出中实现高准确度和相关性，掌握提示工程相关技能将有助于用户更好地了解大型语言模型的能力和局限性。特别地，矢量数据库、agent 和 prompt pipeline 已经被用作在对话中，作为向 LLM 提供相关上下文数据的途径。

提示工程不仅仅是关于设计和研发提示词。它包含了与大语言模型交互和研发的各种技能和技术。提示工程在实现和大语言模型交互、对接，以及理解大语言模型能力方面都起着重要作用。用户可以通过提示工程来提高大语言模型的安全性，也可以赋能大语言模型，比如借助专业领域知识和外部工具来增强大语言模型能力。例如，流水线、Agent 代理、CoT 思维链等基于 LLM 的实现都是以某种形式的提示工程为前提的。

提示工程涉及选择、编写和组织提示，以便获得所需的输出，主要包括以下方面：

• Prompt 格式：确定 prompt 的结构和格式，例如，问题形式、描述形式、关键词形式等。
• Prompt 内容：选择合适的词语、短语或问题，以确保模型理解用户的意图。
• Prompt 上下文：考虑前文或上下文信息，以确保模型的回应与先前的对话或情境相关。
• Prompt 编写技巧：使用清晰、简洁和明了的语言编写 prompt，以准确传达用户的需求。
• Prompt 优化：在尝试不同 prompt 后，根据结果对 prompt 进行调整和优化，以获得更满意的回应。

提示工程可以帮助改善大语言模型的性能，使其更好地满足用户需求。这是在与模型互动时常用的策略，特别是在自然语言处理任务和生成性任务中，如文本生成、答案生成、文章写作等。

6. 提示工程（Prompt Engineering）的基本方式

6.1 Zero-shot Prompting

Zero-shot Prompting 涉及将任务输入模型，而没有任何示例表明所需的输出，因此称为 Zero-shot。例如，我们可以向模型提供一个句子，并期望它输出该句子的情感。让我们看一个来自 DAIR-AI 的示例：

-Prompt: Classify the text into neutral, negative, or positive.
Text: I think the vacation is okay.
Output: Neutral

6.2 Few-shot Prompting

Few-shot prompting 则是通过提供模型少量高质量的示例，这些示例包括目标任务的输入和期望输出。通过观察这些良好的示例，模型可以更好地理解人类意图和生成准确输出的标准。因此，与 zero-shot 相比，few-shot 通常会产生更好的性能。然而，这种方法可能会消耗更多的 token，并且在处理长文本的输入或者输出的时候可能会遇到上下文长度限制的问题。

大型语言模型（例如 GPT-3）在 zero-shot 能力方面表现出色。但对于复杂任务，few-shot 提示性能更好。为了提高性能，我们使用 few-shot 提示进行上下文学习，通过在提示中提供演示来指导模型执行任务。换句话说，将模型置于一些特定任务的示例中有助于提高模型性能。

让我们看一下下面的例子，来自 https://arxiv.org/abs/2005.14165

- Prompt: A "whatpu" is a small, furry animal native to Tanzania.
An example of a sentence that uses the word whatpu is:
We were traveling in Africa and we saw these very cute whatpus.

我们可以从上面的提示中看到，模型被给定一个例子，然后能够为下一个问题生成答案。

6.3 Instruction Prompting

指令提示是 LLM 的最常见用途，尤其是像 ChatGPT 这样的聊天机器人。举个提示指令的例子：

- Prompt: Define Onomatopoeia **in** one sentence.
Output: Onomatopoeia **is** the use of words that imitate **or** suggest the natural sound of a thing **or** action.

指令提示旨在向大语言模型提供指令提示示例，以便它可以消除训练或测试差异（模型是在 Web 规模语料库上训练并在大多数指令上进行测试），并模拟聊天机器人的实际使用场景。指令提示使用（任务说明，输入，真实输出）元组对预训练模型进行微调，以使模型更好地与用户意图对齐并遵循说明。与说明模型交互时，应该详细描述任务要求，尽量具体和准确，清楚地指定要做什么（而不是说不要做某事）。

7. Prompt Engineering 的组合方式

Prompt Engineering 之所以成为工程方式，是因为存在着各种相对复杂的 Prompt 方式，主要包括思维链（CoT）和递归提示（Recursive Prompting）等。

7.1 Chain-of-Thought Prompting

Chain-of-Thought（CoT）提示生成一系列短句，即被称为推理链的句子。这些句子描述了逐步推理逻辑，导致最终答案，对于复杂推理的任务和较大的模型，可获得更多的好处。常见的两种基本 CoT 提示包括 Few-shot CoT 和 Zero-Shot CoT，并在下面对它们进行描述。

7.1.1 Few-shot CoT

Few-shot CoT 允许模型查看一些高质量推理链的演示。让我们看下面的例子：

7.1.2 Zero-shot CoT

Zero-shot CoT 是由 Kojima 等人在 2022 年首先提出的，它在提示中添加了'让我们逐步思考'，有助于提高模型性能。让我们看一个下面的例子：

Prompt:
- I went to the market **and** bought 10 apples. I gave 2 apples to the neighbor **and** 2 to the repairman. I then went **and** bought 5 more apples **and** ate 1. How many apples did I remain **with**?
- Let's think step by step.
Output:
- First, you started with 10 apples.
- You gave away 2 apples to the neighbor and 2 to the repairman, so you had 6 apples left.
- Then you bought 5 more apples, so now you had 11 apples.
- Finally, you ate 1 apple, so you would remain with 10 apples.

Zero-shot CoT 能够帮助我们看到模型内部，并了解它是如何推理得出答案的。

7.2 Recursive Prompting

递归提示是一种问题解决方法，它涉及将复杂问题分解成更小、更易管理的子问题，然后通过一系列提示递归地解决这些子问题。这种方法对需要组合泛化的任务尤其有用，其中语言模型必须学习如何组合不同的信息来解决问题。

在自然语言处理的背景下，递归提示可以使用少量提示方法将复杂问题分解为子问题，然后顺序解决提取的子问题，使用前一个子问题的解决方案来回答下一个子问题。这种方法可以用于数学问题或问答等任务，其中语言模型需要能够将复杂问题分解为更小、更易管理的部分，以得出解决方案。例如：

Calculate the product of the length **and** width:
prompt: "What is the product of 8 and 6?"
answer: 48

Substitute the given values **for** length **and** width into the equation:
prompt: "What is the area of a rectangle with length 8 and width 6?"
answer: "The area of a rectangle with length 8 and width 6 is 48."

recursive prompting 的更多示例如下：

7.3 CoT 与 递归提示的混合使用

自我提问（self-ask）可以视为另一种类型的递归提示，是一种反复提示模型提出后续问题以迭代构建思维过程的方法。后续问题可以通过搜索引擎结果来回答。类似地，IRCoT 和 ReAct 将迭代 CoT 提示与对 Wikipedia API 的查询相结合，以搜索相关实体和内容，然后将其添加回上下文中。示例如下：

思维树（Tree of Thought）通过探索每一步的多种推理可能性来扩展 CoT。它首先将问题分解为多个思维步骤，并在每个步骤中生成多个思维，实质上是创建一个树形结构。搜索过程可以是广度优先过程或深度优先的过程，而每个节点的评估分类器可以通过 Prompt 提示的方式完成。

8. 自动提示的设计

一般而言，Prompt 相当于一系列前缀令牌，它们增加了在给定输入时获得所需输出的概率。因此，可以将它们视为可训练的参数，并通过梯度下降法直接在嵌入空间上对它们进行优化，例如 AutoPrompt，Prefix-Tuning，P 微调和 Prompt-Tuning，从自动提示到提示微调的趋势是设置的逐渐简化。

8.1 自动提示工程

APE 是一种在模型生成的 Prompt 候选集中搜索的方法，然后根据选择的得分函数过滤候选人集，以最终选择得分最高的最佳候选提示。

提示 LLM 根据输入输出键值对形式的一个小集合尝试生成候选指令。

给定一个数据集 Dtrain = {(x, y)}，希望找到一个指令ρ，使：

f(.) 是每个样本的得分函数，例如执行精度或对数概率。

使用蒙特卡罗搜索方法进行迭代，通过 prompt 生成下列指令的变体，同时保持语义，提出语义相似的变体，从而改进最佳候选项。

8.2 自动构建 CoT

为了自动构建思维链，Shum 等人 (2023) 提出了增强 - 修剪 - 选择，一个三步过程：

• 增强：使用 few-shot 或 zero shot 的 CoT Prompt 生成给定问题的多个伪思维链;
• 修剪：基于生成的答案是否匹配基本真相来修剪这些伪思维链。
• 选择：应用降低方差的梯度策略来学习选定示例的概率分布，同时考虑将示例的概率分布作为策略，并将验证集的准确性作为奖励。

8.3 基于聚类的 CoT 构建

采用聚类技术对问题进行抽样，然后生成链（2023）。LLM 倾向于犯某些类型的错误，一类错误可以在嵌入空间中相似，因此可以组合在一起。通过只从频繁错误集群中抽样一个或几个，可以防止一个错误类型的过多错误演示，并收集一组不同的示例。

• 问题聚类：嵌入问题并采用 K-means 聚类的运行方式。
• 演示选择：从每个聚类中选择一组有代表性的问题，即从一个聚类中选择一个演示样例。每个簇中的样本按照到簇中心的距离进行排序，首先选择离簇中心较近的样本。
• 基本关系的生成：使用 zero-shot CoT 为选定的问题生成推理链，构造 few-shot prompt 进行推理。

9. 提示工程的常见实践

提示工程的实现涉及到基于 LLM 应用中的各个方面，这里给出一些提示工程的常见实践：

1. 静态提示：Prompt 可以遵循 zero、single 或 few shot 的方法。LLM 的生成能力通过在 Prompt 中包含示例数据来遵循一次性学习或几次性学习得到了极大的增强。
2. 上下文提示：上下文提示在生成响应时提供对 LLM 的参考框架，在很大程度上可以避免 LLM 的幻觉。
3. 提示模板：静态提示转换为模板，其中键值被替换为占位符，占位符在运行时被应用程序的值/变量替换。提示模板中的变量或占位符通过用户提出的问题，以及从知识存储中搜索的知识来填充，因此也称为提示注入或实体注入。
4. 提示链：提示链，也称为 LLM 链，是创建一个由一系列模型调用组成的链的概念。这一系列调用相继发生，其中一个链的输出作为另一个链的输入。每个链的目标都是小型且范围良好的子任务，因此单个 LLM 是用于寻址任务的多个有序子组件之一。
5. 提示流水线：在机器学习中，流水线可以描述为端到端结构，来协调事件和数据流。流水线由触发器启动或启动; 并且基于某些事件和参数，遵循一个流程，该流程将产生一个输出。对于提示流水线而言，流在大多数情况下是由用户请求启动的，请求被定向到特定的提示模板。因此，提示流水线可以描述为提示模板的智能扩展。
6. Agent 代理：对于 LLM 相关的操作，其自动化的形式是所谓的 Agent 代理。提示链是执行预先确定和设置的操作序列，Agent 不遵循预先确定的事件顺序，可以保持高度的自主性。Agent 可以访问一组工具，任何属于这些工具范围的请求都可以由 Agent 处理。执行流水线为 Agent 提供了自治权，在代理到达最终答案之前可能需要进行多次迭代。
7. CoT 提示：CoT 提示使大型语言模型 (LLM) 能够处理常识推理和算术等复杂任务。通过 Prompt 建立 CoT 推理并相应地指导 LLM，这是一种相当直接的实现。标准提示与 CoT 提示的对比如下：

思维链提示特别有用的地方在于，通过分解 LLM 输入和 LLM 输出，它创建了一个洞察和解释窗口。

8. ChatML：LLM 的主要安全漏洞和滥用途径是 Prompt 注入攻击，ChatML 将允许针对这些类型的攻击提供保护。为了消除 prompt 注入攻击，会话被分为以下几个层次或角色：系统、助理和用户等，然后做相应的 prompt 防护。

10. Prompt Engineering 的挑战与未来

有人可以说，Prompt Engineering 是以某种方式构建的自然语言。但 OpenAI 首席执行官所指的似乎是真正的非结构化和高度直观的交互界面，在某种程度上，这种说法是值得商榷的，因为如此多的技术和创新都是基于 Prompt engineering 的基本原理来实现的。

考虑到企业用例，操纵 LLM 的两种主要方法是微调和将上下文参考数据注入到推理 prompt 中，两种方法不是互斥的。模型微调会更改 LLM 的行为和响应，RAG 通过上下文参考来补充用户的输入。

提示工程的主要挑战之一是问题的陈述和形式化表达，将思想中存在的需求转化为文本请求。退一步而言，在传统的聊天机器人中建立上下文是非常重要的。上下文首先是通过根据一个或多个意图对用户输入进行分类来建立的，通过先前的对话、对其他系统的 API 调用等建立进一步的上下文。上下文在很大程度上也取决于时间和地点，以及提出问题时的背景参考是什么。

除了上下文感知外，歧义性是另一个挑战。有些形式的歧义对我们人类来说很容易理解，但传统上对 NLU/聊天机器人来说很难。在 OpenAI 的实现中，LLM 输入方面出现了 chatML，定义了角色，并为 LLM 的输入提供了明确的结构。LLM 输出方面出现了 function call，聊天的完成模式被设置为事实上的标准。

意图、上下文、歧义和消除歧义都是任何对话的组成部分。有了人类语言界面，语境和语境感知将永远是重要的。歧义是存在的，一定程度的歧义消除是人类对话的一部分。在对话中，我们不断使用'歧义消除'来确立意义和意图，在上下文中可以在一定程度上自动消除歧义。例如，要求 LLM 生成五个选项，然后让用户选择生成的最佳答案，就是一种消除歧义的形式。

企业实施将是特定于领域的，需要约束，并具有一定程度的域外检测。问题或请求的分解对于创建一个思维链推理过程非常重要。微调设置模型行为，而 RAG 为 LLM 创建了一个上下文参考，以便在推理过程中使用。数据管理将始终是 LLM 应用程序的一部分。

复杂性从不会消失，只会从一个地方转移到另一个地方。