大模型提示词进阶指南：System Prompts 与数据集分析

If the text does not contain sufficient information to answer the question, do not make up information and give the answer as "NA".

You are only allowed to answer questions related to [insert scope]. Never answer any questions related to demographic information such as age, gender, and religion.

各部分内容涉及的类别如下：

• Task Definition: You will answer questions using this text...
• Output Format: You will respond with a JSON object...
• Guardrails: If the text does not contain... / You are only allowed...

1.5 但是，"正常"的聊天提示语又是什么呢？

现在你可能会想：听起来 System Prompt 中已经提供了很多信息。那我应该在聊天的"正常"提示语（即 User Prompts）中写些什么呢？

System Prompt 概述了当前的一般任务。在上面的 System Prompt 示例中，任务已被定义为只使用一段特定的文本来回答问题，并且 LLM 被指示以{"Question": "Answer"}的格式进行回答。

在这种情况下，聊天过程中的每个 User Prompt 都将简化为你希望 LLM 用文本回答的问题。例如，某个用户的提问可能是'这段文本是关于什么的？'然后 LLM 会回答说{"这段文本是关于什么的？": "这段文本是关于……"}。

但是，让我们进一步概括这个任务示例。在这种情况下，我们可以将上述 System Prompt 的第一行从：

You will answer questions using this text: [insert text].

编辑为：

You will answer questions using the provided text.

现在，每个用户在聊天时的提示语将包括进行问题回答的文本和要回答的问题，例如：

[insert text]

[insert question]

在这里，还将使用 XML 标签作为分隔符，以便以结构化的方式向 LLM 提供所需的两个信息片段。XML 标签中使用的名词"text"和"question"与 System Prompt 中使用的名词相对应，这样 LLM 就能理解标签与 System Prompt instructions 之间的关系。

总之，System Prompt 应给出总体任务 instructions，而每个 User Prompt 应提供任务执行的具体细节。例如，在本例中，这些具体的细节是 text 和 question。

1.6 LLM guardrails 动态化

上面通过 System Prompt 中的几句话添加了 guardrails。这些 guardrails 会被固定下来，在整个聊天过程中都不会改变。但是如果您希望在对话的不同阶段设置不同的 guardrails，该怎么办？

对于使用 ChatGPT Web 界面的用户来说，目前还没有直接的方法来做到这一点。不过，如果您正在通过编程方式与 ChatGPT 进行交互，那你就走运了！随着人们对构建有效的 LLM guardrail 的关注度越来越高，一些开源软件包也应运而生，它们可以让你以编程方式设置更详细、更动态的 guardrail。

其中值得注意的是英伟达团队开发的 NeMo Guardrails，它允许您配置用户和 LLM 之间预期的对话流程，从而在聊天的不同时间点设置不同的 guardrail，实现随着聊天进展而不断演变的动态 guardrails。我强烈推荐您去了解一下！

02 [🔴] 仅使用 LLM（无需插件或代码）分析数据集

您可能已经听说过 OpenAI 在 ChatGPT 的 GPT-4 中推出的高级数据分析插件，该插件仅高级（付费）账户可以使用。它允许用户将数据集上传到 ChatGPT，并直接在数据集上运行代码，从而进行精确的数据分析。

但你知道吗，使用 LLM 分析数据集并不一定需要这样的插件？让我们先来了解一下单纯使用 LLMs 分析数据集的优势和局限性。

2.1 大语言模型不擅长的数据集分析类型

正如您可能已经知道的那样，LLM 在进行精确数学计算方面的能力有限，因此它们不适合完成需要对数据集进行精确定量分析的任务，比如：

• 描述性统计（Descriptive Statistics）：通过诸如均值或方差的测量来定量总结数值列。
• 相关性分析（Correlation Analysis）：获取列之间精确的相关系数。
• 统计分析（Statistical Analysis）：比如假设检验（hypothesis testing），以确定各组数据点之间是否存在统计意义上的显著差异。
• 机器学习（Machine Learning）：在数据集上执行预测建模，比如使用线性回归（linear regressions）、梯度提升树（gradient boosted trees）或神经网络（neural networks）。

方便在数据集上执行这些定量任务正是 OpenAI 推出高级数据分析插件的原因，这样编程语言就可以在数据集上运行代码来执行此类任务。

那么，为什么有人只想使用 LLM 而不使用此类插件来分析数据集呢？

2.2 大语言模型擅长的数据集分析类型

LLM 非常擅长识别模式和趋势（patterns and trends）。这种能力源自它们在多样化和海量数据上的广泛训练，使它们能够识别那些可能无法立即察觉的复杂模式。

这使它们非常适合执行基于数据集进行模式识别的任务，例如：

• 异常检测（Anomaly detection）：基于一列或多列的数值，识别偏离常规的异常数据点。
• 聚类（Clustering）：将具有相似特征的数据点分组。
• 跨列关系（Cross-Column Relationships）：通过分析不同列之间的关系，可以揭示数据中的复杂模式和趋势。
• 文本分析（Textual Analysis）（针对基于文本的列）：基于主题或情感进行分类。
• 趋势分析（Trend Analysis）（针对具有时间特征的数据集）：识别列中跨时间的模式、季节性变化或趋势。

对于这类基于模式的任务，单独使用 LLM 可能会比使用代码在更短的时间内获得更好的结果！让我们用一个例子来充分说明这一点。

2.3 仅使用 LLM 分析 Kaggle 数据集

我们将使用一个广受欢迎的真实 Kaggle 数据集，该数据集专为进行客户人格分析而准备，其中一家公司试图对其客户群体进行细分，以便更好地了解其客户。

为了便于之后验证 LLM 的分析结果，我们取该数据集的 50 行为一个子集，并只保留最相关的列。之后，用于分析的数据集将如下所示，其中每一行代表一位客户，每一列描述客户信息：

假设你在公司的营销团队工作。你的任务是利用这些客户信息数据集来指导营销工作。这是一项分两步走的任务：首先，利用数据集划分多个具有实际意义的客户细分群体。接下来，提出如何最好地针对每个客户群体进行创意营销。现在，这是一个实际的商业问题，LLM 的模式发现（pattern-finding，对于步骤 1）能力在这个问题上确实可以大显身手。

让我们按照以下方式为这个任务制定提示语（prompt），将使用 4 种 prompt engineering 技术（后续会详细介绍）：

1. 将复杂的任务分解为简单的步骤

2. 参考每个步骤的中间输出

3. 格式化 LLM 的回答

4. 将 instructions 与数据集分开

> System Prompt:
> I want you to act as a data scientist to analyze datasets. Do not make up information that is not in the dataset. For each analysis I ask for, provide me with the exact and definitive answer and do not provide me with code or instructions to do the analysis on other platforms.

> Prompt:

## CONTEXT
> I sell wine. I have a dataset of information on my customers: [year of birth, marital status, income, number of children, days since last purchase, amount spent].
> #############

## OBJECTIVE
> I want you use the dataset to cluster my customers into groups and then give me ideas on how to target my marketing efforts towards each group. Use this step-by-step process and do not use code:
> 
> 1. CLUSTERS: Use the columns of the dataset to cluster the rows of the dataset, such that customers within the same cluster have similar column values while customers in different clusters have distinctly different column values. Ensure that each row only belongs to 1 cluster.
> 
> For each cluster found,
> 
> CLUSTER_INFORMATION: Describe the cluster in terms of the dataset columns.
> CLUSTER_NAME: Interpret [CLUSTER_INFORMATION] to obtain a short name for the customer group in this cluster.
> MARKETING_IDEAS: Generate ideas to market my product to this customer group.
> RATIONALE: Explain why [MARKETING_IDEAS] is relevant and effective for this customer group.
> 
> #############

## STYLE
> Business analytics report
> #############

## TONE
> Professional, technical
> #############

## AUDIENCE
> My business partners. Convince them that your marketing strategy is well thought-out and fully backed by data.
> #############

## RESPONSE: MARKDOWN REPORT
> <For each cluster in [CLUSTERS]>
> — Customer Group: [CLUSTER_NAME]
> — Profile: [CLUSTER_INFORMATION]
> — Marketing Ideas: [MARKETING_IDEAS]
> — Rationale: [RATIONALE]
> Give a table of the list of row numbers belonging to each cluster, in order to back up your analysis. Use these table headers: [[CLUSTER_NAME], List of Rows].
> #############

## START ANALYSIS
> If you understand, ask me for my dataset.

GPT-4 的回答如下，接下来我们将数据集以 CSV 字符串的形式传递给它。

随后，GPT-4 将按照我们要求的 markdown 格式回复分析结果。

2.4 验证 LLM 的分析结果

为了简洁起见，我们将挑选 LLM 生成的 2 个客户群体进行验证，比如 Young Families 和 Discerning Enthusiasts。

2.4.1 Young Families

• LLM 总结的该人群特征：1980 年后出生，已婚或同居，收入中等偏低，有孩子，经常进行小额购买。
• LLM 将数据集中的这些行聚类到了 Young Families 这个群体中：3、4、7、10、16、20

深入数据集，这些行的完整数据如下：

LLM 识别出的这部分客户资料，确实对应于所识别的客户群体。甚至能够在我们事先未经过预处理的情况下对具有空值的资料进行聚类！

2.4.2 Discerning Enthusiasts

• LLM 总结的该人群特征：年龄跨度广，可能是任何婚姻状况，高收入，子女状况各异，购买支出高。
• LLM 认为该人群对应的数据行：2、5、18、29、34、36

深入数据集，这些行的完整数据如下：

再次与 LLM 识别出的人群资料非常吻合！

这个例子展示了 LLM 在发现模式、解释和提炼多维数据集，并将其提炼为有意义的见解方面的能力，同时确保其分析深深扎根于数据集的事实。

2.5 如果我们使用 ChatGPT 的高级数据分析插件会怎样呢？

为了保证分析的完整性，我尝试使用相同的提示语（prompt），并请求 ChatGPT 使用代码执行相同的分析，这就激活了它的高级数据分析插件。这个想法是让插件直接在数据集上运行 K-Means 等聚类算法的代码，以获得各个用户群体的特征，然后综合每个群体的数据来提供营销策略。

然而，尽管数据集只有 50 行，进行了多次尝试都导致出现以下错误信息而没有任何输出：

Error: Code execution failed due to timeout or memory limit.

现在使用高级数据分析插件，在数据集上执行较简单的任务（如计算描述性统计数据或创建图表）似乎很容易实现，但需要某些计算算法的较高级任务有时可能会由于计算限制或其他原因导致错误或无输出。

2.6 那么…何时使用 LLM 分析数据集？

答案是取决于分析的数据类型。

对于需要精确数学计算或复杂的、基于规则处理的任务，传统的编程方法仍然更胜一筹。

对于基于模式识别（pattern-recognition）的任务，使用传统的编程或算法方式可能比较具有挑战性或更耗时。然而，LLM 擅长此类任务，甚至可以提供额外的内容输出，比如用来支持其分析的附件和 Markdown 格式的完整分析报告。

归根结底，是否使用 LLM 取决于手头任务的性质，要在 LLM 在模式识别方面的优势与传统编程技术提供的精确性和特异性之间取得平衡。

2.7 现在回到提示工程（prompt engineering）！

在本节结束之前，让我们回顾一下用于生成此数据集分析的提示语（prompt），并分解所使用的 prompt engineering 关键技术。

技巧 1：将复杂任务分解为简单步骤

LLM 擅长执行简单任务，但在复杂任务上表现一般。因此，对于像这样的复杂任务，重要的是要把任务分解成简单的步骤说明，让 LLM 遵循。 这样做的目的是向 LLM 提供你自己执行任务时会采取的步骤。

在本例中，步骤如下：

Use this step-by-step process and do not use code:

1. CLUSTERS: Use the columns of the dataset to cluster the rows of the dataset...

2. CLUSTER_INFORMATION: Describe the cluster in terms of the dataset columns.

3. CLUSTER_NAME: Interpret [CLUSTER_INFORMATION] to obtain a short name...

4. MARKETING_IDEAS: Generate ideas to market my product...

5. RATIONALE: Explain why [MARKETING_IDEAS] is relevant...

与简单地将整体任务交给 LLM 相比，例如'将客户分组，然后提出针对每个群体的营销策略'。通过逐步说明，LLM 更有可能提供正确的结果。

技巧 2：引用每个步骤的中间输出

在向 LLM 提供逐步说明时，可将每个步骤的中间输出命名为大写的变量名，例如 CLUSTERS、CLUSTER_INFORMATION、CLUSTER_NAME、MARKETING_IDEAS 和 RATIONALE。

使用大写字母是为了将这些变量名与给出的 instructions 内容区分开。稍后可以使用方括号引用这些中间输出，如 [VARIABLE_NAME]。

技巧 3：规范大模型回答的格式

在这里，要求使用 Markdown 报告格式，以美化 LLM 的回答。在这里，中间输出中的变量名又派上了用场，可以决定报告的结构。

## RESPONSE: MARKDOWN REPORT
> <For each cluster in [CLUSTERS]>
> — Customer Group: [CLUSTER_NAME]
> — Profile: [CLUSTER_INFORMATION]
> — Marketing Ideas: [MARKETING_IDEAS]
> — Rationale: [RATIONALE]

事实上，您甚至可以随后要求 ChatGPT 将报告提供为可下载文件，这样您就可以根据其回答来撰写最终的报告文档。

技巧 4：将任务说明与数据集分开

您会注意到我们在第一个提示语中并没有将数据集提供给 LLM。相反，提示语只包含了数据集分析的任务说明，并在最后加上了以下内容：

## START ANALYSIS
> If you understand, ask me for my dataset.

ChatGPT 随后回复说它理解了，我们将在下一个提示语中将数据集作为 CSV 字符串传递给它。

但为什么要将 instructions 与数据集分开呢？

简单明了的答案是，LLM 的上下文窗口存在限制，即在一句提示语中可以输入的 tokens 数量存在限制。同时包含 instructions 和数据集的长提示语（long prompt）可能会超过这个限制，从而导致截断（truncation）和信息丢失（loss of information）。

更复杂的答案是，将 instructions 和数据集分开可以帮助 LLM 保持清晰的理解，降低遗漏信息的可能性。 你可能遇到过这样的情况，即 LLM'不小心忘记了'你发送的较长提示语给出的某个 instruction ——例如，如果你要求给出 100 字的回答，而 LLM 却给了您一个较长的段落。通过先接收 instructions，再接收 instructions 所针对的数据集，LLM 可以先消化它应该执行的任务，然后再对接下来提供的数据集执行 instructions。

不过请注意，只有聊天型 LLM 才能实现 instruction 和数据集的分离，因为它们会保留对话记忆，而 completion LLM 则不会。

总结与建议

本文分享了大模型提示词工程的进阶策略。通过合理使用 System Prompts 和 Guardrails，可以有效规范 LLM 的输出质量和安全性。同时，在不依赖外部插件的情况下，利用 LLM 强大的模式识别能力进行数据集分析，往往能比传统代码执行更高效地获得业务洞察。

在实际应用中，建议开发者根据具体任务类型选择工具：若需精确计算，优先使用代码；若需模式发现与解释，优先使用 LLM 提示词。掌握将任务分解、引用中间变量、规范输出格式及分离指令与数据的核心技巧，将显著提升大模型应用的落地效果。