LLM 提示工程技巧总结
本文基于 Sahoo et al. (2024) 的最新研究成果，系统梳理大型语言模型（LLM）的核心提示工程技术。内容涵盖基础提示策略、推理与逻辑增强方法等多个维度，旨在帮助开发者理解并应用这些技术以提升模型表现。
1. 无需大量训练的新任务
1.1 零样本提示 (Zero-Shot Prompting)
零样本提示技术是 LLM 领域的一项重要创新，由 Radford et al. (2019) 提出。该技术使我们能够在缺乏大规模专门训练数据的情况下，通过巧妙设计的提示来引导模型执行新任务。这意味着，模型接收到的是任务的描述，而不是针对该任务的具体训练标签或资料。这项技术依赖于模型本身预训练的知识库，它可以利用这些提示来对新的任务作出反应和预测。
应用场景： 适用于通用分类、翻译、摘要等任务，当没有特定领域的标注数据时尤为有效。
示例：
Classify the text into neutral, negative or positive.
Text: I think the vacation is okay.
Sentiment:
输出：
Neutral
1.2 少样本提示 (Few-Shot Prompting)
Few-Shot Prompting 是由 Brown et al. (2020) 提出。与零样本提示相比，它透过提供少数输入输出范例，来帮助模型学习特定任务。论文中有描写到，通过精选的高质量范例，能够显著提升模型在执行复杂任务时的表现，尤其是在完全没有示例的情况下更为明显。
尽管这种方法效果显著，但由于需要更多的输入 token，可能会在处理长文本时遇到困难。此外，范例的挑选对于模型的最终表现至关重要，不恰当的范例选择可能会导致模型学习到不精确或有偏见的信息。
示例：
A "whatpu" is a small, furry animal native to Tanzania. An example of a sentence that uses
the word whatpu is:
We were traveling in Africa and we saw these very cute whatpus.
To do a "farduddle" means to jump up and down really fast. An example of a sentence that uses
the word farduddle is:
输出：
When we won the game, we all started to farduddle in celebration.
2. 推理与逻辑增强
在推理与逻辑领域，多种创新技术的诞生使 LLM 能够进行更加深入和复杂的思考过程。技术如 Chain-of-Thought (CoT)、Automatic Chain-of-Thought (Auto-CoT)、Self-Consistency、Logical CoT 等，都旨在促进模型以更结构化和逻辑性的方式处理信息，从而提高问题解决的准确性和深度。
2.1 思维链提示 (Chain-of-Thought Prompting)
为了克服 LLM 在处理复杂推理任务方面的限制，Wei et al. (2022) 提出了一种称为 CoT 的创新方法。该技术通过引入一种特殊的提示策略，旨在促进模型进行更为连续和逐步的思考过程。相较于传统的提示方法，连贯思考技术的主要贡献在于能够更有效地激发 LLM 产出结构化且深入考虑的回答。
通过一系列实验，这一技术证明了其在促进模型执行逻辑推理中的独特效用，特别是在使模型对问题进行更深层次理解的方面。例如，它能详细描绘出解决复杂数学问题所需的逻辑步骤，这一过程非常类似于人类的解题思维。利用 CoT，研究者们在使用 PaLM 540B 模型进行的数学及常识推理测试中，达到了空前的准确率，高达 90.2%。
