本文详细介绍了大模型的基础知识，重点讲解了分词技术（包括基于空格的分词、Byte Pair Encoding 及 Unigram 模型）及其在 Unicode 环境下的处理策略。内容涵盖上下文学习（In-Context Learning）的原理，以及提示工程（Prompt Engineering）的核心设计原则、常用手段（零样本、少样本、思维链、检索增强）和进阶技巧（角色提示、风格指导、字数控制）。此外，文章还分析了提示注入、提示泄露和越狱等安全风险，并提供了相应的防御方案，旨在帮助开发者全面掌握大模型应用开发的基础理论与最佳实践。
回顾语言模型的基础，我们知道语言模型 $p$ 是建立在词元（token）序列上的一个概率分布输出。每个词元来自某个词汇表 $V$，例如以下形式：
["the", "mouse", "ate", "the", "cheese"]
技术提示：词元（Token）在自然语言处理（NLP）中通常指文本序列中的最小单元，可以是单词、标点符号、数字、符号或其他类型的语言元素。对于英文任务，一个 Token 可以是一个单词或标点；对于中文，通常以字或词作为 Token。
然而，自然语言并非天然以词元序列形式存在，而是以字符串形式存在（具体为 Unicode 字符的序列）。例如上述序列的自然语言形式为'the mouse ate the cheese'。
分词器的作用是将任意字符串转换为词元序列：
'the mouse ate the cheese.' ⇒ ['the', 'mouse', 'ate', 'the', 'cheese', '.']
虽然这部分不一定是语言建模中最引人注目的部分，但在确定模型的工作效果方面起着非常重要的作用。我们可以将其理解为自然语言和机器语言的一种隐式的对齐。特别是对于机器学习人员，日常了解的输入需要是数值的才能在模型中被计算，因此理解非数值类型的字符串是如何处理的至关重要。
从字面理解，分词就是把词分开，从而方便对词进行单独的编码。对于英文字母来说，由于其天然主要由'单词 + 空格 + 标点符号'组成，最简单的解决方案是使用 text.split(' ') 方式进行分词。这种分词方式对于英文这种按照空格分隔且每个分词后的单词有语义关系的文本是简单而直接的。
然而，这种方法存在明显局限：
Abwasserbehandlungsanlage），英语中有连字符词（如 father-in-law）和缩略词（如 don't），它们需要被正确拆分。don't 拆分为 do 和 n't，这是基于信息的语言选择，但简单的空格划分可能破坏形态丰富的语言的语义结构。什么样的分词才是好的？从直觉和工程实践角度考虑：
mother-in-law 和 father-in-law 应该完全不同吗？），这对于形态丰富的语言（如阿拉伯语、土耳其语等）尤其重要。字节对编码（Byte Pair Encoding, BPE）算法最初应用于数据压缩领域，现用于生成最常用的分词器之一。BPE 分词器需要通过模型训练数据进行学习，获得需要分词文本的一些频率特征。
学习分词器的过程，直觉上，我们先将每个字符作为自己的词元，并组合那些经常共同出现的词元。整个过程可以表示为：
假设输入语料为三个字符串：
I = [['the car', 'the cat', 'the rat']]
't' 和 'h' 按照 'th' 形式一起出现了三次，'h' 和 'e' 按照 'he' 形式也出现了三次。假设选择 'th'。'th' 替换为新符号，并加入词汇表。此时 $V$ 包含 'th'。Unicode 是当前主流的一种编码方式，共有 144,697 个字符。在训练数据中不可能见到所有的字符。为了进一步减少数据的稀疏性，我们可以对字节而不是 Unicode 字符运行 BPE 算法。
以中文为例：
今天 ⇒ [0x62, 0x11, 0x4e, 0xca] (字节表示)
BPE 算法在这里的作用是为了进一步减少数据的稀疏性。通过对字节级别进行分词，可以在多语言环境中更好地处理 Unicode 字符的多样性，并减少数据中出现的低频词汇，提高模型的泛化能力。
与仅仅根据频率进行拆分不同，一个更'有原则'的方法是定义一个目标函数来捕捉一个好的分词的特征。Unigram model 就是基于这种动机提出的（Kudo, 2018）。
这是 SentencePiece 工具支持的一种分词方法，与 BPE 一起使用。似然值的计算是 unigram 模型中重要的一部分，它用于评估分词结果的质量。较高的似然值表示训练数据与分词结果之间的匹配程度较高。
这个过程旨在优化词汇表，剔除对似然值贡献较小的词汇，以减少数据的稀疏性，并提高模型的效果。通过迭代优化和剪枝，词汇表会逐渐演化，保留那些对于似然值有较大贡献的词汇，提升模型的性能。
上下文学习是指模型以输入的提示（一段自然语言，包括任务描述、零或少量示例、推理类问题上还包含推理步骤）为条件补充生成后面的文本。本质是条件生成 $p(output | prompt, model)$，与自回归模型的预训练目标是一致的。
上文学习的理论依据目前仍是个开放问题，直观理解是大模型从大量语料里学到了语言 pattern，上文作为 pattern 的前缀能够诱导（elicit/steer/priming/modulate）模型向'正确的'pattern 继续生成。
Prompt 是 LLM 落地要重点突破的技术点。大模型以自然语言为人机交互形式，提示设计成为普通用户优化模型效果最直接的手段。同一问题用不同的提示得到的结果效果差异很大，如何编写高质量的提示词是关键。
除了上面的基本手段，还有一些进阶手段，能让模型输出更丰富且符合需求的格式。
值得注意的是，提示本身其实会有安全的问题，这些应该在上线之前完成对这块的检测，避免出现不合适的结果，从而造成损失。
<input_query>。</input_query>`。本文深入探讨了大模型的基础知识，涵盖了从底层的分词机制（BPE、Unigram）到上层的上下文学习与提示工程。理解这些基础概念对于开发高效、稳定的大模型应用至关重要。在实际工程中，选择合适的分词策略能显著提升模型性能，而精心设计的 Prompt 则是释放大模型潜力的关键钥匙。同时，必须重视提示工程带来的安全风险，建立完善的防御机制以确保系统的安全性。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online