梳理了大语言模型从预训练到指令微调的完整技术流程。涵盖词表构建（Tokenizer）、预训练策略（数据采样、清洗）、指令微调方法（Self Instruction）及评测体系（C-Eval、GPT-4 Judge）。补充了强化学习对齐（RLHF）与模型部署优化环节，为开发者提供系统化的大模型训练实战参考。
ChatGPT 面世以来，各种大模型相继出现。那么大模型到底是如何训练的呢？在这篇文章中，我们将尽可能详细地梳理一个完整的 LLM 训练流程，包括模型预训练（Pretrain）、Tokenizer 训练、指令微调（Instruction Tuning）以及强化学习对齐（RLHF）等环节。
工欲善其事，必先利其器。
当前，不少工作选择在一个较强的基座模型上进行微调，且通常效果不错（如 Alpaca、Vicuna 等）。这种成功的前提在于：预训练模型和下游任务的差距不大，预训练模型中通常已经包含微调任务中所需要的知识。
但在实际情况中，我们通常会遇到一些问题，使得我们无法直接使用一些开源 backbone：
基于上述原因，我们在进行 SFT 步骤之前，先来看看预训练任务是如何做的。
在进行预训练之前，我们需要先选择一个预训练的模型基座。一个较为普遍的问题是：大部分优秀的语言模型都没有进行充分的中文预训练，因此，许多工作都尝试将在英语上表现比较优秀的模型用中文语料进行二次预训练，期望其能够将英语上的优秀能力迁移到中文任务中来。
但在进行正式的训练之前，我们还有一步很重要的事情去做：词表扩充。
通俗来讲，tokenizer 的目的就是将一句话进行切词，并将切好词的列表喂给模型进行训练。例如：
输入句子 >>> 你好世界
切词结果 >>> ['你', '好', '世', '界']
通常，tokenizer 有 2 种常用形式：WordPiece 和 BPE。
WordPiece 很好理解，就是将所有的「常用字」和「常用词」都存到词表中，当需要切词的时候就从词表里面查找即可。
如上图所示，大名鼎鼎的 BERT 就使用的这种切词法。当我们输入句子：你好世界，BERT 就会依次查找词表中对应的字，并将句子切成词的组合。
当遇到词表中不存在的字词时，tokenizer 会将其标记为特殊的字符 [UNK]：
Out of Vocabulary（OOV）情况。
WordPiece 的方式很有效，但当字词数目过于庞大时这个方式就有点难以实现了。对于一些多语言模型来讲，要想穷举所有语言中的常用词（穷举不全会造成 OOV），既费人力又费词表大小，为此，人们引入另一种方法：BPE。
BPE 不是按照中文字词为最小单位，而是按照 unicode 编码作为最小粒度。对于中文来讲，一个汉字是由 3 个 unicode 编码组成的，因为平时我们不会拆开来看（毕竟中文汉字是不可拆分的），所以我一开始对这个概念也不太熟悉。
我们来看看 LLaMA 的 tokenizer（BPE）对中文是如何进行 encode 的：
可以看到，「编码」两个字能够被正常切成 2 个字，但「待」却被切成了 3 个 token，这里的每个 token 就是 1 个 unicode 编码。
通过 token 查找功能，我们可以发现「编」「码」在词表中，但「待」不在词表中。但任何 1 个汉字都是可以由 unicode 表示（只是组合顺序不同），因此「待」就被切成了 3 个 token。
通常在模型训练不够充足的时候，模型会输出一些乱码（不合法的 unicode 序列）：游泳池是杭州西湖的一个游泳池，。
为了降低模型的训练难度，人们通常会考虑在原来的词表上进行「词表扩充」，也就是将一些常见的汉字 token 手动添加到原来的 tokenizer 中，从而降低模型的训练难度。
我们对比 Chinese-LLaMA 和 LLaMA 之间的 tokenizer 的区别：
我们可以发现：Chinese LLaMA 在原始 tokenizer 上新增了 17953 个 tokens，且加入 token 的大部分为汉字。
而在 BELLE 中也有同样的做法：在 120w 行中文文本上训练出一个 5w 规模的 token 集合，并将这部分 token 集合与原来的 LLaMA 词表做合并，最后再在 3.2B 的中文语料上对这部分新扩展的 token embedding 做二次预训练。
在扩充完 tokenizer 后，我们就可以开始正式进行模型的预训练步骤了。Pretraining 的思路很简单，就是输入一堆文本，让模型做 Next Token Prediction 的任务，这个很好理解。我们主要来讨论几种预训练过程中所用到的方法：数据源采样、数据预处理、模型结构。
在 GPT3 的训练过程中，存在多个训练数据源，论文中提到：对不同的数据源会选择不同采样比例：
通过「数据源」采样的方式，能够缓解模型在训练的时候受到「数据集规模大小」的影响。从上图中可以看到，相对较大的数据集（Common Crawl）会使用相对较大的采样比例（60%），这个比例远远小于该数据集在整体数据集中所占的规模（410 / 499 = 82.1%），因此，CC 数据集最终实际上只被训练了 0.44 个 epoch。
而对于规模比较小的数据集（Wikipedia），则将多被训练几次（3.4 个 epoch）。这样一来就能使得模型不会太偏向于规模较大的数据集，从而失去对规模小但作用大的数据集上的学习信息。
数据预处理主要指如何将「文档」进行向量化。通常来讲，在 Finetune 任务中，我们通常会直接使用 truncation 将超过阈值（2048）的文本给截断，但在 Pretrain 任务中，这种方式显得有些浪费。
以书籍数据为例，一本书的内容肯定远远多余 2048 个 token，但如果采用头部截断的方式，则每本书永远只能够学习到开头的 2048 tokens 的内容（连序章都不一定能看完）。因此，最好的方式是将长文章按照 seq_len（2048）作分割，将切割后的向量喂给模型做训练。
此外，还需要进行去重处理（Deduplication），去除完全重复或高度相似的样本，防止模型过拟合特定内容。
为了加快模型的训练速度，通常会在 decoder 模型中加入一些 tricks 来缩短模型训练周期。目前大部分加速 tricks 都集中在 Attention 计算上（如：MQA 和 Flash Attention 等）；此外，为了让模型能够在不同长度的样本上都具备较好的推理能力，通常也会在 Position Embedding 上进行些处理，选用 ALiBi 或 RoPE 等。
具体内容可以参考相关技术文档。
中文预训练数据集可以使用悟道，数据集分布如下（主要以百科、博客为主）：
但开源数据集可以用于实验，如果想突破性能，则需要我们自己进行数据集构建。在 Falcon paper 中提到，仅使用「清洗后的互联网数据」就能够让模型比在「精心构建的数据集」上有更好的效果，一些已有的数据集和它们的处理方法如下：
关于 Language Modeling 的量化指标，较为普遍的有 PPL、BPC 等，可以简单理解为在生成结果和目标文本之间的 Cross Entropy Loss 上做了一些处理。这种方式可以用来评估模型对「语言模板」的拟合程度，即给定一段话，预测后面可能出现哪些合法的、通顺的字词。
但仅仅是「生成通顺句子」的能力现在已经很难满足现在人们的需求，大部分 LLM 都具备生成流畅和通顺语句能力，很难比较哪个好，哪个更好。为此，我们需要能够评估另外一个大模型的重要能力 —— 知识蕴含能力。
一个很好的中文知识能力测试数据集是 C-Eval，涵盖 1.4w 道选择题，共 52 个学科。覆盖学科如下：
由于是选择题的形式，我们可以通过将题目写进 prompt 中，并让模型续写 1 个 token，判断这个续写 token 的答案是不是正确答案即可。
但大部分没有精调过的预训练模型可能无法续写出「A B C D」这样的选项答案，因此，官方推荐使用 5-shot 的方式来让模型知道如何输出答案：
以下是中国关于会计考试的单项选择题，请选出其中的正确答案。
下列关于税法基本原则的表述中，不正确的是____。 A. 税收法定原则包括税收要件法定原则和税务合法性原则 B. 税收公平原则源于法律上的平等性原则 C. 税收效率原则包含经济效率和行政效率两个方面 D. 税务机关按法定程序依法征税，可以自由做出减征、停征或免征税款的决定 答案：D
甲公司是国内一家领先的新媒体、通信及移动增值服务公司，由于遭受世界金融危机，甲公司经济利润严重下滑，经营面临困境，但为了稳定职工队伍，公司并未进行裁员，而是实行高层管理人员减薪措施。甲公司此举采用的收缩战略方式是____。 A. 转向战略 B. 放弃战略 C. 紧缩与集中战略 D. 稳定战略 答案：C
… # 第 3, 4, 5 道样例题
下列各项中，不能增加企业核心竞争力的是____。 A. 产品差异化 B. 购买生产专利权 C. 创新生产技术 D. 聘用生产外包商 答案：
通过前面的样例后，模型能够知道在「答案：」后面应该输出选项字母。
于是，我们获得模型续写后的第一个 token 的概率分布（logits），并取出「A B C D」这 4 个字母的概率，通过 softmax 进行归一化：
probs = (
torch.nn.functional.softmax(
torch.tensor(
[
logits[self.tokenizer.encode(
"A", bos=False, eos=False)[0]],
logits[self.tokenizer.encode(
"B", bos=False, eos=False)[0]],
logits[self.tokenizer.encode(
"C", bos=False, eos=False)[0]],
logits[self.tokenizer.encode(
"D", bos=False, eos=False)[0]],
]
),
dim=0,
).detach().cpu().numpy()
)
pred = {0: "A", 1: "B", 2: "C", 3: "D"}[np.argmax(probs)] # 将概率最大的选项作为模型输出的答案
C-Eval 通过这种方式测出了许多模型在中文知识上的效果，由于是 4 选项问题，所以基线（随机选择）的正确率是 25%。 C-Eval 也再一次证明了 GPT-4 是个多么强大的知识模型。
在完成第一阶段的预训练后，就可以开始进到指令微调阶段了。由于预训练任务的本质在于「续写」，而「续写」的方式并不一定能够很好的回答用户的问题。
例如：
因为训练大多来自互联网中的数据，我们无法保证数据中只存在存在规范的「一问一答」格式，这就会造成预训练模型通常无法直接给出人们想要的答案。
但是，这并不代表预训练模型「无知」，只是需要我们用一些巧妙的「技巧」来引导出答案：
不过，这种需要用户精心设计从而去「套」答案的方式，显然没有那么优雅。既然模型知道这些知识，只是不符合我们人类的对话习惯，那么我们只要再去教会模型「如何对话」就好了。这就是 Instruction Tuning 要做的事情，即指令对齐。
OpenAI 在 instruction-following 中展示了 GPT-3 和经过指令微调前后模型的区别：
GPT-3 只是在做续写任务，InstructGPT 则能够回答正确内容。
既然我们需要去「教会模型说人话」，那么我们就需要去精心编写各式各样人们在对话中可能询问的问题，以及问题的答案。
在 InstructGPT Paper 中，使用了 1.3w 的数据来对 GPT-3.5 进行监督学习（下图中左 SFT Data）：
可以观察到，数据集中人工标注（labeler）占大头，这还仅仅只是 InstructGPT，和 ChatGPT 远远不是一个量级。
非官方消息：ChatGPT 使用了百万量级的数据进行指令微调。
可见，使用人工标注是一件成本巨大的事情，只是找到人不够，需要找到「专业」且「认知一致」的标注团队。如果这件事从头开始做自然很难（OpenAI 确实厉害），但今天我们已经有了 ChatGPT 了，我们让 ChatGPT 来教我们自己的模型不就好了吗？
这就是 Self Instruction 的思路，即通过 ChatGPT 的输入输出来蒸馏自己的模型。一个非常出名的项目是 Stanford Alpaca。
如果从 ChatGPT「套」数据，那么我们至少需要「套」哪些数据。Instruction Tuning 中的「输入」（问题）和「输出」（答案）是训练模型的关键，答案很好得到，喂给 ChatGPT 问题根据返回结果就能获得，但「问题」从哪里获得呢？（靠人想太累了，屏幕前的你不妨试试，看看短时间内能想出多少有价值的问题）
Alpaca 则是使用「种子指令（seed）」，使得 ChatGPT 既生成「问题」又生成「答案」。由于 Alpaca 是英文项目，为了便于理解，我们使用相同思路的中文项目 BELLE 作为例子。
通俗来讲，就是人为的先给一些「训练数据样例」让 ChatGPT 看，紧接着利用 ChatGPT 的续写功能，让其不断地举一反三出新的训练数据集：
你被要求提供 10 个多样化的任务指令。这些任务指令将被提供给 GPT 模型，我们将评估 GPT 模型完成指令的能力。 以下是你提供指令需要满足的要求： 1.尽量不要在每个指令中重复动词，要最大化指令的多样性。 2.使用指令的语气也应该多样化。例如，将问题与祈使句结合起来。 3.指令类型应该是多样化的，包括各种类型的任务，类别种类例如：brainstorming，open QA，closed QA，rewrite，extract，generation，classification，chat，summarization。 4.GPT 语言模型应该能够完成这些指令。例如，不要要求助手创建任何视觉或音频输出。例如，不要要求助手在下午 5 点叫醒你或设置提醒，因为它无法执行任何操作。例如，指令不应该和音频、视频、图片、链接相关，因为 GPT 模型无法执行这个操作。 5.指令用中文书写，指令应该是 1 到 2 个句子，允许使用祈使句或问句。 6.你应该给指令生成适当的输入，输入字段应包含为指令提供的具体示例，它应该涉及现实数据，不应包含简单的占位符。输入应提供充实的内容，使指令具有挑战性。 7.并非所有指令都需要输入。例如，当指令询问一些常识信息，比如'世界上最高的山峰是什么'，不需要提供具体的上下文。在这种情况下，我们只需在输入字段中放置'<无输入>'。当输入需要提供一些文本素材（例如文章，文章链接）时，就在输入部分直接提供一些样例。当输入需要提供音频、图片、视频或者链接时，则不是满足要求的指令。 8.输出应该是针对指令和输入的恰当回答。 下面是 10 个任务指令的列表：
1.指令：在面试中如何回答这个问题？ 1.输入：当你在车里独处时，你会想些什么？ 1.输出：如果是在晚上，我通常会考虑我今天所取得的进步，如果是在早上，我会思考如何做到最好。我也会尝试练习感恩和活在当下的状态，以避免分心驾驶。
2.指令：按人口对这些国家进行排名。 2.输入：巴西，中国，美国，日本，加拿大，澳大利亚 2.输出：中国，美国，巴西，日本，加拿大，澳大利亚
3.指令：
如上述例子所示，我们先给出 2 个样例，并让 ChatGPT 进行续写：
ChatGPT 续写结果。
在这一章中，我们将梳理一些开源的 Instruction Tuning 的数据集，除了直接拿来用以外，我们期望通过分析这些已有数据集，从而学习如何构建一个指令数据集。
Stanford Alpaca 采用上述的 self instruction 的方式采集了 5200 条指令训练数据集。数据样例如下：
{
"instruction": "Arrange the words in the given sentence to form a grammatically correct sentence.",
"input": "quickly the brown fox jumped",
"output": "The quick brown fox jumped quickly."
}
其中，instruction 代表要求模型做的任务，input 代表用户输入， output 代表喂给模型的 label。
Alpaca 覆盖了多种类型的指令，其数据分布如下：
包含写作、描述、分类、摘要等多种类型的任务集合。
BELLE 开放了好几种规模的数据集，100 万、200 万、350 万等。训练数据集样例如下：
{
"instruction": "判断给定的文章是否符合语法规则。如果不符合，请提供修改建议。下面是一篇文章的开头：'为了探讨这个主题，本文将提供一系列数据和实例，以证明这一观点。'",
"input": "",
"output": "这个开头符合语法规则。"
}
由于数据量很大，我们无法统计出训练数据集中各任务的真实占比，但从 1000 条评测集数据分布可以推测出，训练数据集中同样包含：摘要、问答、分类等任务。
我们按照类别对评测数据进行采样，结果如下：
比起预训练（Pretrain）环节里相对明确的评价指标（如 PPL、NLL 等），Instruction 环节中的评价指标比较令人头疼。鉴于语言生成模型的发展速度，BLEU 和 ROUGH 这样的指标已经不再客观。
一种比较流行的方式是像 FastChat 中一样，利用 GPT-4 为模型的生成结果打分，我们也尝试使用同样的 Prompt 对 3 种开源模型：OpenLlama、ChatGLM、BELLE 进行测试。
注意：下面的测试结果仅源自我们自己的实验，不具备任何权威性。
对于每一个问题，我们先获得 ChatGPT 的回复，以及另外 3 种模型的回复，接着我们将「ChatGPT 答案 - 候选模型答案」这样的 pair 喂给 GPT-4 打分（满分为 10 分）。得到的结果如下：
测试结果 & 测试 prompt。
我们对每个任务单独进行了统计，并在最后一列求得平均值。
GPT-4 会对每一条测试样本的 2 个答案分别进行打分，并给出打分理由：
GPT-Review 的结果。
但是，我们发现，GPT-4 打出的分数和给出理由并不一定正确。如上图所示，GPT-4 为右边模型的答案打出了更高的分数，给出的理由是：将「最长时期」改为了「最长时期之一」会更准确。但事实上，Instruction 中明确设定就是「最长时期」，这种「给高分」的理由其实是不正确的。
此外，我们还发现，仅仅调换句子顺序也会对最后打分结果产生影响，针对这个问题，我们考虑「调换句子顺序并求和平均」来缓解。
但不管怎么样，GPT-4 给出的分数或许并没有我们想象中的那么靠谱，为此，我们通过人工的 Review 的方式对每个答案进行了一次回扫，得到的结果和标准如下：
再次重申：我们只是期望指出 GPT-4 打分可能会和实际产生偏差的问题，这里排名不具备任何权威性。
人工 Review 结果 & 打分原则。
我们可以看到，在 GPT-4 打分的结果中，已经有模型的效果甚至超过了 ChatGPT（分数为 1.02），但再经过人工 Review 后，ChatGPT 的答案是我们认为更合理一些的。
在指令微调之后，为了进一步提升模型的对齐效果和安全性，通常需要进行强化学习（Reinforcement Learning from Human Feedback, RLHF）。
首先，我们需要训练一个奖励模型（Reward Model, RM）。RM 的作用是评估模型生成的回答质量。我们收集人类偏好数据，即对于同一个问题，人类更喜欢模型 A 的回答还是模型 B 的回答。然后训练 RM 来预测这种偏好。
使用 Proximal Policy Optimization (PPO) 算法，结合预训练模型、SFT 模型和奖励模型，对策略模型进行优化。PPO 的目标是最大化奖励模型的评分，同时限制策略更新幅度，防止模型崩溃。
近年来，Direct Preference Optimization (DPO) 提出了一种无需显式训练奖励模型的方法。它直接将偏好数据转化为损失函数，简化了训练流程，在许多场景下取得了与 PPO 相当甚至更好的效果。
训练完成的模型需要部署到生产环境中，此时需要考虑推理速度和资源消耗。
将模型权重从 FP16 或 FP32 转换为 INT8 或 INT4，可以显著减少显存占用并提升推理速度。常用的工具包括 GGML、AWQ 等。
使用高效的推理引擎，如 vLLM、TensorRT-LLM 或 HuggingFace TGI，可以大幅提升吞吐量。这些引擎通常集成了 PagedAttention 等技术，优化了显存管理。
将模型封装为 API 服务，配合负载均衡和高可用架构，确保服务的稳定性。同时，需要监控 GPU 利用率、延迟和错误率等关键指标。
本文系统性地梳理了从零开始训练大语言模型的完整流程。从底层的 Tokenizer 构建与预训练，到中层的指令微调与数据构建，再到上层的强化学习对齐与工程化部署，涵盖了核心技术与实践细节。
开发者在实际操作中应根据业务需求选择合适的基座模型，注重数据质量与清洗，并结合最新的技术进展（如 DPO、量化技术）进行迭代优化。希望本文能为大模型训练提供有价值的参考。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online