PythonAI算法

大型语言模型（LLM）核心技术与应用学习路线

本指南系统梳理了大型语言模型（LLM）的学习路径，涵盖基础理论、科学家进阶及工程师实战三大板块。内容涉及 Transformer 架构原理、指令数据集构建、预训练与微调技术（SFT/LoRA/QLoRA）、偏好对齐（RLHF/DPO）、模型评估与量化部署等关键环节。通过整合权威参考资料与实践工具，帮助开发者从数学基础到应用部署全面掌握 LLM 开发流程，适用于希望进入人工智能领域的技术人员。

CryptoLab发布于 2025/2/6更新于 2026/4/212 浏览

大型语言模型（LLM）课程路线图

相关免费在线工具

加密/解密文本
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。在线工具，加密/解密文本在线工具，online
RSA密钥对生成器
生成新的随机RSA私钥和公钥pem证书。在线工具，RSA密钥对生成器在线工具，online
Mermaid 预览与可视化编辑
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。在线工具，Mermaid 预览与可视化编辑在线工具，online
curl 转代码
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。在线工具，curl 转代码在线工具，online
Base64 字符串编码/解码
将字符串编码和解码为其 Base64 格式表示形式即可。在线工具，Base64 字符串编码/解码在线工具，online
Base64 文件转换器
将字符串、文件或图像转换为其 Base64 表示形式。在线工具，Base64 文件转换器在线工具，online

大型语言模型（LLM）的学习路径通常分为三个主要阶段，旨在帮助学习者从基础理论逐步过渡到高级应用开发。

LLM Fundamentals：涵盖数学、Python 编程和神经网络的基础知识，为后续学习奠定基石。
LLM Scientist：专注于使用最新技术构建和优化 LLM 模型本身。
LLM Engineer：专注于创建基于 LLM 的应用程序并部署它们，解决实际业务问题。

LLM 角色分工

🧑‍🔬 LLM 科学家

本部分侧重于学习如何使用最新技术构建最好的 LLM。适合希望深入模型底层原理的研究人员和工程师。

1. LLM 架构

理解大模型的底层架构是构建和优化模型的基础。虽然不需要对 Transformer 架构有深入的了解，但对其输入（token）和输出（logits）有很好的理解是很重要的。原版注意力机制是另一个需要掌握的关键组件，因为稍后会介绍它的改进版本。

高级视图：重新审视编码器 - 解码器 Transformer 架构，更具体地说，是每个现代 LLM 中使用的仅解码器 GPT 架构。
分词：了解如何将原始文本数据转换为模型可以理解的格式，这涉及将文本拆分为分词（通常是单词或子词）。
注意力机制：掌握注意力机制背后的理论，包括自我注意和缩放点积注意力，这使模型在产生输出时能够专注于输入的不同部分。
文本生成：了解模型生成输出序列的不同方式。常见的策略包括贪婪解码、波束搜索、top-k 采样和原子核采样。

📚 参考资料：

Jay Alammar 的 The Illustrated Transformer：对 Transformer 模型的直观解释。
Jay Alammar 的 GPT-2 图解：侧重于 GPT 架构，这与 Llama 的架构非常相似。
3Blue1Brown 的《变形金刚》视觉介绍：简单易懂的视觉介绍。
Brendan Bycroft 的 LLM 可视化：令人难以置信的 LLM 内部发生的 3D 可视化。
Andrej Karpathy 的 nanoGPT：一个长达 2 小时的 YouTube 视频，从头开始重新实现 GPT（面向程序员）。
注意力？注意力！作者：Lilian Weng：以更正式的方式介绍关注的必要性。
LLM 中的解码策略：提供代码和可视化介绍以生成文本的不同解码策略。

2. 构建指令数据集

虽然很容易从 Wikipedia 和其他网站找到原始数据，但很难在野外收集成对的说明和答案。与传统机器学习一样，数据集的质量将直接影响模型的质量，这就是为什么它可能是微调过程中最重要的组成部分。

类似 Alpaca 的数据集：使用 OpenAI API（GPT）从头开始生成合成数据。您可以指定种子和系统提示来创建多样化的数据集。
高级技术：了解如何使用 Evol-Instruct 改进现有数据集，如何生成高质量的合成数据，如 Orca 和 phi-1 论文中所示。
筛选数据：涉及正则表达式、删除近乎重复项、专注于具有大量标记的答案等的传统技术。
提示模板：没有真正的标准方法来格式化说明和答案，这就是为什么了解不同的聊天模板（例如 ChatML、Alpaca 等）很重要的原因。

📚 参考资料：

Thomas Capelle 的 Preparing a Dataset for Instruction tuning：探索 Alpaca 和 Alpaca-GPT4 数据集以及如何格式化它们。
Solano Todeschini 的生成临床教学数据集：有关如何使用 GPT-4 创建合成教学数据集的教程。
Kshitiz Sahay 的新闻分类 GPT 3.5：使用 GPT 3.5 创建指令数据集，以微调 Llama 2 以进行新闻分类。
用于创建用于微调 LLM 的数据集：包含一些用于筛选数据集并上传结果的技术的笔记本。
Matthew Carrigan 的聊天模板：Hugging Face 关于提示模板的页面。

3. 预训练模型

预训练是一个非常漫长且昂贵的过程，这就是为什么这不是本课程的重点。对培训前发生的情况有一定程度的了解是件好事，但不需要实践经验。

数据管道：预训练需要庞大的数据集（例如，Llama 2 在 2 万亿个令牌上进行训练），这些数据集需要使用预定义的词汇表进行过滤、标记化和整理。
因果语言建模：了解因果语言建模和掩蔽语言建模之间的区别，以及在这种情况下使用的损失函数。为了进行高效的预训练，请了解有关 Megatron-LM 或 gpt-neox 的更多信息。
缩放定律：定标定律根据模型大小、数据集大小和用于训练的计算量来描述预期的模型性能。
高性能计算：此处不在讨论范围之内，但如果您打算从头开始创建自己的 LLM（硬件、分布式工作负载等），则了解有关 HPC 的更多知识是必不可少的。

📚 参考资料：

Junhao Zhao 的 LLMDataHub：用于预训练、微调和 RLHF 的精选数据集列表。
使用 Hugging Face 从头开始训练因果语言模型：使用 transformers 库从头开始预训练 GPT-2 模型。
Zhang et al.的 TinyLama：查看此项目，以更好地了解如何从头开始训练 Llama 模型。
Hugging Face 的因果语言建模：解释因果语言建模和掩码语言建模之间的区别，以及如何快速微调 DistilGPT-2 模型。
怀旧作家对 Chinchilla 的狂野影响：讨论缩放法则并解释它们对 LLM 的一般意义。
BIGScience 的 BLOOM：概念页面，描述了 BLOOM 模型的构建方式，其中包含有关工程部分和遇到的问题的大量有用信息。
Meta 的 OPT-175 日志：研究日志显示哪里出错了，什么做对了。如果您计划预先训练一个非常大的语言模型（在本例中为 175B 参数），则非常有用。
LLM 360：一个开源 LLM 框架，包含训练和数据准备代码、数据、指标和模型。

4. 监督微调 (SFT)

预先训练的模型仅在 next-token 预测任务上进行训练，这就是为什么它们不是有用的助手。SFT 允许您调整它们以响应说明。此外，它允许您在任何数据（私有、GPT-4 看不到等）上微调您的模型并使用它，而无需为像 OpenAI 这样的 API 付费。

完全微调：完全微调是指训练模型中的所有参数。这不是一种有效的技术，但它会产生稍微好一点的结果。
LoRA：一种基于低秩适配器的参数高效技术（PEFT）。我们只训练这些适配器，而不是训练所有参数。
QLoRA：另一个基于 LoRA 的 PEFT，它也以 4 位量化模型的权重，并引入分页优化器来管理内存峰值。将其与 Unsloth 结合使用，可在免费的 Colab 笔记本上高效运行。
Axolotl：一个用户友好且功能强大的微调工具，用于许多最先进的开源模型。
DeepSpeed：针对多 GPU 和多节点设置（在 Axolotl 中实现）的 LLM 进行高效的预训练和微调。

📚 参考资料：

Alpin 的 The Novice's LLM Training Guide：微调 LLM 时要考虑的主要概念和参数概述。
Sebastian Raschka 的 LoRA 洞察：有关 LoRA 以及如何选择最佳参数的实用洞察。
微调您自己的 Llama 2 模型：有关如何使用 Hugging Face 库微调 Llama 2 模型的动手实践教程。
Benjamin Marie 编写的填充大型语言模型：填充因果 LLM 训练示例的最佳实践。
LLM 微调初学者指南：有关如何使用 Axolotl 微调 CodeLlama 模型的教程。

5. 首选项对齐

在监督微调之后，RLHF 是用于将 LLM 的答案与人类期望保持一致的一个步骤。这个想法是从人类（或人工）反馈中学习偏好，这可用于减少偏见、审查模型或使它们以更有用的方式运行。它比 SFT 更复杂，通常被视为可选。

偏好数据集：这些数据集通常包含多个具有某种排名的答案，这使得它们比指令数据集更难生成。
近端策略优化 (PPO)：该算法利用奖励模型来预测给定文本是否被人类高度排名。然后，此预测用于优化 SFT 模型，并根据 KL 散度进行惩罚。
直接偏好优化 (DPO)：DPO 通过将 DPO 重新定义为分类问题来简化流程。它使用参考模型而不是奖励模型（无需训练），并且只需要一个超参数，使其更加稳定和高效。

📚 参考资料：

Argilla 的 Distilabel：创建自己的数据集的绝佳工具。它是专为偏好数据集设计的，但也可以执行 SFT。
Ayush Thakur 的使用 RLHF 训练 LLM 简介：解释为什么 RLHF 需要减少偏差并提高 LLM 的性能。
插图 Hugging Face 的 RLHF：RLHF 简介，包括奖励模型训练和强化学习微调。
Hugging Face 的首选项调整 LLM：用于执行首选项对齐的 DPO、IPO 和 KTO 算法的比较。
LLM 训练：RLHF 及其替代方案作者：Sebastian Rashcka：RLHF 流程和替代方案（如 RLAIF）概述。
使用 DPO 微调 Mistral-7b：使用 DPO 微调 Mistral-7b 模型并重现 NeuralHermes-2.5 的教程。

6. 评估

评估 LLM 是管道中被低估的部分，它既耗时又适度可靠。你的下游任务应该决定你想要评估什么，但永远记住古德哈特定律：'当一个度量成为目标时，它就不再是一个好的度量。'

传统指标：困惑度和 BLEU 分数等指标不像以前那样受欢迎，因为它们在大多数情况下都存在缺陷。了解它们以及何时可以应用它们仍然很重要。
一般基准：Open LLM 排行榜基于语言模型评估工具，是通用 LLM（如 ChatGPT）的主要基准。还有其他流行的基准测试，如 BigBench、MT-Bench 等。
特定于任务的基准：摘要、翻译和问答等任务具有专用的基准、指标，甚至子域（医疗、财务等），例如用于生物医学问答的 PubMedQA。
人工评价：最可靠的评价是用户的接受率或人工的比较。除了聊天跟踪之外（例如，使用 LangSmith）之外，记录用户反馈有助于确定潜在的改进领域。

📚 参考资料：

Hugging Face 的固定长度模型的困惑度：使用 transformers 库实现它的代码的困惑性概述。
BLEU 风险自负作者：Rachael Tatman：BLEU 分数概述及其许多问题，并附有示例。
Chang 等人对 LLM 的评估调查：关于评估什么、在哪里评估以及如何评估的综合论文。
lmsys 的 Chatbot Arena 排行榜：通用 LLM 的 Elo 评级，基于人类的比较。

7. 量化

量化是使用较低精度转换模型的权重（和激活）的过程。例如，使用 16 位存储的权重可以转换为 4 位表示。这种技术对于降低与 LLM 相关的计算和内存成本变得越来越重要，使得在消费级硬件上运行大模型成为可能。

基本技术：了解不同级别的精度（FP32、FP16、INT8 等）以及如何使用 absmax 和零点技术执行朴素量化。
GGUF 和 llama.cpp：llama.cpp 和 GGUF 格式最初设计为在 CPU 上运行，现已成为在消费级硬件上运行 LLM 的最流行工具。
GPTQ 和 EXL2：GPTQ，更具体地说，EXL2 格式提供了令人难以置信的速度，但只能在 GPU 上运行。模型也需要很长时间才能被量化。
AWQ：这种新格式比 GPTQ 更准确（更低的困惑度），但使用的 VRAM 要多得多，而且不一定更快。

📚 参考资料：

量化简介：量化概述、绝对最大值和零点量化，以及带有代码的 LLM.int8()。
使用 llama.cpp 量化 Llama 模型：有关如何使用 llama.cpp 和 GGUF 格式量化 Llama 2 模型的教程。
使用 GPTQ 进行 4 位 LLM 量化：有关如何使用 GPTQ 算法和 AutoGPTQ 量化 LLM 的教程。
ExLlamaV2：运行 LLM 的最快库：有关如何使用 EXL2 格式量化 Mistral 模型并使用 ExLlamaV2 库运行的指南。
了解 FriendliAI 的激活感知权重量化：AWQ 技术概述及其优势。

8. 新趋势

位置嵌入：了解 LLM 如何对位置进行编码，尤其是 RoPE 等相对位置编码方案。实现 YaRN（将注意力矩阵乘以温度因子）或 ALiBi（基于标记距离的注意力惩罚）以延长上下文长度。
模型合并：合并经过训练的模型已成为无需任何微调即可创建高性能模型的流行方法。流行的 mergekit 库实现了最流行的合并方法，如 SLERP、DARE 和 TIES。
专家混合 (MoE)：Mixtral 凭借其出色的性能重新普及了 MoE 架构。与此同时，通过合并 Phixtral 等模型，OSS 社区中出现了一种 frankenMoE，这是一种更便宜且性能更高的选择。
多模态模型：这些模型（如 CLIP、Stable Diffusion 或 LLaVA）使用统一的嵌入空间处理多种类型的输入（文本、图像、音频等），从而解锁文本到图像等强大的应用程序。

📚 参考资料：