本文系统梳理了大型语言模型（LLM）的学习路径，涵盖基础数学与编程、模型构建与微调、以及应用部署三大方向。内容涉及机器学习原理、Transformer 架构、指令微调、RLHF、量化技术及检索增强生成（RAG）等核心技术点，并整理了相关的工具库与学习资源，旨在为开发者提供从入门到实战的完整参考。
本篇大型语言模型（LLM）课程分为三个主要部分，旨在帮助开发者从基础到实战全面掌握 LLM 技术：
以下是与大型语言模型相关的笔记本和资源列表，按功能分类：
在学习机器学习之前，了解这些算法背后的基本数学概念非常重要。
Python 是一种功能强大且灵活的编程语言，由于其可读性、一致性以及数据科学库的强大生态系统，特别适合用于机器学习。
神经网络是许多机器学习模型的基本组成部分，特别是在深度学习领域。为了有效地利用它们，全面理解它们的设计和机制是必不可少的。
NLP 是人工智能的一个迷人分支，它弥合了人类语言和机器理解之间的差距。从简单的文本处理到理解语言的细微差别，NLP 在许多应用中扮演着至关重要的角色，比如翻译、情感分析、聊天机器人等。
本节专注于学习如何使用最新技术构建最佳的大型语言模型（LLMs）。
虽然不需要深入了解 Transformer 架构的所有细节，但了解其输入（token）和输出（logits）是很重要的。标准的注意力机制是另一个关键组成部分，需要掌握，因为后续会介绍其改进版本。
虽然从维基百科和其他网站找到原始数据很容易，但在野外收集指令和答案的配对却很困难。与传统机器学习一样，数据集的质量将直接影响模型的质量，这就是为什么它可能是微调过程中最重要的组成部分。
预训练是一个非常漫长且成本高昂的过程，这就是为什么这不是本课程的重点。了解预训练期间发生的事情有一定的理解水平是好的，但不需要实践经验。
预训练模型仅在下一个 token 预测任务上进行训练，这就是为什么它们不是有用的助手。SFT（监督式微调）允许您调整它们以响应指令。此外，它允许您在任何数据上微调您的模型（私有的、GPT-4 未见过的等），并且无需支付像 OpenAI 这样的 API 费用。
在监督式微调之后，RLHF 是一个用于使大型语言模型（LLM）的答案与人类期望对齐的步骤。这个想法是从人类（或人工）反馈中学习偏好，这可以用来减少偏见、审查模型或使它们以更有用的方式行动。它比 SFT 更复杂，通常被视为可选的。
评估大型语言模型（LLMs）是流程中被低估的部分，它既耗时又只有适度的可靠性。您的下游任务应该决定您想要评估的内容，但请始终记住古德哈特定律：'当一个度量成为目标时，就不再是一个好的度量。'
量化是使用较低精度转换模型的权重（和激活）的过程。例如，使用 16 位存储的权重可以转换为 4 位表示。这种技术变得越来越重要，以减少与大型语言模型（LLMs）相关的计算和内存成本。
本节专注于学习如何构建可以在生产环境中使用的由大型语言模型（LLM）驱动的应用程序，重点是增强模型并部署它们。
由于硬件要求高，运行大型语言模型（LLMs）可能会很困难。根据您的用例，您可能只想通过 API（如 GPT-4）使用模型，或者在本地运行它。在任何情况下，额外的提示和指导技术都可以改善并约束您的应用程序的输出。
创建向量存储是构建检索增强生成（RAG）管道的第一步。文档被加载、分割，相关的部分被用来生成向量表示（嵌入），这些嵌入被存储起来，以便在推理过程中将来使用。
通过 RAG，LLMs 从数据库中检索上下文文档以提高其答案的准确性。RAG 是在不进行任何微调的情况下增强模型知识的流行方式。
现实世界中的应用可能需要复杂的管道，包括 SQL 或图形数据库，以及自动选择相关的工具和 API。这些高级技术可以改进基线解决方案并提供额外的功能。
文本生成是一个成本高昂的过程，需要昂贵的硬件。除了量化之外，还提出了各种技术来最大化吞吐量并降低推理成本。
大规模部署 LLMs 是一项工程壮举，可能需要多个 GPU 集群。在其他情况下，演示和本地应用程序可以通过更低的复杂度实现。
除了与软件相关的传统安全问题外，LLMs 由于它们的训练和提示方式具有独特的弱点。
本文梳理了从 LLM 基础理论到工程落地的完整知识体系。无论是希望深入研究模型架构的科学家，还是致力于构建实际应用的工程师，都能从中找到对应的技术栈和学习资源。随着技术的快速迭代，持续跟进最新的量化技术、RAG 优化及安全实践是保持竞争力的关键。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
