大模型入门学习教程：从基础到工程化实践

一、LLM Fundamentals 基础

1. 机器学习的数学基础

在掌握机器学习之前，理解支撑这些算法的基本数学概念非常重要。这构成了深度学习模型的底层逻辑。

线性代数：这是理解许多算法（特别是深度学习算法）的关键。主要概念包括向量、矩阵、行列式、特征值和特征向量、向量空间以及线性变换。在神经网络中，数据通常被表示为高维向量，权重则是矩阵。例如，注意力机制中的查询（Query）、键（Key）和值（Value）本质上就是向量的点积运算。

微积分：许多机器学习算法涉及到连续函数的优化，这需要理解导数、积分、极限和级数。多变量微积分以及梯度的概念也很重要。反向传播算法的核心就是链式法则的应用，通过计算损失函数对每个参数的偏导数来更新权重。

概率论与统计学：这些知识对于理解模型如何从数据中学习并进行预测至关重要。主要概念包括概率理论、随机变量、概率分布、期望、方差、协方差、相关性、假设检验、置信区间、最大似然估计和贝叶斯推断。生成式模型本质上是在建模数据的联合概率分布。

2. 机器学习的 Python

Python 是一种强大且灵活的编程语言，因其可读性、一致性和强大的数据科学库生态系统而特别适合机器学习。

Python 基础：掌握 Python 编程需要理解基本语法、数据类型、错误处理和面向对象编程。列表推导式、装饰器和生成器是处理数据时的常用技巧。

数据科学库：包括熟悉 NumPy 用于数值计算，Pandas 用于数据操作和分析，以及 Matplotlib 和 Seaborn 用于数据可视化。NumPy 的广播机制能极大提升矩阵运算效率。

数据预处理：这包括特征缩放和标准化、处理缺失数据、异常值检测、分类数据编码，以及将数据划分为训练集、验证集和测试集。标准化（Standardization）和归一化（Normalization）是防止梯度爆炸或消失的重要手段。

机器学习库：熟练使用 Scikit-learn 是至关重要的，这个库提供了广泛的有监督和无监督学习算法。理解如何实现线性回归、逻辑回归、决策树、随机森林、K 最近邻（K-NN）和 K-means 聚类等算法也很重要。主成分分析（PCA）和 t-SNE 等降维技术对可视化高维数据也非常有帮助。

# 示例：简单的线性回归数据准备
import numpy as np
from sklearn.linear_model import LinearRegression

X = np.array([[1], [2], [3], [4]])
y = np.array([2, 4, 5, 4])
model = LinearRegression()
model.fit(X, y)
print(f"系数：{model.coef_}, 截距：{model.intercept_}")

3. 神经网络

神经网络是许多机器学习模型的基础，特别是在深度学习领域。要有效利用神经网络，需要全面理解其设计和机制。

基础知识：包括理解神经网络的结构，如层、权重、偏置以及激活函数（如 sigmoid、tanh、ReLU 等）。ReLU 是目前最常用的激活函数，因为它能有效缓解梯度消失问题。

训练和优化：熟悉反向传播算法以及不同类型的损失函数，如均方误差（MSE）和交叉熵。理解各种优化算法，如梯度下降、随机梯度下降、RMSprop 和 Adam。Adam 优化器结合了动量和自适应学习率的优点，是默认首选。

过拟合：了解过拟合的概念（即模型在训练数据上表现良好但在未见过的数据上表现较差），各种正则化技术（如 dropout、L1/L2 正则化、提前停止、数据增强）以防止过拟合。Dropout 在训练时随机丢弃神经元，迫使网络学习更鲁棒的特征。

实现多层感知机（MLP）：构建一个多层感知机，也称为全连接网络。这是理解更深层次架构的起点。

4. 自然语言处理（NLP）

自然语言处理（NLP）是人工智能的一个迷人领域，它弥合了人类语言与机器理解之间的差距。从简单的文本处理到理解语言细微差别，NLP 在翻译、情感分析、聊天机器人等许多应用中扮演了关键角色。

文本预处理：学习各种文本预处理步骤，如分词（将文本拆分为单词或句子）、词干提取（将单词还原为其根形）、词形还原（类似于词干提取，但考虑上下文）、停用词去除等。中文分词通常使用 jieba 等工具。

特征提取技术：熟悉将文本数据转换为机器学习算法可以理解的格式的方法。关键方法包括词袋模型（BoW）、词频 - 逆文档频率（TF-IDF）和 n-grams。TF-IDF 能够降低常见词的权重，突出关键词。

词嵌入：词嵌入是一种词语表示方法，它允许具有相似含义的词具有相似的表示。关键方法包括 Word2Vec、GloVe 和 FastText。Word2Vec 通过 Skip-gram 或 CBOW 模型学习向量表示。

递归神经网络（RNNs）：理解 RNNs 的工作原理，这是一种设计用于处理序列数据的神经网络。探索 LSTM 和 GRU，这两种 RNN 变体能够学习长期依赖关系，解决了传统 RNN 的梯度消失问题。

二、LLM Scientist 科学家

1. 大型语言模型（LLM）架构

虽然对 Transformer 架构的深入理解不是必须的，但了解其输入（tokens）和输出（logits）是非常重要的。原始的注意力机制是另一个关键组件，因为后续版本中引入了改进的版本。

高层次视角：重新审视编码器 - 解码器 Transformer 架构，特别是仅解码器的 GPT 架构，这在现代大型语言模型中广泛使用。GPT 系列模型基于自回归原理，逐个 token 生成文本。

分词：理解如何将原始文本数据转换为模型可以理解的格式，这涉及将文本拆分为 tokens（通常是单词或子词）。BPE（Byte Pair Encoding）是常用的分词算法，它能平衡词汇表大小和未登录词的处理能力。

注意力机制：掌握注意力机制的理论，包括自注意力和缩放点积注意力，这使得模型在生成输出时能够关注输入的不同部分。多头注意力（Multi-Head Attention）允许模型同时关注不同子空间的信息。

文本生成：了解模型生成输出序列的不同方式。常见的策略包括贪婪解码、束搜索（beam search）、top-k 采样和核采样（nucleus sampling）。Top-p 采样（Nucleus Sampling）根据累积概率动态选择候选词，能在多样性和连贯性之间取得平衡。

2. 构建指令数据集

虽然从维基百科和其他网站获取原始数据很容易，但在自然环境中收集指令和答案的配对却很困难。正如在传统机器学习中一样，数据集的质量将直接影响模型的质量，因此它可能是微调过程中最重要的组成部分。

Alpaca-类似数据集：使用 OpenAI API（GPT）从零生成合成数据。您可以指定种子和系统提示，以创建多样化的数据集。这种方法被称为 Self-Instruct。

高级技术：学习如何使用 Evol-Instruct 改进现有数据集，如何生成高质量的合成数据，如在 Orca 和 phi-1 论文中所述。Evol-Instruct 通过进化指令的难度来提升模型能力。

数据过滤：传统技术包括正则表达式（regex）、删除近似重复项、关注具有较高 token 数量的答案等。高质量的数据清洗能显著提升模型收敛速度和最终效果。

提示模板：没有真正标准的指令和答案格式，因此了解不同的聊天模板（如 ChatML、Alpaca 等）是重要的。统一的模板有助于模型更好地适应对话场景。

3. 预训练模型

预训练是一个非常漫长且昂贵的过程。了解预训练过程中发生的事情是有益的，但不需要实际操作经验。

数据管道：预训练需要巨大的数据集（例如，Llama 2 在 2 万亿 tokens 上进行了训练），这些数据需要经过过滤、分词，并与预定义的词汇表进行整理。去重和清洗是保证数据质量的关键步骤。

因果语言建模：了解因果语言建模与掩码语言建模的区别，以及在这种情况下使用的损失函数。为了高效的预训练，深入了解 Megatron-LM 或 gpt-neox 等框架。

规模定律：规模定律描述了模型性能如何随着模型大小、数据集大小和训练所用计算量的变化而变化。这意味着增加参数量和数据量通常能带来可预测的性能提升。

高性能计算：此处不涉及，但如果您计划从头开始创建自己的大型语言模型，了解 HPC（硬件、分布式工作负载等）是基础知识。张量并行和数据并行是主要的扩展策略。

4. 监督微调

预训练模型仅在下一个 token 预测任务上进行训练，这使得它们在处理指令时并不是特别有用。监督微调（SFT）可以调整它们以响应指令。此外，它还允许您在任何数据上（如私有数据或未见过的数据）对模型进行微调，并在不需要支付如 OpenAI API 的费用的情况下使用它。

全面微调：全面微调指的是训练模型中的所有参数。这是一种效率较低的技术，但能够产生略好的结果，适合资源充足的情况。

LoRA：一种基于低秩适配器的参数高效技术（PEFT）。它不是训练所有参数，而是仅训练这些适配器。LoRA 通过冻结预训练权重并添加低秩分解矩阵来大幅减少显存占用。

QLoRA：另一种基于 LoRA 的 PEFT 技术，它将模型的权重量化为 4 位，并引入分页优化器以管理内存峰值。结合 Unsloth 使用，可以在免费的 Colab 笔记本上高效运行。

Axolotl：一个用户友好且功能强大的微调工具，被许多最先进的开源模型使用。它简化了配置文件的管理和训练流程。

DeepSpeed：针对多 GPU 和多节点设置的高效预训练和微调工具（在 Axolotl 中实现）。ZeRO 优化技术可以显著降低显存需求。

5. 偏好对齐

在监督微调之后，强化学习从人类反馈（RLHF）是用于将大型语言模型（LLM）的回答与人类期望对齐的步骤。其核心思想是通过从人类（或人工）反馈中学习偏好，以减少偏见、审查模型或使其更有用。这比 SFT 更复杂，通常被视为可选步骤。

偏好数据集：这些数据集通常包含若干个带有某种排序的答案，因此比指令数据集更难生成。通常需要人工标注多个回答的优劣顺序。

近端策略优化（PPO）：该算法利用一个奖励模型来预测给定文本是否被人类高度评价。然后，使用这个预测来优化 SFT 模型，并根据 KL 散度施加惩罚，防止模型偏离参考模型太远。

直接偏好优化（DPO）：DPO 通过将问题重新表述为分类问题来简化过程。它使用参考模型而不是奖励模型（无需训练），并且只需要一个超参数，使其更加稳定和高效。DPO 已成为当前流行的替代方案。

6. 评估

评估大型语言模型（LLM）是管道中一个被低估的部分，这一过程既耗时又具有一定的可靠性。您的下游任务应决定您需要评估的内容，但始终记住 Goodhart 定律：'当一个度量成为目标时，它不再是一个好的度量。'

传统指标：像困惑度（Perplexity）和 BLEU 分数这样的指标现在不如以前流行，因为它们在大多数情况下存在缺陷。尽管如此，理解这些指标以及它们的适用场景仍然很重要。

通用基准：基于语言模型评估工具包（Language Model Evaluation Harness），Open LLM Leaderboard 是通用 LLM（如 ChatGPT）的主要基准。还有其他流行的基准，如 BigBench、MT-Bench 等。

任务特定基准：诸如摘要生成、翻译和问答等任务具有专门的基准、指标，甚至子领域（如医学、金融等），例如用于生物医学问答的 PubMedQA。

人工评估：最可靠的评估是用户的接受率或人类的比较。除了聊天记录之外，记录用户反馈（例如使用 LangSmith）有助于识别潜在的改进领域。

7. 量化

量化是将模型的权重（和激活值）转换为更低精度的过程。例如，将使用 16 位存储的权重转换为 4 位表示。这个技术在减少大型语言模型（LLM）的计算和内存成本方面变得越来越重要。

基础技术：学习不同的精度级别（如 FP32、FP16、INT8 等）以及如何使用 absmax 和零点技术进行简单的量化。量化会引入一定的精度损失，需要权衡速度与效果。

GGUF 和 llama.cpp：最初设计用于在 CPU 上运行，llama.cpp 和 GGUF 格式已成为在消费级硬件上运行 LLM 的最受欢迎的工具。它支持多种量化格式，便于部署。

GPTQ 和 EXL2：GPTQ 和更具体的 EXL2 格式提供了极快的速度，但只能在 GPU 上运行。模型的量化过程也需要较长时间，但推理延迟极低。

AWQ：这种新格式比 GPTQ 更准确（困惑度更低），但使用了更多的 VRAM，且不一定更快。它针对激活值进行了优化。

8. 新趋势

一些新的发展趋势正在重塑大模型领域。

位置嵌入：了解大型语言模型（LLM）如何编码位置，特别是像 RoPE 这样的相对位置编码方案。实现 YaRN（将注意力矩阵乘以温度因子）或 ALiBi（基于 token 距离的注意力惩罚）来扩展上下文长度。

模型合并：合并训练好的模型已成为创建高性能模型的一种流行方法，无需进行微调。流行的 mergekit 库实现了最受欢迎的合并方法，如 SLERP、DARE 和 TIES。这允许组合不同模型的优势。

专家混合：由于其优异的性能，Mixtral 使 MoE 架构重新流行。与此同时，OSS 社区中出现了一种 frankenMoE 类型，通过合并模型如 Phixtral 提供了更便宜且性能良好的选择。

多模态模型：这些模型（如 CLIP、Stable Diffusion 或 LLaVA）可以处理多种类型的输入（文本、图像、音频等），并使用统一的嵌入空间，这解锁了如文本到图像等强大的应用。

三、LLM Engineer 工程师

1. 运行大型语言模型（LLMs）

由于硬件要求高，运行大型语言模型可能会很困难。根据您的使用案例，您可能希望通过 API（如 GPT-4）来简单地使用模型，或在本地运行它。在任何情况下，提示和指导技术可以改善和约束您的应用输出。

LLM API：API 是部署 LLM 的一种方便方式。这个领域分为私人 LLM（如 OpenAI、Google、Anthropic、Cohere 等）和开源 LLM（如 OpenRouter、Hugging Face、Together AI 等）。API 模式适合快速原型开发，但需注意数据隐私和成本。

开源 LLM：可以在 Hugging Face Hub 上找到 LLM。您可以直接在 Hugging Face Spaces 中运行其中一些，或通过像 LM Studio 这样的应用程序本地下载并运行，或通过 CLI 使用 llama.cpp 或 Ollama。

提示工程：常见的技术包括零样本提示、少样本提示、思维链和 ReAct。这些技术在更大的模型中效果更好，但也可以调整用于较小的模型。思维链（Chain-of-Thought）能显著提升复杂推理任务的表现。

结构化输出：许多任务需要结构化输出，如严格的模板或 JSON 格式。可以使用像 LMQL、Outlines、Guidance 等库来指导生成并遵循给定的结构，确保程序可解析。

2. 构建向量存储

创建向量存储是构建检索增强生成（RAG）管道的第一步。文档被加载、拆分，并且相关的块被用来生成向量表示（嵌入），这些向量会被存储以便在推理过程中使用。

文档导入：文档加载器是处理多种格式的便利工具，包括 PDF、JSON、HTML、Markdown 等。它们还可以直接从一些数据库和 API（如 GitHub、Reddit、Google Drive 等）中检索数据。

拆分文档：文本拆分器将文档分解为较小且语义上有意义的块。与其在 n 个字符后拆分文本，不如按标题拆分或递归拆分，并附加一些额外的元数据。保持上下文的完整性对检索质量至关重要。

嵌入模型：嵌入模型将文本转换为向量表示。这允许对语言进行更深层次和更细致的理解，这是执行语义搜索所必需的。选择合适的嵌入模型取决于具体任务的语言和领域。

向量数据库：向量数据库（如 Chroma、Pinecone、Milvus、FAISS、Annoy 等）专门用于存储嵌入向量。它们可以根据向量相似性高效地检索与查询'最相似'的数据。Faiss 是 Facebook 开发的开源库，性能极佳。

3. 检索增强生成（RAG）

通过 RAG，大型语言模型（LLM）从数据库中检索上下文文档，以提高答案的准确性。RAG 是增强模型知识的一种流行方法，无需进行微调。

协调器：协调器（如 LangChain、LlamaIndex、FastRAG 等）是将 LLM 连接到工具、数据库、记忆等的流行框架，并增强其能力。Zlai 也是属于这里。这些框架提供了标准化的接口来处理复杂的交互逻辑。

检索器：用户指令通常没有针对检索进行优化。可以应用不同的技术（例如，多查询检索器、HyDE 等）来重新措辞/扩展它们，并提高性能。HyDE 通过生成假设答案来辅助检索。

记忆：为了记住先前的指令和回答，LLM 和像 ChatGPT 这样的聊天机器人将这些历史信息添加到上下文窗口中。可以通过总结（例如，使用较小的 LLM）、向量存储 + RAG 等方法来改进这个缓冲区。

评估：我们需要评估文档检索（上下文精确度和召回率）和生成阶段（答案的准确性和相关性）。可以使用 Ragas 和 DeepEval 等工具简化评估过程。

4. 高级 RAG

现实应用可能需要复杂的管道，包括 SQL 或图数据库，以及自动选择相关工具和 API。这些高级技术可以改进基础解决方案并提供额外功能。

查询构造：存储在传统数据库中的结构化数据需要特定的查询语言，如 SQL、Cypher、元数据等。我们可以直接将用户指令转换为查询，以通过查询构造访问数据。Text-to-SQL 是其中的热门方向。

代理和工具：代理通过自动选择最相关的工具来增强 LLM。这些工具可以像使用 Google 或 Wikipedia 这样简单，也可以像 Python 解释器或 Jira 这样复杂。Agent 模式赋予了模型自主规划的能力。

后处理：最后一步处理输入的数据，这些数据被送入 LLM。通过重新排序、RAG-fusion 和分类等方法，增强检索文档的相关性和多样性。

编程 LLM：像 DSPy 这样的框架允许您基于自动评估以编程方式优化提示和权重。这减少了手动调优提示词的工作量。

5. 推理优化

文本生成是一个成本高昂的过程，需要昂贵的硬件。除了量化之外，还有各种技术被提出，以最大化吞吐量并降低推理成本。

闪电注意力（Flash Attention）：优化注意力机制，将其复杂度从平方级别降低到线性级别，从而加快训练和推理速度。它通过减少显存访问次数来实现加速。

键值缓存（Key-value cache）：了解键值缓存以及多查询注意力（Multi-Query Attention，MQA）和分组查询注意力（Grouped-Query Attention，GQA）中引入的改进。KV Cache 允许复用已生成的 token 状态，避免重复计算。

推测解码（Speculative decoding）：使用一个小模型生成草稿，然后由更大的模型进行审查，以加速文本生成。这利用了小模型速度快和大模型准确度高的特点。

6. 部署 LLM

在大规模部署 LLM 是一项工程壮举，可能需要多个 GPU 集群。在其他场景下，演示和本地应用可以用更低的复杂度实现。

本地部署：隐私是开源 LLM 相较于私有 LLM 的一个重要优势。本地 LLM 服务器（如 LM Studio、Ollama、oobabooga、kobold.cpp 等）利用这一优势为本地应用提供支持。

演示部署：像 Gradio 和 Streamlit 这样的框架有助于原型设计和分享演示。你也可以轻松地在线托管这些应用，例如使用 Hugging Face Spaces。

服务器部署：大规模部署 LLM 需要云服务（参见 SkyPilot）或本地基础设施，通常利用优化的文本生成框架，如 TGI、vLLM 等。vLLM 采用了 PagedAttention 技术，显著提高了显存利用率。

边缘部署：在受限环境中，像 MLC LLM 和 mnn-llm 这样的高性能框架可以将 LLM 部署在网页浏览器、Android 和 iOS 上。这对于移动端应用至关重要。

7. 安全性 LLM

除了传统的软件安全问题外，LLM 由于其训练和提示方式，还存在独特的弱点。

提示攻击：与提示工程相关的不同技术，包括提示注入（附加指令以劫持模型的回答）、数据/提示泄露（检索其原始数据/提示）和越狱（构造提示以绕过安全功能）。防御者需要警惕恶意输入。

后门：攻击向量可以针对训练数据本身，例如通过毒化训练数据（例如，添加虚假信息）或创建后门（秘密触发器，以在推理过程中改变模型的行为）。

防御措施：保护 LLM 应用的最佳方法是针对这些漏洞进行测试（例如，使用红队和检查工具如 garak），并在生产环境中监控它们（使用像 langfuse 这样的框架）。

总结与展望

本教程涵盖了从大模型基础理论到工程化落地的完整路径。无论是作为科学家研究模型架构，还是作为工程师构建应用系统，都需要扎实的技术功底和持续的学习能力。随着技术的快速发展，建议关注最新的论文和开源项目，保持对新技术的敏感度。在实际项目中，应根据业务需求选择合适的模型规模和部署方案，平衡性能、成本和安全性。

大模型入门学习教程：从基础到工程化实践