2024 大模型技术学习路线与实战指南
引言
随着大语言模型（LLM）技术的飞速发展，掌握其核心原理与工程实践已成为人工智能领域的重要技能。本文基于行业招聘需求与技术演进，系统梳理了从 NLP 基础到大模型应用的全链路知识体系，帮助学习者构建完整的认知框架。
1. NLP 基础知识
1.1 文本处理基础
分词是自然语言处理的第一步。常见的分词算法包括：
- BPE (Byte Pair Encoding): 通过迭代合并高频字节对来构建词汇表，广泛应用于 GPT 系列模型。
- WordPiece: Google 提出，类似 BPE 但基于概率最大化，用于 BERT。
- SentencePiece: 无空格依赖的分词器，支持多种语言，常用于 T5 等模型。
- Unigram: 基于语言模型的单语素分词，效率较高。
Embedding 将离散词映射为连续向量：
- One-hot: 稀疏表示，无法捕捉语义关系。
- Word2Vec: 包含 CBOW 和 Skip-gram 两种模型，能捕捉上下文语义。
- FastText: 引入 n-gram 子词信息，解决 OOV 问题。
- Glove: 基于全局共现矩阵的统计方法。
1.2 Transformer 核心架构组件
Transformer 是大模型的基石，需深入理解以下组件：
- 注意力机制: Self-Attention 计算查询 Q、键 K、值 V 的交互；Multi-Head Attention 允许模型关注不同子空间信息；Cross-Attention 用于编码器 - 解码器结构；Mask-Attention 防止未来信息泄露。复杂度通常为 $O(N^2)$。
- 位置编码: 绝对位置编码（Absolute）、可学习位置编码（Learned）、旋转位置编码（RoPE）。RoPE 具有外推性，适合长序列，面试常要求手写实现。
- 归一化层: Layer Norm 对每个样本独立归一化；Batch Norm 依赖批次统计量；RMSNorm 去除均值项，计算更高效。Pre-Norm 优于 Post-Norm，有助于深层网络训练稳定。
- 残差连接: 公式 $y = x + f(x)$，缓解梯度消失，使网络更深。
1.3 基础网络组件
- MLP: 前馈神经网络通常由两个线性层加一个激活函数组成。大模型的世界知识主要存储于 MLP 层的权重中。
- 激活函数: ReLU 及其变体简单有效；GELU 近似正态分布 CDF，性能更优；SwiGLU 在大模型中表现更好，结合了门控机制。
1.4 损失函数
- 交叉熵损失 (Cross Entropy): 标准语言建模目标，需掌握其数学推导与 PyTorch 实现。
2. 预训练技术
2.1 数据工程
- 数据获取: 使用 Common Crawl 等公开数据集，结合爬虫技术。
- 数据清洗: MinHash 用于去重；需平衡代码、数学、通用问答的数据配比，例如代码占比约 10%-20%。
2.2 训练策略
- 超参数: 学习率、Batch Size、Sequence Length 等需根据经验调整。
- 优化技术: 梯度累积（Gradient Accumulation）模拟大 Batch；混合精度训练（AMP）节省显存；模型并行（Tensor/Pipeline）与数据并行结合保证稳定性。
