如果你打算深入大语言模型（LLM）领域，首先需要明确这门技术所需的基础知识体系。掌握这些基础是后续进阶的前提。
基本要求
- 开发语言：Python 是首选，C/C++ 用于底层优化。
- 开发框架：Numpy、PyTorch、TensorFlow、Keras、ONNX。
- 数学知识：线性代数、高等数学、概率论、凸优化。
假定你已具备上述基础，若未熟练掌握，建议先补充相关课程。特别是数学公式，需理解其物理意义和计算逻辑。
数学核心内容
- 线性代数：关键概念包括向量、矩阵、特征值和特征向量。Transformer 中的注意力机制本质上是矩阵运算。重要公式涉及矩阵乘法、行列式以及特征值方程 $Av=\lambda v$。
- 高等数学：基本主题是微分和积分，重点是理解极限、导数和积分的概念。函数 $f(x)$ 在点 $x$ 的导数由 $f'(x)=\lim_{h\to0} \frac{f(x+h)-f(x)}{h}$ 给出，微积分定理将微分与积分联系起来，这是反向传播算法的基础。
- 概率：关键点包括概率公理、条件概率、贝叶斯定理、随机变量和分布。例如，贝叶斯定理由 $P(A|B)=\frac{P(B|A)P(A)}{P(B)}$ 给出，它帮助在发生 B 的情况下更新 A 的概率，常用于生成模型的置信度评估。
- 凸优化：关注目标函数为凸函数的问题。关键概念包括凸集、凸函数、梯度下降和拉格朗日乘数。梯度下降更新规则可以表示为 $x_{n+1} = x_n - \alpha \nabla f(x_n)$，其中 $\alpha$ 是学习率，这是模型训练的核心优化方法。
开发框架
- Numpy：主要用于处理多维数组和矩阵运算，是科学计算的基础。
- PyTorch：动态图框架，适合研究和快速原型开发，支持 Tensor 操作及自动求导。
- Keras/Tensorflow：静态图或混合图框架，适合生产环境部署。
Transformer 基础
作为 LLM 的基础模型架构，必须对 Transformer 了如指掌。其核心结构包含 Encoder 和 Decoder（部分模型仅使用 Decoder），主要组件包括 Self-Attention、Multi-Head Attention、Feed-Forward Network 和 Layer Normalization。
Self-Attention 机制允许模型在处理序列时关注不同位置的信息，计算公式涉及 Query (Q)、Key (K)、Value (V) 三个矩阵的交互。通过缩放点积注意力（Scaled Dot-Product Attention），模型能够捕捉长距离依赖关系。
建议尝试手写一个简化版的 Transformer 模型，至少实现 Attention 结构。理解 Scaling Law（缩放定律）对于认识大模型能力至关重要，即随着参数量、数据量和计算量的增加，模型性能通常呈幂律增长。
核心技术栈
针对 LLM 的实际应用与研究，以下技术按从低到高、从简到难的顺序排列：
- Prompt 工程：设计和完善给 LLM 的提示词，以获得最准确的响应。核心原则是通过精心设计的问题引导模型生成所需输出。常用技术包括指令角色设定、精确表达需求、要求特定输出格式。进阶技巧包括 Few-Shot Prompting（少样本提示）、Chain-of-Thought（思维链）等。
- RAG 技术（检索增强生成）：结合检索器模型获取相关文档，再由生成器模型产生最终输出。这能解决大模型知识截止和幻觉问题。关键技术包括向量数据库（如 Milvus, Chroma）、Embedding 模型选择及检索策略优化。常用框架有 LangChain、LlamaIndex。
- Fine-Tune 技术（微调）：在特定数据集上调整预训练模型参数以提高特定任务性能。全量微调成本高，通常采用参数高效微调（PEFT）方法，如 LoRA、P-Tuning。需要准备高质量标注数据并进行清洗。
- LLM 从零开始训练：不依赖现有权重构建模型。涉及海量数据收集、清洗、分词器设计、架构设计及高性能计算资源调度。挑战在于算力成本和数据质量，通常仅限大型机构进行。
- LLM 部署及优化技术：有效提供预测并管理计算资源。包括模型量化（INT8/FP16）、剪枝、蒸馏。目标是减少推理延迟和显存占用。工具包括 vLLM、TensorRT-LLM、ONNX Runtime。
