本文系统梳理了大语言模型的核心技术体系。首先解析了 Transformer 架构及其关键组件，包括 Tokenizer、位置编码、归一化及注意力机制变体。其次深入探讨了分布式预训练策略，涵盖数据、张量及流水线并行，以及 ZeRO、Flash Attention 等优化技术。最后详细介绍了参数高效微调方法，对比了 Prompt Tuning、Adapter 和 LoRA 等方案的优劣。文章旨在为技术人员提供从底层架构到工程落地的完整技术视角。
Transformer 架构是大语言模型（LLM）的基石。它摒弃了传统的循环神经网络（RNN）和卷积神经网络（CNN），完全基于注意力机制（Attention Mechanism）。这种架构使得模型能够并行处理序列数据，并有效捕捉长距离依赖关系。
典型的 Transformer 模型由 Encoder 和 Decoder 组成，但在现代 LLM 中，通常采用 Decoder-only 架构。每一层包含多头自注意力机制和前馈神经网络（FFN），并通过残差连接（Residual Connection）和层归一化来稳定训练过程。
class TransformerBlock(nn.Module):
def __init__(self, dim, n_heads):
super().__init__()
self.attn = MultiHeadAttention(dim, n_heads)
self.ffn = FeedForward(dim)
self.norm1 = LayerNorm(dim)
self.norm2 = LayerNorm(dim)
def forward(self, x):
x = self.norm1(x + self.attn(x))
x = self.norm2(x + self.ffn(x))
return x
大模型主要采用自回归（Autoregressive）方式训练，即预测下一个 token。损失函数通常为交叉熵损失（Cross-Entropy Loss），旨在最大化给定上下文的下一个词出现的概率。
分词器负责将文本转换为模型可理解的 token ID。常见的策略包括 Byte Pair Encoding (BPE) 和 WordPiece。例如，GPT 系列使用 BPE，而 BERT 使用 WordPiece。选择合适的 tokenizer 对模型性能至关重要。
由于 Transformer 缺乏递归结构，需要显式的位置信息。早期使用正弦余弦位置编码（Sinusoidal Positional Encoding），而现代模型如 LLaMA 则采用旋转位置编码（RoPE），在保持相对位置感知的同时支持更长的上下文窗口。
Layer Normalization 是标准配置，但为了提升训练稳定性，部分模型引入了 RMSNorm（Root Mean Square Layer Normalization），去除了均值计算，减少了计算开销。
ReLU 曾是主流，但 SwiGLU 等变体在现代 LLM 中表现更佳。SwiGLU 结合了 Sigmoid 门控和线性变换，提升了模型的表达能力。
标准 Multi-Head Attention (MHA) 计算量大。Multi-Query Attention (MQA) 共享 KV 头以减少内存占用；Grouped-Query Attention (GQA) 则在 MHA 和 MQA 之间取得平衡，兼顾推理速度与效果。
为了加速训练，可以采用流水线并行或张量并行将不同的 Transformer Block 分布到不同设备上。
混合精度训练、梯度裁剪和适当的学习率调度是保证大规模模型训练稳定的关键要素。
分布式训练依赖于高效的通信原语。点对点通信（如 send/recv）用于特定节点间的数据交换，而集体通信（如 AllReduce, AllGather）则用于聚合梯度或同步状态，通常通过 NCCL 库实现。
数据并行是最基础的并行策略。每个 GPU 持有完整的模型副本，处理不同的数据子集，并在每一步同步梯度。适用于模型较小但数据量大的场景。
当单卡无法容纳模型权重时，需使用张量并行（Tensor Parallelism）。它将矩阵运算切分到多个 GPU 上，要求极高的通信带宽，通常配合 Ring AllReduce 使用。
流水线并行将模型的不同层分配到不同设备上，形成流水线。虽然解决了显存限制，但会引入气泡（Bubble）导致算力浪费。改进方案如 GPipe 和 PipeDream 优化了负载均衡。
结合数据并行、张量并行和流水线并行，形成 3D 并行策略，以支持万亿参数级别的模型训练。
利用 FP16 或 BF16 进行计算，减少显存占用并提升速度，同时保留 FP32 主权重以防止数值溢出。
为节省显存，不保存前向传播的中间激活值，而是在反向传播时重新计算。这以计算换空间，显著降低显存峰值。
ZeRO（Zero Redundancy Optimizer）通过将优化器状态、梯度和参数分片存储在不同设备上，消除了数据并行中的冗余，大幅降低显存需求。
当 GPU 显存不足时，可将部分优化器状态卸载到 CPU 内存中，进一步扩展可用资源，尽管会牺牲部分训练速度。
Flash Attention 通过 IO 感知算法，减少 HBM 访问次数，显著提升注意力计算的效率和显存利用率。
Paged Attention 借鉴操作系统的分页管理思想，将 KV Cache 非连续存储，解决了推理阶段显存碎片化问题，大幅提升吞吐量。
全量微调成本高昂且易导致灾难性遗忘。参数高效微调（PEFT）仅更新少量参数，保留预训练知识的同时适应下游任务。
在输入端添加可学习的 Soft Prompts，冻结主干网络。方法简单，但受限于提示长度和表达能力。
类似 Prompt Tuning，但在所有层插入前缀向量，增强了模型对任务的适应能力。
在 Transformer 层中插入小型旁路网络（Adapter），仅训练这些旁路参数。相比 Prompt Tuning，Adapter 保留了更多原始结构信息。
针对 LLaMA 架构优化的 Adapter 版本，适配其特定的归一化和注意力机制。
低秩适应（LoRA）假设权重更新具有低秩特性。通过冻结预训练权重，训练两个低秩分解矩阵。这是目前最流行的 PEFT 方法之一，效果优异且易于部署。
在实际应用中，LoRA 通常在效果和效率之间取得了最佳平衡，适合大多数垂直领域微调场景。
本文内容参考了多项关于 Transformer 架构、分布式训练系统及参数高效微调技术的学术研究与开源项目文档。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online