GPT、LLaMA 与 MOE：自回归模型与混合专家架构演进
为什么这一节重要
大模型产品与开源生态里，最常见的就是「GPT 类」「LLaMA 类」和「MOE 类」模型。若不搞清楚它们在训练目标（自回归 vs 掩码）、架构细节（归一化、激活、位置编码）和使用场景上的差异，很容易出现「用 BERT 做长文本生成」或「用纯 GPT 做句向量」这类错配。本节基于原书第 2 章，系统讲清自回归解码器与掩码编码器的区别、LLaMA 的典型设计选择，以及混合专家（MOE）的「路由 + 专家」思想与效率取舍，并给出选型与部署时的实用要点。
学习目标
学完本节，你将能够：
- 区分自回归与掩码模型：说明自回归语言模型（如 GPT、LLaMA）与掩码语言模型（如 BERT）在训练目标与「训练时看到的上下文」上的本质不同，以及各自更适合的下游任务类型。
- 掌握 LLaMA 的典型设计：说出 LLaMA 在归一化（RMSNorm）、激活函数（SwiGLU）、位置编码（RoPE）等方面的选择，以及这些选择对训练稳定性与长上下文的影响。
- 理解 MOE 的取舍：解释混合专家模型中「路由 + 专家」的工作方式、在参数量与激活量上的特点，以及部署时对显存与带宽的影响。
一、自回归语言模型 vs 掩码语言模型
自回归语言模型（Autoregressive LM）
- 训练目标：在给定上文的前提下，预测下一个 token（或下一个词）。损失通常是对整个序列的下一 token 交叉熵求和或平均。因此，训练时每个位置「只能看到」它左侧的 token，不能看到右侧（通过因果掩码保证）。
- 典型架构：解码器-only（Decoder-only），即只使用 Transformer 的解码器层：带因果掩码的自注意力 + 前馈网络，无「编码器」部分。
- 使用方式：天然适合生成——自左向右逐 token 生成，直到结束符或达到最大长度。也可用于填空、续写、对话（把历史与当前问题拼成序列，让模型生成回复）。代表：GPT 系列、LLaMA、Qwen、DeepSeek 等。
掩码语言模型（Masked LM）
- 训练目标：随机遮盖输入中的部分 token，让模型根据**上下文（含左右两侧）**预测被遮盖的内容。每个位置在训练时可以看到整句（除被 mask 的位置）。
- 典型架构：编码器（Encoder-only），即双向自注意力（无因果掩码）+ 前馈网络。代表：BERT、RoBERTa 等。
- 使用方式：适合理解与表示——取 [CLS] 或整句的池化表示做分类、相似度、检索等。也可做「填空」式生成，但按 token 自回归长文本生成不是其设计重心，且通常没有因果掩码，直接用于生成会存在「看到未来」的泄露问题。
本质区别小结
- 训练时看到的上下文：自回归只看左侧；掩码看两侧（除被 mask 处）。
- 更适合的任务：自回归适合生成、对话、续写；掩码适合分类、抽取、句表示、检索。若要做「长文本生成」或「对话生成」，应选解码器架构；若要做「句向量」或「文本分类」，可考虑编码器或专门训练的嵌入模型，而不是把纯生成模型最后一层隐状态直接当向量用。
二、GPT 类与 LLaMA 的架构要点
GPT 类（解码器-only、自回归）
作为自回归解码器代表：堆叠 Transformer 解码器块，每块含因果自注意力 + 前馈；训练目标为下一 token 预测。适合生成与对话，也是当前 ChatGPT、开源对话模型的主流基座形态。
LLaMA 的典型设计
LLaMA 在「用什么 Norm、什么激活、什么位置编码」上做了明确选择，被后续很多开源模型沿用：
