Qwen3 核心架构改进与后训练 Pipeline 解析

SwiGLU 的核心改进是将 GLU 中的 Sigmoid 函数替换为 Swish 激活函数。

在 Qwen3 的 Transformer 块中，前馈网络（FFN）层利用 SwiGLU 进行非线性变换，计算逻辑由三个矩阵组成 W_gate, W_up, W_down，SiLU 为 Swish 函数。

门控分支：当 x 小于 0 时，SiLU 激活函数迅速将其切断，变为 0，切断其向下传递的渠道。

**QK-Norm：**在进行注意力计算时，对 Q 和 K 进行归一化（防止注意力瘫缩）。

对 Q 和 K 进行归一化的方法：对每个矩阵的每个向量进行归一化，在训练过程中，必须要使用半精度来节省显存，所以进行归一化恢复对向量的敏感并且防止数据溢出。

2、后训练 pipeline

整体的结构如下所示：

旗舰模型采用四阶段的后训练模式，前面两个阶段注重思考推理，后面的阶段注重非思考能力。

1）长思维链冷启动阶段（long-CoT Cold Start）

采用 qwen2.5-72B 进行数据清洗，剔除掉不需要思考可以直接回答的问题。

冷启动的作用：

• 建立初始模式：通过精选的子集进行初始训练，旨在模型中植入基础的推理模式。
• 为 RL 留白：训练时故意不追求极端的推理表现，以防模型产生路径依赖，从而为后续强化学习（RL）阶段留出更大的改进空间和灵活性。
• 极简主义：在冷启动阶段，倾向于最小化训练样本数和训练步数，保持模型的'潜力'。

2）推理强化学习阶段（Reasoning-RL）

采用 GRPO 的强化学习策略进行训练。

训练策略：

• 使用大 Batch Size（大批次）和高 Rollouts（每个问题生成多个答案）。
• 使用 Off-policy（离线策略）训练来提高样本效率。
• 通过控制熵（Entropy）来平衡'探索'与'利用'，防止模型过早陷入局部最优。

3）通用强化学习阶段（general rl）

奖励函数的设计：

4）强对弱蒸馏（Strong-to-Weak Distillation）

• stage1:离线蒸馏 将大模型的答案直接喂给小模型进行训练，相当于直接是 sft 阶段监督训练。

• stage2:在线蒸馏 让小模型自己针对某个问题生成回答（On-policy）。与此同时，让更强大的老师模型（如 Qwen3-235B）也针对同样的问题给出一个输出概率分布，计算 KL 散度（KL Divergence）：通过数学手段缩小'学生'和'老师'在逻辑预测上的差距（对齐 Logits）。