聊聊 Qwen3 四个主要模型：Max、Next、Omni、Coder 的架构与长上下文训练

上下文窗口是怎么拉到 256K 的

这一套训练策略在四个模型里其实思路相通，我把它单独抽出来讲清楚。

分阶段扩窗

直接一步到位把序列长度从 4K 拉到 256K 很难奏效，训练不稳定，也会丢掉短序列上的能力。Qwen3 的做法是把整个过程拆成了几个阶段：

• 基础预训练：序列长度较短（4K 左右），先把语言知识和推理基础学扎实。
• 长上下文预训练：把序列加到 32K，数据换成长文档、多轮对话、跨段落的逻辑推理，让模型习惯长距离依赖。
• 超长上下文适应：继续提到 256K，训练数据是完整论文、书籍章节、代码库、长视频多帧视觉内容等。这个阶段会用动态权重调整，防止长序列损失主导训练。

分阶段的好处是模型能逐级习得长依赖模式，避免了暴力扩窗带来的不稳定和效率问题。

实际落地时的两个关键

位置编码：Qwen3 一直用 RoPE 作为底层位置编码。RoPE 本身有外推特性，可以在训练最大长度之外保持一定的连贯性。训练时逐步放大 RoPE 覆盖的长度范围，就能安全地达到 256K。推理时再配合 YaRN 这类扩展技术，像 Next 甚至能外推到百万级 token 上下文。

数据构造：为了凑够长序列，会做长文档拼接（把多个相关文档连起来），也会构造需要长注意力的任务，比如全文检索、跨页解析、长视频摘要、代码库分析。这些任务天然要求模型记住前面的信息，训练效果比人为拼凑要好。

工程上还得配合激活检查点、混合精度（FP8 之类）来控制显存，不然 GPU 吃不消。

训练长序列时的动态权重

简单说，就是在损失函数里给不同长度的样本分配不同的权重。长序列通常包含更复杂的依赖，损失绝对值更大，如果不控制，模型参数更新会被长序列主导。

Qwen3 里用了一种平方根重加权：长序列损失乘以 $\sqrt{L}$，这样长序列的梯度不会过大，短序列也不会被淹没。同时对不同长度的样本设定整体权重因子，达到平衡。

这种策略配合分阶段训练，能让模型既能处理 256K 的极长文本，又不丢失 32K 以下任务的精度。实际调参挺繁琐的，但公开的结果来看效果不错。

RoPE 数学上的简要说明

如果只有兴趣用模型，这部分可以跳过。但搞训练或者好奇为什么 RoPE 能外推的话，可以看看。

传统的 sinusoidal 位置编码是把位置向量 $\mathbf{p}_i$ 加到词向量上：

$$\mathbf{w}_i' = \mathbf{w}_i + \mathbf{p}_i$$

其中 $\mathbf{p}_i$ 由正弦余弦构成：

$$\mathbf{p}_i = \begin{bmatrix} \sin(i / 10000^{2j/d}) & \cos(i / 10000^{2j/d}) \end{bmatrix}$$

这种编码方式在训练长度内工作正常，但一旦超出，因为周期性就会出现编码重合，长距离依赖就变弱了。

RoPE 换了一个思路：不加法，而是用旋转矩阵作用在词向量上，让位置信息表现为方向上的旋转。在二维情况下，旋转矩阵是：

$$R(\theta) = \begin{bmatrix} \cos(\theta) & -\sin(\theta) \ \sin(\theta) & \cos(\theta) \end{bmatrix}$$

每个位置的旋转角 $\theta_i$ 依赖位置 $i$，那么：

$$\mathbf{w}_i' = R(\theta_i) \cdot \mathbf{w}_i$$

实际词向量维度远高于 2，RoPE 会把高维空间拆成若干二维子空间，每对维度独立旋转，最后合并。这样既保留了多维信息，又利用了旋转矩阵的周期性。

周期性意味着 $R(\theta + 2\pi) = R(\theta)$，所以位置间的差异主要靠角度增量来表达，而不是固定的编码表。训练时见过 32K 的旋转角范围，推理时稍微外推到 256K 甚至 1M，角度线性增加，模型仍能保持合理的注意力模式，不会因为位置编码崩掉。配合 YaRN 这类动态缩放，外推就更稳健。

相比之下，sinusoidal 因为是加法叠加，没有这种平滑的外推性质，所以处理超长上下文时经常力不从心。

结尾

Qwen3 四个模型虽然共享基础底座，但定位确实拉开了差距。Max 追求极致通用，Next 专攻效率，Omni 为了真正的多模态，Coder 埋头代码。长上下文能力则是它们共同的基石，分阶段训练、RoPE 外推、动态重加权这些手法组合起来，才撑起了 256K 甚至更大的窗口。