跳到主要内容
Qwen3.5-MoE 多模态大模型架构深度解析 | 极客日志
Python AI 算法
Qwen3.5-MoE 多模态大模型架构深度解析 Qwen3.5-MoE 是一款基于 ViT 编码器和混合专家（MoE）语言模型的多模态大模型。架构包含 Vision Encoder、Language Model（含 Hybrid Attention 与 MoE FFN）、MTP 模块。支持 256K 上下文，总参数约 400B+，激活参数 15-20B。核心创新包括 Linear 与 Full Self-Attention 混合、512 专家数 MoE、M-RoPE 位置编码及投机解码加速。量化策略针对计算密集型组件，保留关键路径精度。
灵魂摆渡 发布于 2026/3/23 更新于 2026/5/12 Qwen3.5-MoE 多模态大模型架构深度解析
文档版本 : v1.0分析日期 : 2026-02-22分析来源 : config.json + quant_model_weights.safetensors.index.json架构标识 : Qwen3_5MoeForConditionalGeneration
1. 模型全局概览
维度 值 架构类型 Qwen3_5MoeForConditionalGeneration模型类别 多模态（Vision-Language）MoE 权重总量 ~420.7 GB （量化后）分片文件 99 个 safetensors 权重条目 279,374 条 上下文窗口 262,144 tokens（256K） 词表大小 248,320 精度 bfloat16（部分组件量化为低精度） Transformers 版本 4.57.0.dev0
1.1 模型四大模块
┌─────────────────────────────────────────────────────────┐
│ Qwen3.5-MoE │
├──────────────┬──────────────┬──────────┬────────────────┤
│ Vision │ Language │ MTP │ LM Head │
│ Encoder │ Model │ Module │ │
│ (27-layer │ (60-layer │ (1-layer │ (线性投影) │
│ ViT) │ Hybrid-MoE) │ MoE) │ │
├──────────────┴──────────────┴──────────┴────────────────┤
│ Shard 分布：Vision =1 | LM=96 | MTP=4 | LM Head=1 │
└─────────────────────────────────────────────────────────┘
2. 视觉编码器（Vision Encoder）
基于 ViT（Vision Transformer）架构，负责将图像/视频帧编码为视觉 token 序列。
2.1 核心参数
参数 值 说明 depth 27 Transformer Block 层数
num_heads 16 注意力头数（head_dim = 72）
intermediate_size 4304 FFN 中间层维度
temporal_patch_size 2 时间维度 Patch 大小（视频）
spatial_merge_size 2 空间合并因子
num_position_embeddings 2304 位置编码数量
out_hidden_size 4096 输出维度（对齐语言模型）
hidden_act gelu_pytorch_tanh 激活函数
2.2 结构详解 Input Image /Video
│
▼
┌──────────────────────┐
│ Patch Embedding │
│ Conv2d (3 , 1152 , kernel=16 ×16 )
│ + Position Embed │
│ 可学习位置编码 (2304 positions)
└──────────┬───────────┘
│
▼
┌──────────────────────┐
│ ViT Block × 27 │
│ 每个 Block:
│ ├─ LayerNorm │
│ │ - Pre-Norm (weight + bias)
│ ├─ Fused QKV Attn │
│ │ - 融合 QKV 多头注意力 (16 heads)
│ ├─ LayerNorm │
│ │ - Pre-Norm (weight + bias)
│ └─ MLP (FC1→FC2) │
│ - 1152 → 4304 → 1152
└──────────┬───────────┘
│
▼
┌──────────────────────┐
│ Merger │
│ 视觉→语言空间映射 │
│ ├─ LayerNorm │
│ │ 归一化 │
│ ├─ FC1 │
│ │ spatial_merge 后投影
│ └─ FC2 │
│ → out_hidden_size (4096 )
└──────────┬───────────┘
│
▼
Visual Tokens (dim=4096 )
2.3 特殊视觉 Token Token ID 用途 vision_start248053 视觉序列起始标记 vision_end248054 视觉序列结束标记 image_token248056 图像占位 token video_token248057 视频占位 token
3. 语言模型（Language Model）
3.1 全局参数 参数 值 说明 num_hidden_layers 60 总层数 hidden_size 4096 隐藏维度 vocab_size 248,320 词表大小 max_position_embeddings 262,144 最大位置（256K） rms_norm_eps 1e-6 RMSNorm epsilon hidden_act silu FFN 激活函数 tie_word_embeddings false Embedding 与 LM Head 不共享
3.2 混合注意力架构（Hybrid Attention） Qwen3.5-MoE 采用 Linear Attention + Full Self-Attention 混合架构 ，每 4 层为一组，前 3 层使用线性注意力（SSM/Mamba 风格），第 4 层使用完整自注意力。
full_attention_interval = 4
Layer: 0 1 2 [3] 4 5 6 [7] 8 9 10 [11] ... 56 57 58 [59]
Type: L L L F L L L F L L L F ... L L L F
L = Linear Attention (45 层，75 %)
F = Full Self-Attention (15 层，25 %)
3.2.1 Linear Attention（线性注意力 / SSM）— 45 层 基于 Mamba-2 / 状态空间模型（State Space Model）的线性注意力，时间复杂度 O(n)。
参数 值 说明 linear_key_head_dim 128 Key 头维度 linear_num_key_heads 16 Key 头数（KV 共享结构） linear_value_head_dim 128 Value 头维度 linear_num_value_heads 64 Value 头数 linear_conv_kernel_dim 4 1D 卷积核大小
权重名 说明 in_proj_qkv.weight融合 QKV 输入投影 in_proj_z.weight门控投影 Z in_proj_a.weightSSM 参数 A 投影 in_proj_b.weightSSM 参数 B 投影 A_log状态转移矩阵（log 空间） dt_bias时间步长偏置 Δ conv1d.weight局部卷积（kernel=4） norm.weight归一化 out_proj.weight输出投影
3.2.2 Full Self-Attention（完整自注意力）— 15 层 采用 GQA（Grouped-Query Attention） + QK-Norm + Partial Rotary Position Embedding 。
参数 值 说明 num_attention_heads 32 Q 头数 num_key_value_heads 2 KV 头数（GQA 比率 16:1） head_dim 256 每头维度 Q 总维度 32 × 256 = 8192 KV 总维度 2 × 256 = 512 attn_output_gate true 输出门控 attention_bias false 无注意力偏置
权重组成 : q_proj, k_proj, v_proj, o_proj, q_norm, k_norm
其中 q_proj, k_proj, v_proj 含量化参数 (weight_scale, weight_offset)。
3.2.3 位置编码（RoPE） 参数 值 说明 rope_type default 标准 RoPE rope_theta 10,000,000 频率基数（10M，支持超长上下文） partial_rotary_factor 0.25 仅 25% 维度应用旋转 旋转维度 256 × 0.25 = 64 实际参与 RoPE 的维度 mrope_interleaved true 交错式多模态 RoPE mrope_section [11, 11, 10] 高度/宽度/时间 维度分配
M-RoPE（Multimodal RoPE）将 64 维旋转编码拆分为 3 段（11+11+10=32 组，每组 2 维），分别编码空间高度、空间宽度和时间位置，使模型对图像/视频具备原生的位置感知能力。
3.3 MoE FFN（混合专家前馈网络） 参数 值 说明 num_experts 512 专家总数 num_experts_per_tok 10 每 token 激活专家数 moe_intermediate_size 1024 专家中间维度 shared_expert_intermediate_size 1024 共享专家中间维度 router_aux_loss_coef 0.001 路由辅助损失系数
hidden_states (4096 )
│
├───────────────────────────────────────────┐
│
▼ ▼
┌──────────────┐ ┌──────────────────┐
│ Router Gate │ │ Shared Expert │
│ (4096 → 512 ) │ │ gate_proj (4096 →1024 )
│ Top -10 选择 │ │ up_proj (4096 →1024 )
│ down_proj (1024 →4096 ) └──────┬───────┘
└────────┬─────────┘
▼
┌─────────────────────┐
│ Expert_i × 10 │
│ │
│ (从 512 中选 10 个) │
│ gate_proj (4096 →1024 )│
│ up_proj (4096 →1024 )│
│ down_proj (1024 →4096 )│
┌────────────────┐│
│shared_expert ││
│_gate (标量门控)││
└──────────┬──────────┘ │
│ └───────┬────────┘│
│ │ │
▼ ▼
expert_output ──────────────── + ◄────────────┘
▼
output (4096 )
组件 参数量 512 Expert 512 × 3 × 4096 × 1024 = 6.44B Shared Expert 3 × 4096 × 1024 = 12.6M Router Gate 4096 × 512 = 2.1M 每层 MoE 小计 ~6.45B
3.4 单层完整结构 input
▼
┌─────────────┐
│ RMSNorm │
│ input_layernorm
└──────┬──────┘
│
┌────────┴────────┐
│ │
│ (layer % 4 != 3 ) (layer % 4 == 3 )
│ ▼ ▼
┌─────────────┐ ┌──────────────┐
│ Linear Attn │ │ Full Self- │
│ (Mamba SSM) │ │ Attention │
│ │ │ (GQA+RoPE) │
└──────┬──────┘ └──────┬───────┘
│ │
└─────┼───────┘
│
+ ← residual
▼
┌─────────────┐
│ RMSNorm │
│ post_attention_layernorm
└──────┬──────┘
│
▼
┌────────────────┐
│ MoE FFN │
│ 512 Experts │
│ + Shared Expert│
│ Top -10 Routing │
└────────┬───────┘
│
+ ← residual
▼
output
3.5 量化策略 量化仅应用于计算密集型组件，保留关键组件的全精度：
组件 是否量化 说明 MoE Expert FFN (gate/up/down_proj) 是 含 weight_scale + weight_offset Self-Attention QKV (q/k/v_proj) 是 含 weight_scale + weight_offset Self-Attention Output (o_proj) 否 保持全精度 Linear Attention 全部权重 否 SSM 对精度敏感 Shared Expert 否 始终激活，保持精度 Router Gate 否 路由精度直接影响专家选择 RMSNorm 否 保持全精度 Embedding / LM Head 否 保持全精度
量化参数条目共 184,410 个，约占总权重条目的 66%。
4. MTP 模块（Multi-Token Prediction） MTP 模块确认存在 ，共 1,553 个权重条目，分布在 4 个 shard 文件中。
4.1 MTP 配置 参数 值 说明 mtp_num_hidden_layers 1 MTP Transformer 层数 mtp_use_dedicated_embeddings false 复用主模型 Embedding
4.2 MTP 完整结构 ┌─────────────────┐ ┌──────────────────┐
│ Embedding of │ │ Hidden state from│
│ current token │ │ last LM layer │
└────────┬────────┘ └────────┬─────────┘
│ │
▼ ▼
┌─────────────────┐ ┌──────────────────┐
│pre_fc_norm_ │ │pre_fc_norm_ │
│embedding │ │hidden │
│(RMSNorm) │ │(RMSNorm) │
└────────┬────────┘ └────────┬─────────┘
│ │
└─────────┬───────────┘
│
concat / combine
▼
┌─────────────────┐
│ fc.weight │
│ (融合投影层) │
└────────┬────────┘
│
▼
┌───────────────────────┐
│ MTP Transformer │
│ Layer 0 │
│ ┌───────────────────┐ │
│ │ input_layernorm │ │
│ ├───────────────────┤ │
│ │ Self-Attention │ │
│ │ (q/k/v/o_proj + │ │
│ │ q_norm, k_norm) │ │
│ ├───────────────────┤ │
│ │post_attn_layernorm│ │
│ ├───────────────────┤ │
│ │ MoE FFN │ │
│ │ ├ Gate (→512 ) │ │
│ │ ├ Expert ×512 │ │
│ │ ├ Shared Expert │ │
│ │ └ Shared Gate │ │
│ └───────────────────┘ │
└───────────┬───────────┘
│
▼
┌─────────────────┐
│ mtp.norm │
│ (RMSNorm) │
└────────┬────────┘
│
▼
┌─────────────────┐
│ lm_head (复用) │
│ 预测 next-next │
│ token │
└─────────────────┘
4.3 MTP 关键设计特征 特征 说明 深度 仅 1 层 Transformer，轻量化设计 注意力类型 Full Self-Attention（非 Linear Attention） FFN 类型 与主模型完全同构的 MoE（512 Expert + Shared Expert） Embedding 复用主模型 Embedding（mtp_use_dedicated_embeddings=false） LM Head 复用主模型 lm_head.weight 融合方式 对 embedding 和 hidden state 分别 RMSNorm 后通过 FC 融合
4.4 MTP 用途
训练阶段 : 提供 next-next-token 预测的辅助监督信号，增强模型表征学习推理阶段 : 可用于 Speculative Decoding（投机解码） ，MTP 头预测下一个候选 token，主模型并行验证，从而提升推理吞吐量
5. 参数规模估算
5.1 总参数量 模块 估算参数量 说明 Embedding ~1.02B 248,320 × 4,096 LM Head ~1.02B 248,320 × 4,096（不共享） LM Layers — MoE FFN ~387.1B 60 × 512 × 3 × 4096 × 1024 + shared LM Layers — Self-Attn (×15) ~1.07B 15 × (Q+K+V+O+norms) LM Layers — Linear-Attn (×45) ~数 B 45 × SSM 参数 LM Layers — Norms/Router ~0.25B 60 × (2×layernorm + gate) Vision Encoder ~0.3B 27 层 ViT + Merger MTP ~6.5B 1 层 MoE Transformer 总参数量（估算） ~400B+
5.2 每 Token 激活参数量 模块 激活参数量 MoE FFN（10/512 Experts） 60 × 10 × 3 × 4096 × 1024 ≈ 7.55B Shared Expert 60 × 3 × 4096 × 1024 ≈ 0.76B Attention（平均） ~数 B Embedding + LM Head ~2.04B 每 Token 激活量（估算） ~15-20B
6. 架构创新总结
6.1 核心创新点 创新 说明 Hybrid Attention 3:1 比例混合 Linear Attention (Mamba SSM) 与 Full Self-Attention，兼顾 O(n) 效率与全局建模 超大规模 MoE 512 Expert + Shared Expert，每层 Top-10 路由，总参数 ~400B 但激活量仅 ~15-20B M-RoPE 多模态旋转位置编码，三段式编码（高/宽/时间），原生支持图像与视频的空间 - 时序位置 MTP DeepSeek-V3 风格的单层多 Token 预测头，训练增强 + 推理投机解码加速 Partial Rotary 仅 25% 维度应用旋转编码（64/256），其余维度自由学习，平衡位置感知与语义表达 选择性量化 仅量化 Expert FFN 和 Self-Attn QKV，保留 SSM、Shared Expert、Router 等关键组件的全精度
6.2 对标分析 维度 Qwen3.5-MoE（本模型） DeepSeek-V3 Qwen3-235B 总参数 ~400B+ 671B 235B 激活参数 ~15-20B 37B 22B 专家数 512 256 128 激活专家 10 8 8 注意力 Hybrid (SSM+Attn) Full Attention Full Attention MTP 1 层 1 层 无 多模态 原生（ViT + M-RoPE） 无（纯文本） 无（纯文本）
7. 权重文件分布 quant_model_weights-00001 -of-00099. safetensors ← Vision Encoder (全部)
quant_model_weights-00002 ~00094. safetensors ← Language Model Layers (共 93 个)
quant_model_weights-00095~00098. safetensors ← MTP Module (共 4 个)
quant_model_weights-00098. safetensors ← Embedding + LM Norm
quant_model_weights-00099. safetensors ← LM Head
附录 A: 关键 Config 字段速查 { "text_config" : { "hidden_size" : 4096 , "num_hidden_layers" : 60 , "num_attention_heads" : 32 , "num_key_value_heads" : 2 , "head_dim" : 256 , "num_experts" : 512 , "num_experts_per_tok" : 10 , "moe_intermediate_size" : 1024 , "shared_expert_intermediate_size" : 1024 , "full_attention_interval" : 4 , "max_position_embeddings" : 262144 , "mtp_num_hidden_layers" : 1 , "rope_theta" : 10000000 , "partial_rotary_factor" : 0.25 , "mrope_section" : [ 11 , 11 , 10 ] } , "vision_config" : { "depth" : 27 , "hidden_size" : 1152 , "num_heads" : 16 , "patch_size" : 16 , "temporal_patch_size" : 2 , "out_hidden_size" : 4096 } }
附录 B: layer_types 完整映射 Layer 类型 Layer 类型 Layer 类型 Layer 类型 0 Linear 15 Full 30 Linear 45 Linear 1 Linear 16 Linear 31 Full 46 Linear 2 Linear 17 Linear 32 Linear 47 Full 3 Full 18 Linear 33 Linear 48 Linear 4 Linear 19 Full 34 Linear 49 Linear 5 Linear 20 Linear 35 Full 50 Linear 6 Linear 21 Linear 36 Linear 51 Full 7 Full 22 Linear 37 Linear 52 Linear 8 Linear 23 Full 38 Linear 53 Linear 9 Linear 24 Linear 39 Full 54 Linear 10 Linear 25 Linear 40 Linear 55 Full 11 Full 26 Linear 41 Linear 56 Linear 12 Linear 27 Full 42 Linear 57 Linear 13 Linear 28 Linear 43 Full 58 Linear 14 Linear 29 Linear 44 Linear 59 Full
本文档基于模型权重索引文件和配置文件的静态分析生成，参数量为估算值，实际值以官方技术报告为准。
相关免费在线工具 加密/解密文本 使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
RSA密钥对生成器 生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
Mermaid 预览与可视化编辑 基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
随机西班牙地址生成器 随机生成西班牙地址（支持马德里、加泰罗尼亚、安达卢西亚、瓦伦西亚筛选），支持数量快捷选择、显示全部与下载。 在线工具，随机西班牙地址生成器在线工具，online
Gemini 图片去水印 基于开源反向 Alpha 混合算法去除 Gemini/Nano Banana 图片水印，支持批量处理与下载。 在线工具，Gemini 图片去水印在线工具，online
curl 转代码 解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
