多 FPGA 模型推理架构与切分策略

内部结构（单 FPGA 内部）

┌─────────────────────────────────────────────────────┐
│ FPGA 芯片                                               │
│ ┌─────────────────┐ ┌─────────────────────┐          │
│ │ 片间高速接口    │◄───────►│ 片上总线 AXI/Stream │
│ │ (PCIe/MGT 硬核) │ │ 数据流互联           │
│ └────────┬────────┘ └──────────┬──────────┘          │
│          │                     │                      │
└──────────┼─────────────────────┼──────────────────────┘
           │                     │
┌──────────┴──────────┐ ┌──────────┴──────────┐
│ 计算阵列            │ │ 片上存储            │
│ (DSP/ALU/张量引擎)  │◄──────►│ BRAM / URAM      │
└──────────┬──────────┘ └──────────┬──────────┘
           │                       │
└─────────────────────────────────┘
┌───────────┴───────────┐
│ 片外存储控制器        │
│ (DDR5/HBM 控制器)       │
└───────────┬───────────┘
            │
┌───────────┴───────────┐
│ DDR5 / HBM            │
└───────────────────────┘

关键通信总线

1. 片间通信总线
   • 高速串行：PCIe 5.0/6.0、CXL、100G/400G、MGT 直连
   • 用于：多 FPGA 之间传输特征图、权重、控制指令
2. 片内通信总线
   • AXI4-Stream / AXI4 Full
   • 用于：FPGA 内部模块之间数据流、存储读写
3. 存储单元（必须有）
   • 片上：BRAM、URAM → 缓存特征图、指令
   • 片外：DDR5、HBM → 存模型权重、大特征图
   • 多片之间：CXL 共享内存 / 乒乓缓冲

核心切分策略

所有切分策略的核心目标：让多 FPGA 间的数据传输量最小、算力利用率最高、延迟最低，且必须匹配架构里的 PCIe/CXL/MGT 高速链路带宽。

策略 1：按「模型层级」切分（Pipeline 切分，最易实现）

这是新手 / 中小模型首选的切分方式，也是工程上落地最多的方案。

核心思路

把模型的不同层 / 算子组分配到不同 FPGA 上，形成流水线：

• FPGA 0：负责模型前处理 + 卷积 / Attention 前几层
• FPGA 1：负责模型中间层（如 Transformer Block 1~N）
• FPGA N：负责模型后几层 + 后处理 + 输出

适用场景

• 模型：CNN、Transformer（LLM）、ResNet 等层级化明显的模型
• 硬件：FPGA 数量≤8 片，片间带宽≥100Gbps（PCIe 5.0 x8 即可满足）
• 需求：追求高吞吐（如云端推理），对单帧延迟要求不极致

工程实现要点

1. 切分点选在数据量最小的层间：比如 Transformer 的 QKV 计算后（特征图维度小），而非大尺寸特征图输出后；
2. 做流水线对齐：让每片 FPGA 的单批次计算耗时接近（比如都控制在 100μs），避免某片 FPGA 空闲；
3. 缓存设计：每片 FPGA 的片外 DDR/HBM 缓存当前层的权重 + 输入特征图，片上 BRAM 缓存中间结果；
4. 示例（LLM 7B 模型）：
   • FPGA 0：Embedding 层 + Transformer Block 1~4
   • FPGA 1：Transformer Block 5~8
   • FPGA 2：Transformer Block 9~12 + Linear 输出层

策略 2：按「数据维度」切分（Parallel 切分，高性能）

也叫'张量并行 / 通道并行'，适合大模型、高算力需求场景。

核心思路

把同一层的计算任务按数据维度拆分，多 FPGA 并行计算后合并结果：

• 比如 CNN 的卷积层：将输入特征图的通道（Channel）拆分成 N 份，每片 FPGA 计算 1/N 通道的卷积；
• 比如 Transformer 的 Attention 层：将 Q/K/V 矩阵按头数拆分（8 头 Attention 拆给 2 片 FPGA，每片算 4 头）。

适用场景

• 模型：大模型（LLM 10B+、大尺寸 CNN）、单层层数多 / 计算量大的模型
• 硬件：FPGA 数量≥4 片，片间带宽≥400Gbps（建议 CXL 或 MGT 直连）
• 需求：追求低延迟（如自动驾驶、实时机器人推理）

工程实现要点

1. 切分维度选计算密集型维度：优先按通道 / 头数 / 矩阵行 / 列切，而非空间维度（H/W）；
2. 同步设计：必须加全局同步模块（对应之前架构里的时钟 / 同步模块），保证多 FPGA 同时开始 / 结束计算；
3. 结果合并：指定 1 片 FPGA 作为'主 FPGA'，负责接收其他 FPGA 的计算结果并合并（如拼接通道、求和）；
4. 示例（ResNet50）：
   • 卷积层通道数 = 256，4 片 FPGA 各计算 64 通道的卷积；
   • 每片 FPGA 输出 64 通道特征图，主 FPGA 拼接为 256 通道后进入下一层。

策略 3：混合切分（Pipeline+Parallel，最优解）

结合前两种策略的优势，是大模型多 FPGA 推理的'终极方案'。

核心思路

先按层级切分把模型拆成多个阶段，再对每个阶段内的单一层做数据并行切分：

• 示例（LLM 70B 模型）：
  1. 阶段 1（FPGA 0/1）：Embedding 层 + Block 1~10 → 2 片 FPGA 做数据并行；
  2. 阶段 2（FPGA 2/3）：Block 11~20 → 2 片 FPGA 做数据并行；
  3. 阶段 3（FPGA 4/5）：Block 21~30 + 输出层 → 2 片 FPGA 做数据并行。

适用场景

• 模型：超大模型（LLM 50B+）、高吞吐 + 低延迟双需求场景
• 硬件：FPGA 数量≥6 片，片间带宽≥400Gbps（CXL/400G Ethernet）
• 需求：云端大模型推理、自动驾驶域控核心计算

工程实现要点

1. 层级切分控制阶段数≤FPGA 总数量 / 2，避免流水线过长；
2. 数据并行的 FPGA 组内用 MGT 直连（低延迟），组间用 PCIe/CXL（高带宽）；
3. 权重分配：每个 FPGA 只存自己负责的那部分权重（减少存储压力）；
4. 容错设计：某片 FPGA 故障时，可降级为单组数据并行（比如 2 片→1 片）。

策略选择速查表

一、多 FPGA 推理 总线推荐（按优先级）

1. 板内多 FPGA（同一块板卡）

首选：自定义 MGT 直连 + AXI-Stream 封装

• 速率：10G/25G/100G 每通道
• 优势：时延最低、无协议开销、最适合推理流水
• 适用：模型切分、特征图传输、流水同步

次选：PCIe 5.0 x8/x16

• 带宽：x16 单向～128GB/s
• 优势：生态成熟、可直接连 CPU、可做控制 + 数据通路

高端：CXL 3.0

• 支持共享内存，多 FPGA 像在同一片内存里
• 大模型切分最舒服

2. 多板卡 / 机柜间

• 100G/400G Ethernet
• 或 400G QSFP-DD 自定义 SerDes

二、带宽怎么算？

关键公式

1. 特征图数据量

Data=H×W×C×DataType_bit

• H/W：特征图高宽
• C：通道数
• DataType_bit：
  • FP32 → 32
  • FP16/BF16 → 16
  • INT8 → 8
  • INT4 → 4

2. 片间需要的最小带宽

Bandwidth = Data × FPS × 冗余系数 / Latency

• Latency：你能接受的传输时延
• 1.2~1.5：协议开销、拥塞冗余

三、真实场景估算

场景 1：CNN 中间特征图传输（典型 FPGA 推理）

• H=32, W=32, C=256
• INT8
• 帧率 30fps

1. 单张特征图点数：32×32×256 = 262,144
2. 数据量：262,144 × 8bit = 2Mb = 256KB
3. 每秒数据量：256KB × 30 = 7.5MB/s

加 1.5 倍冗余：→ 需要～11.25MB/s 有效带宽

总线推荐

• 随便一个 PCIe 3.0 x1 都够
• 实际用 MGT 10G 通道 毫无压力

场景 2：Transformer 层间切分（大模型常用）

• 特征：Token=512，Hidden=4096，INT8
• 每帧一层输出：512×4096 Byte

1. 单层数据：512×4096 = 2MB
2. 30fps：60MB/s 加冗余 → 90MB/s

总线推荐

• PCIe 4.0 x4 轻松跑
• 或 25G MGT 直连

场景 3：大模型张量并行（多 FPGA 算同一层）

• Hidden=8192，FP16
• 切 4 片 FPGA，每片传输 8192/4=2048 维度

1. 每 Token：8192×2Byte = 16KB
2. 512Token：8MB
3. 30fps → 240MB/s 加冗余 → 360MB/s

总线推荐

• PCIe 5.0 x4
• 或 50G/100G MGT

四、最终选型结论

1. 模型层级切分（Pipeline）

• 总线：PCIe 5.0 + 10G/25G MGT 直连
• 带宽：10~100Gbps 足够

2. 模型张量 / 通道并行（Parallel）

• 总线：100G MGT / PCIe 5.0 x16 / CXL
• 带宽：100~400Gbps

3. 板间多卡

• 总线：400G Ethernet 或 QSFP-DD

五、极简记忆口诀

• CNN 小特征图：10G~25G 够用
• Transformer 层间：50G~100G 稳妥
• 张量并行：100G+ 才够爽