Vitis AI 模型 FPGA 部署实战指南

FPGA 资源有限，FP32 模型无法直接运行，必须进行 INT8 量化。这直接影响最终精度。

执行命令如下：

vai_q_onnx quantize \
  --model mobilenet_v2.onnx \
  --calibration_dataset ./calib_images \
  --quant_mode calibrate \
  --deploy_model_dir quantized/

若发现 Top-1 精度下降明显，可能是校准集太小。建议换成 ImageNet 子集（如 500 张），通常可将精度损失控制在 2% 以内。

小技巧：启用 per-channel 量化提升敏感层精度，并查看量化日志分析误差来源。

编译生成 Xmodel

这一步将 ONNX 模型转换为 DPU 能理解的指令流，打包为 .xmodel 文件。

vai_c_onnx \
  --arch /opt/vitis_ai/compiler/arch/DPUCZDX8G/KV260.json \
  --model quantized/mobilenet_v2_int.onnx \
  --output_dir compiled/

成功输出包含网络结构、量化参数及 DPU 调度信息。同时会生成 .xclbin 比特流文件，需在 Vitis IDE 中构建以配置 FPGA 逻辑。

板端运行

将关键文件拷贝到 KV260 开发板：

scp compiled/*.xmodel root@kv260:/root/models/
scp system.xclbin root@kv260:/root/

编写推理脚本 infer.py：

from vai.dpu import runner
import numpy as np
import cv2

# 加载模型
r = runner.Runner("compiled/mobilenet_v2.xmodel")
input_tensor = r.get_input_tensors()[0]
output_tensor = r.get_output_tensors()[0]

# 输入预处理
img = cv2.imread("test.jpg")
resized = cv2.resize(img, (224, 224))
normalized = (resized.astype(np.float32) - 128.0) / 128.0
input_data = np.expand_dims(normalized, axis=0).astype(np.int8)

# 执行推理
results = r(input_data)
logits = results[0]
pred_class = np.argmax(logits)
print(f"Predicted class: {pred_class}, score: {logits[pred_class]:.3f}")

实测延迟平均 0.8ms/帧，满足实时视频流处理需求。

DPU 架构简析

DPU（Deep Learning Processing Unit）采用 空间计算架构，不同于 CPU 的高频串行执行，它将大量 MAC 单元排成阵列，在一个周期内完成整块卷积运算。

以 DPUCZDX8G 为例，做 3×3 卷积时，DPU 一次性加载 9 个权重进入片上内存，利用流水线机制持续输出结果，极大降低带宽压力。

常见问题与调试

实际项目中难免遇到报错，以下是常见问题的解决方案：

模型编译报错 'Unsupported OP: ScatterND'

原因：DPU 不支持所有 ONNX 算子（尤其是 NMS、ROI Pooling 等）。

解法：

• 只加速 Backbone，在 Host CPU 上完成 NMS、解码。
• 使用 xir.Graph 手动分割子图。

推理结果全为 0 或 NaN

常见于量化失败或输入归一化错误。

解法：

• 检查输入预处理是否使用了训练时的 mean/std。
• 打印每一层输出范围，定位溢出层。
• 增加校准图像多样性。

性能远低于预期

可能是数据搬运成了瓶颈。

优化建议：

• 使用 Zero-Copy Buffer 减少内存拷贝。
• 启用 DMA 双缓冲实现流水线处理。
• 批处理大小设为 1，优先考虑延迟而非吞吐。

总结

异构计算时代，CPU 通用但慢，GPU 强大但费电，ASIC 高效但不够灵活。FPGA 兼具接近 ASIC 的效率与可编程的灵活性。掌握 Vitis，不仅是学会工具链，更是拥抱一种用软件方式定义硬件的思维模式。对于需要低延迟、低功耗且长期稳定运行的边缘设备，FPGA + Vitis 是一条值得投入的技术路线。