Vitis AI 在 ZCU102 上的推理部署实录

下面这段代码先把 PyTorch 模型导出成 ONNX：

import torch
from torchvision.models import resnet50

# 加载模型
model = resnet50(pretrained=False)
model.load_state_dict(torch.load("resnet50.pth"))
model.eval()

# 导出为 ONNX
dummy_input = torch.randn(1, 3, 224, 224)
torch.onnx.export(
    model, dummy_input, "resnet50.onnx",
    input_names=["input"], output_names=["output"], opset_version=11
)

量化命令如下：

vai_q_onnx quantize \
--model resnet50.onnx \
--calibration_data calibration_dataset/ \
--quant_mode calib \
--deploy_model_dir quantized/

这里最容易踩坑的地方是校准集。太少，或者分布不对，量化后精度掉得会很明显。自定义 OP 也经常卡住流程，比如 ROIAlign 这类算子，通常要么替换，要么让它卸载到 CPU。还有一个老问题是动态 shape，ONNX 导出时如果没处理干净，后面编译经常直接失败。

编译：把模型变成 .xmodel

量化后的模型还不能直接给 DPU 跑，需要再过一遍编译器：

vai_c_xir \
--xmodel_file quantized/resnet50_int.xmodel \
--arch /opt/vitis_ai/compiler/arch/DPUCZDX8G/ZCU102.json \
--output_dir compiled/

ZCU102.json 里定义了 DPU 的硬件约束，比如 MAC 数量、输入尺寸限制等。编译成功后，compiled/ 目录里通常会有 deploy.model 和 compile_summary.html。后者我一般会顺手打开看一下，哪些层上了 DPU，哪些层被留在 CPU，报告里都写得很直白。

板端部署

如果目标板是 ZCU102，准备好 SD 卡镜像后，把 .xmodel、测试图片和推理脚本拷过去就能开始跑。这里没有什么魔法，真正要盯的是数据预处理和 runner 的调用方式。

import vitis_ai_library as vai
import numpy as np
from PIL import Image

# 初始化 runner
runner = vai.dpu_runner("resnet50.xmodel")

# 预处理函数
def preprocess(image_path):
    img = Image.open(image_path).resize((224, 224))
    rgb_np = np.array(img).astype(np.float32) / 255.0
    norm_np = (rgb_np - [0.485, 0.456, 0.406]) / [0.229, 0.224, 0.225]
    return np.expand_dims(norm_np, axis=0)

# 推理
input_data = preprocess("test.jpg")
outputs = runner.execute_async(input_data)
logits = outputs[0]

# 后处理
top_k = np.argsort(logits)[::-1][:5]
print("Top-5 predictions:", top_k)

几个比较实用的优化点

模型结构别选得太'学术'。MobileNetV2/V3、EfficientNet-Lite、YOLOv4-Tiny、ShuffleNet 这类更适合往 DPU 上塞；那种小卷积很多、shape 变化频繁、算子又不标准的网络，编译和部署都会更别扭。

如果板卡资源够，多实例化几个 DPU Core 也很实在。比如配置里写成：

"DPU_NUM": 2

这样可以把两路视频流并行起来，吞吐会更好看。不过这类优化前提是别把 PL 资源吃光，不然得不偿失。

预处理通常放在 PS 端更划算。缩放、归一化这类事没必要占 DPU 带宽，ARM 上用 OpenCV 处理就够了。最后，xbutil query 这类工具最好养成习惯性查看，温度、利用率、已加载模型数量都能直接看到。

xbutil query

一个智能摄像头场景

比较典型的例子是人脸识别摄像头：USB Camera 进来之后，先用 OpenCV 做人脸检测，再裁剪人脸区域，送到 DPU 上做 FaceNet 特征提取，最后用余弦相似度做比对，返回身份信息。链路不复杂，但每一段都得讲究时延，不然实时性就会掉下来。

这套方案还有一个实际好处：.xmodel 可以远程更新，很多时候不需要重新烧录 FPGA bitstream，维护成本会低不少。

遇到问题时先看这几个点

Unsupported operator: ScatterND 这种报错，基本就是算子不在 DPU 支持范围里。处理思路通常是换实现，或者把这部分剥离出去交给 CPU。

量化后精度掉得太多，先别急着怀疑工具链，先看校准集、再看敏感层。vai_q_summary 这类工具能帮你定位问题层，必要时对关键层保留 FP32。

想确认某一层有没有上 DPU，就直接打开 compile_summary.html，搜 layer name，看 Offload 列是不是 Yes。这个比猜快得多。

运行时切换模型也是支持的，VART 可以动态加载多个 .xmodel。如果设备要同时干白天人脸、晚上行为识别，这种做法就比较顺手。

结尾

Vitis AI 把 FPGA 上做推理这件事拉回到了'工程可落地'的区间。它不是最通用的方案，也不是最省心的方案，但在功耗、时延和长期维护这几项同时受限的时候，确实有它的位置。模型量化、编译、板端部署这条链路一旦打通，后续换模型、调性能、做远程更新，都会比从头搭一套硬件友好得多。