Vitis AI FPGA 部署实战：从模型量化到板端推理全流程

# 拉取最新镜像
docker pull xilinx/vitis-ai:latest

# 启动容器（启用 GPU 支持）
docker run -it --gpus all \
  --device-cgroup-rule='c 189:* rmw' \
  -v /tmp/X11-unix:/tmp/X11-unix \
  -e DISPLAY=$DISPLAY \
  --shm-size=8g \
  --ulimit memlock=-1 \
  --ulimit stack=67108864 \
  --name vitis-ai-dev \
  xilinx/vitis-ai

进入容器后激活对应框架环境：

conda activate vitis-ai-pytorch

2. 模型量化

量化是将 FP32 模型转换为 INT8 的关键步骤。推荐使用 PTQ（训练后量化），无需重新训练。

示例脚本导出 ONNX 模型：

import torch
from torchvision.models import resnet50

model = resnet50(pretrained=False)
model.load_state_dict(torch.load("resnet50.pth"))
model.eval()

dummy_input = torch.randn(1, 3, 224, 224)
torch.onnx.export(
    model, dummy_input, "resnet50.onnx",
    input_names=["input"], output_names=["output"],
    opset_version=11
)

在容器中执行量化命令：

vai_q_onnx quantize \
  --model resnet50.onnx \
  --calibration_data calibration_dataset/ \
  --quant_mode calib \
  --deploy_model_dir quantized/

注意校准集需具有代表性，且避免动态 Shape 导致编译失败。

3. 模型编译

使用 vai_c_xir 将量化模型编译为 DPU 可识别格式。

vai_c_xir \
  --xmodel_file quantized/resnet50_int.xmodel \
  --arch /opt/vitis_ai/compiler/arch/DPUCZDX8G/ZCU102.json \
  --output_dir compiled/

编译成功后会生成 deploy.model 及 compile_summary.html 分析报告，可查看各层是否成功卸载至 DPU。

4. 板端部署

将 .xmodel、测试图片及 Python 脚本拷贝至开发板（如 ZCU102），使用 VART Python API 执行推理。

import vitis_ai_library as vai
import numpy as np
from PIL import Image

runner = vai.dpu_runner("resnet50.xmodel")

def preprocess(image_path):
    img = Image.open(image_path).resize((224, 224))
    rgb_np = np.array(img).astype(np.float32) / 255.0
    norm_np = (rgb_np - [0.485, 0.456, 0.406]) / [0.229, 0.224, 0.225]
    return np.expand_dims(norm_np, axis=0)

input_data = preprocess("test.jpg")
outputs = runner.execute_async(input_data)
logits = outputs[0]
top_k = np.argsort(logits)[::-1][:5]
print("Top-5 predictions:", top_k)

该过程自动处理内存分配、DMA 数据传输及中断等待。

性能优化技巧

• 模型选择：优先选用 MobileNetV2/V3、EfficientNet-Lite、YOLOv4-Tiny 等轻量结构，避免过多小卷积或非标准操作。
• 多 Core 并行：若资源允许，实例化多个 DPU（如设置 "DPU_NUM": 2）以提升吞吐。
• 预处理位置：图像缩放、归一化等操作建议在 ARM PS 端完成，节省 DPU 带宽。
• 状态监控：使用 xbutil query 查看 DPU 利用率、温度及已加载模型数，辅助调整批大小。

实测案例数据

某安防人脸识别系统指标对比：

此外，系统支持远程 OTA 更新 .xmodel 文件，无需返厂烧录 Bitstream。

常见问题排查

• 编译报错 Unsupported operator：如 ScatterND 不在支持列表，需在 PyTorch 中改用 index_select 或剥离至 CPU。
• 精度下降严重：增加校准集数量（建议 100 张以上），使用混合精度调试工具分析敏感层，或对关键层强制保留 FP32。
• 查看层卸载情况：打开 compile_summary.html，搜索 Layer Name 确认 Offload 列是否为 Yes。
• 运行时切换模型：VART 支持动态加载多个 .xmodel，适用于多任务场景。

总结

随着 Vitis AI 工具链的成熟，FPGA 部署 AI 的门槛已大幅降低。其核心价值在于工程效率提升、系统能效跃迁及长期维护便利。对于需要兼顾实时性与低功耗的边缘 AI 场景，Vitis AI + FPGA 是一条极具潜力的技术路线。