Vitis 使用教程：从零实现 AI 模型 FPGA 部署

3. 模型量化

FPGA 资源有限，FP32 模型直接跑不起来。必须做 INT8 量化，而这一步直接影响最终精度。

Vitis AI 提供两阶段流程：

1. 校准（Calibration）：用少量无标签数据统计激活值分布。
2. 量化（Quantization）：根据统计结果确定缩放因子。

vai_q_onnx quantize \
  --model mobilenet_v2.onnx \
  --calibration_dataset ./calib_images \
  --quant_mode calibrate \
  --deploy_model_dir quantized/

小技巧：

• 启用 per-channel 量化提升敏感层精度：--quant_scheme symmetric_uniform --rounding convergent
• 查看量化日志分析哪一层误差大：vai_q_onnx show_quant_info -m quantized/mobilenet_v2_int.onnx

4. 编译生成

你的 ONNX 模型会被 Vitis AI Compiler 转换成 DPU 能理解的指令流，并打包为 .xmodel 文件。

vai_c_onnx \
  --arch /opt/vitis_ai/compiler/arch/DPUCZDX8G/KV260.json \
  --model quantized/mobilenet_v2_int.onnx \
  --output_dir compiled/

成功输出示例：

[VAI_C][INFO] Kernel topology "mobilenetv2_0" created!
[VAI_C][INFO] Output instructions to: compiled/dpu_mobilenetv2_0_instr.bin
[VAI_C][INFO] Generate xmodel: compiled/mobilenet_v2.xmodel

补充说明：

• .xmodel 包含网络结构 + 量化参数 + DPU 调度信息。
• 同时还会生成一个 .xclbin 比特流文件（需在 Vitis IDE 中构建），用于配置 FPGA 逻辑。

5. 板端运行

将两个关键文件拷贝到 KV260 开发板：

scp compiled/*.xmodel root@kv260:/root/models/
scp system.xclbin root@kv260:/root/

然后在板端编写推理脚本：

# infer.py
from vai.dpu import runner
import numpy as np
import cv2

# 加载模型
r = runner.Runner("compiled/mobilenet_v2.xmodel")
input_tensor = r.get_input_tensors()[0]
output_tensor = r.get_output_tensors()[0]

# 输入预处理
img = cv2.imread("test.jpg")
resized = cv2.resize(img, (224, 224))
normalized = (resized.astype(np.float32) - 128.0) / 128.0  # [-1, 1]
input_data = np.expand_dims(normalized, axis=0).astype(np.int8)

# 执行推理
results = r(input_data)
logits = results[0]

# 输出预测类别
pred_class = np.argmax(logits)
print(f"Predicted class: {pred_class}, score: {logits[pred_class]:.3f}")

运行结果：

$ python3 infer.py
Predicted class: 282, score: 8.765

成功识别出一只波斯猫！延迟平均 0.8ms/帧，完全满足实时视频流处理需求。

DPU 架构解析

DPU 是一种空间计算架构（Spatial Architecture），不像 CPU 那样靠高频串行执行，而是把大量 MAC 单元排成阵列，在一个周期内完成整块卷积运算。

性能表现（KV260 实测）：

• ResNet-50 (INT8): ~1200 FPS
• YOLOv4-tiny: ~200 FPS @ 416×416
• 能效比：>2 TOPS/W

常见问题与解决

问题 1：模型编译报错 'Unsupported OP: ScatterND'

原因：DPU 并不支持所有 ONNX 算子（尤其是后处理中的 NMS、ROI Pooling 等）。

解法：

• 把主干网络和头部分开，只加速 Backbone。
• 在 Host CPU 上完成 NMS、解码等非标准操作。
• 使用 xir.Graph 手动分割子图：

import xir
graph = xir.Graph.deserialize("model.xmodel")
subgraphs = graph.get_root_subgraph().toposort_child_subgraph()

问题 2：推理结果全为 0 或 NaN

常见于量化失败或输入归一化错误。

解法：

• 检查输入是否做了正确预处理（务必使用训练时相同的 mean/std）。
• 打印每一层输出范围，定位溢出层。
• 增加校准图像多样性，避免分布偏差。

问题 3：性能远低于预期

可能是数据搬运成了瓶颈。

优化建议：

• 使用 Zero-Copy Buffer 减少内存拷贝。
• 启用 DMA 双缓冲实现流水线处理。
• 批处理大小设为 1（边缘场景优先考虑延迟而非吞吐）。

总结

对于嵌入式 AI 工程师，若需将模型部署到摄像头、机器人、工控机等边缘设备，且对延迟要求严苛（<10ms）、设备供电受限（希望功耗<10W），FPGA + Vitis 是一条值得考虑的技术路线。它带来的性能飞跃和能效优势，是在真实产品中站稳脚跟的关键。随着 Kria 系列等模块化 AI 套件推出，FPGA 部署已经变得越来越便捷。掌握 Vitis，不仅是学会一个工具链，更是拥抱一种新的思维方式——用软件的方式去定义硬件。