Vitis 从零实现 AI 模型 FPGA 部署实战

基于 Vitis 的 AI 模型 FPGA 部署流程

在边缘 AI 推理场景中，FPGA 结合 Vitis 统一平台提供了低功耗、低延迟的解决方案。Vitis AI 工具链支持从 TensorFlow/PyTorch 导出的模型进行量化、编译并部署到 Zynq SoC 或 Alveo 加速卡上。

环境搭建

推荐使用 Ubuntu 20.04，安装 Vitis 2023.1 和 Vitis AI 3.0。

1. 安装 Vivado/Vitis，勾选'Vitis Embedded Development'。
2. 配置 Vitis AI Docker 镜像：

docker pull xilinx/vitis-ai:latest
docker run -it --gpus all --rm --name vitis-ai \
  -v /path/to/your/model:/workspace \
  xilinx/vitis-ai:latest

注意确认 XRT、DPU 固件和 Vitis 版本匹配。

模型导出为 ONNX

将训练好的 PyTorch 模型导出为中间格式。

import torch
import torchvision
model = torchvision.models.mobilenet_v2(pretrained=True)
model.eval()
dummy_input = torch.randn(1, 3, 224, 224)
torch.onnx.export(
    model, dummy_input, "mobilenet_v2.onnx",
    input_names=["input"], output_names=["output"],
    opset_version=13, do_constant_folding=True
)

确保所有操作都是静态图可追踪的。

模型量化

FPGA 资源有限，需进行 INT8 量化。

vai_q_onnx quantize \
  --model mobilenet_v2.onnx \
  --calibration_dataset ./calib_images \
  --quant_mode calibrate \
  --deploy_model_dir quantized/

建议使用 per-channel 量化提升精度。

编译生成 DPU 指令

使用 Vitis AI Compiler 将模型转换为 .xmodel 文件。

vai_c_onnx \
  --arch /opt/vitis_ai/compiler/arch/DPUCZDX8G/KV260.json \
  --model quantized/mobilenet_v2_int.onnx \
  --output_dir compiled/

板端运行

将 .xmodel 和 .xclbin 拷贝至开发板（如 KV260）。

# infer.py
from vai.dpu import runner
 numpy  np
 cv2
r = runner.Runner()
input_tensor = r.get_input_tensors()[]
output_tensor = r.get_output_tensors()[]
img = cv2.imread()
resized = cv2.resize(img, (, ))
normalized = (resized.astype(np.float32) - ) / 
input_data = np.expand_dims(normalized, axis=).astype(np.int8)
results = r(input_data)
logits = results[]
pred_class = np.argmax(logits)
()