边缘 AI 推理：用 Vitis 将模型部署到 FPGA
在边缘计算场景中，GPU 功耗过高而云端延迟过大往往是主要瓶颈。FPGA 凭借高并行度和低功耗特性成为理想选择，配合 Xilinx（现 AMD）的 Vitis 统一平台，开发者无需精通 Verilog 也能通过 C/C++ 或 Python 完成硬件加速开发。
本文基于 Kria KV260 开发板，记录从 PyTorch 模型训练到 FPGA 端推理验证的全流程实战经验。实测 ResNet-50 在 INT8 量化下推理速度可达 1200 FPS，功耗控制在 5W 左右。
环境准备与工具链配置
版本兼容性是第一步。建议主机使用 Ubuntu 20.04，搭配 Vitis 2023.1 和 Vitis AI 3.0。
安装顺序至关重要：
- 先安装 Vivado/Vitis，勾选'Vitis Embedded Development'组件。
- 配置 Vitis AI Docker 镜像以简化依赖管理。
docker pull xilinx/vitis-ai:latest
docker run -it --gpus all --rm --name vitis-ai \
-v /path/to/your/model:/workspace \
xilinx/vitis-ai:latest
注意：务必确认 XRT（Xilinx Runtime）、DPU 固件和 Vitis 版本匹配，否则后续加载
.xclbin文件会失败。
模型导出与中间格式转换
假设已有一个训练好的 PyTorch 模型（如 MobileNetV2），需将其转换为 ONNX 格式以便工具链处理。
import torch
import torchvision
# 加载预训练模型
model = torchvision.models.mobilenet_v2(pretrained=True)
model.eval()
# 构造 dummy input
dummy_input = torch.randn(1, 3, 224, 224)
# 导出 ONNX
torch.onnx.export(
model, dummy_input, "mobilenet_v2.onnx",
input_names=["input"], output_names=["output"],
opset_version=13, do_constant_folding=True
)
关键点在于 opset_version=13 以兼容动态 Shape 支持，并确保所有操作均为静态图可追踪，避免 Python 控制流干扰。
模型量化：精度与性能的平衡
FPGA 资源有限，FP32 模型无法直接运行，必须进行 INT8 量化。这一步对最终精度影响最大。
Vitis AI 采用两阶段流程：先用少量无标签数据统计激活值分布（校准），再根据统计结果确定缩放因子（量化）。
vai_q_onnx quantize \
--model mobilenet_v2.onnx \
--calibration_dataset ./calib_images \
--quant_mode calibrate \
--deploy_model_dir quantized/
初次尝试时若发现 Top-1 精度下降明显，通常是因为校准集太小。建议换成 ImageNet 子集（如 500 张），可将精度损失控制在 2% 以内。
