基于FPGA机器视觉缺陷检测 实现铝片表面四种缺陷的检测 包含源码和端测文件 使用SSD-Mo...

基于FPGA机器视觉缺陷检测 实现铝片表面四种缺陷的检测 包含源码和端测文件 使用SSD-MobileNetV1模型，识别精度达到85%以上。

基于 FPGA 的金属表面缺陷检测系统

——功能全景与技术流程深度解析

（核心代码脱敏版）

------------------------------------------------

一、定位与目标

1. 业务痛点
   铝带轧制现场对“零漏检、低过杀、实时性”有刚性需求；传统 AOI 无法在 1.1 fps@400×320 分辨率下同时保证 mAP≥85%。
2. 系统目标
   在 Cyclone-V SoC FPGA 上实现“端到端”缺陷检测：
   - 检测类：划痕、辊印、脏污、针孔 4 类缺陷
   - 指标：mAP ≥ 85%，帧率 ≥ 1 fps，单帧端到端延迟 ≤ 950 ms
   - 运维：一键启停、无僵尸进程、热升级模型 ≤ 30 s

------------------------------------------------

二、整体架构（逻辑视图）

┌---------------┐ ┌----------------┐ ┌---------------┐

虚拟摄像头 → FPGA 采集 → DDR3 帧缓存 → ARM 推理 → FPGA 显示 → 虚拟 HDMI

└---------------┘ └----------------┘ └---------------┘

▲ │ ▲ │

│ └------- Avalon-MM ----┘ │

└----------- Linux 多进程 -------┘

关键约束：

• 采集与显示必须跑在 PL 侧 50 MHz 域，保证 400×320@24 bit 带宽 ≤ 120 MB/s
• 推理必须跑在 HPS 侧，借助 Paddle-Lite NNA 驱动，8-bit 量化模型 ≤ 8 MB

------------------------------------------------

三、数据流与模块职责

1. 图像采集通路（DVP → DDR3）
   功能：把并行的 DVP 时序转化为 Avalon-MM 突发写，支持帧缓存双缓冲。
   关键技术：
   - 128 bit 位宽突发，长度 48，理论峰值 300 MB/s，实际 120 MB/s 稳态
   - 异步 FIFO 隔离 27 MHz 摄像头像素时钟与 50 MHz 总线时钟
   - 写地址自动回卷，防止越界
2. 帧缓存管理（DDR3 环形队列）
   逻辑视图：
   [ 帧 N-1 ][ 帧 N ][ 帧 N+1 ]
   ^读出指针 ^写入指针
   实现：
   - 内核驱动 mmap 三段连续物理内存（每段 400×320×3 B）
   - 用户态通过 ioctl 获取总线地址，配置 FPGA 寄存器
   - 读写指针通过共享内存 32-bit 寄存器同步，CPU 侧使用 sync_synchronize() 保证内存序
3. 推理调度（Linux 多进程）
   进程拓扑：
   ssdstart.sh（顶层）
   ├─ ssdtransfer（I/O 进程）
   └─ ssd_detection（推理进程）

同步原语：

• 共享内存寄存器 0：状态机（0=idle，1=待推理，2=推理中，3=完成）
• 寄存器 1：安全退出标志（0xDEADBEEF）
• 信号量：POSIX unnamed semaphore，用于乒乓缓冲区分时访问

状态机时序（单帧）：

基于FPGA机器视觉缺陷检测 实现铝片表面四种缺陷的检测 包含源码和端测文件 使用SSD-MobileNetV1模型，识别精度达到85%以上。

1) transfer 把“帧 N”写入 DDR3 后，将寄存器 0 置 1

2) detection 轮询到 1，置 2，读取 bmp 文件，调用 Paddle-Lite，写回结果 bmp

3) detection 置 3，transfer 把结果搬运到显示缓冲区，置 0

4) 任何一方读到寄存器 1 == 0xDEADBEEF，立即进入清理函数，exit(0)

1. 显示通路（DDR3 → VGA）
   - 读取侧采用 64 bit 位宽，突发长度 32，保证 60 Hz 刷新无撕裂
   - 支持“在线/离线”两种模式：离线时直接显示原图，在线时叠加矩形框+类别文本
   - OSD 颜色查找表（CLUT）用 8 bit 索引，节省 BRAM（256×24 bit）

------------------------------------------------

四、模型与推理引擎

1. 模型选择
   SSD-MobileNetV1 理由：
   - 全精度 mAP 90.2%，8 bit 量化后 85.52%，满足指标
   - 参数量 4.3 MB，计算量 569 MMAC，适合 Cyclone-V 内置 NNA 50 GOPS 算力
2. 量化流程
   PaddleSlim → 离线量化（KL 散度校准）→ 生成 .nb 文件
   注意：
   - 输入节点保持 uint8 0-255，mean=[123.675,116.28,103.53]，scale=1/255
   - NMS 阈值 0.45，置信度阈值 0.6，4 类缺陷 anchor 采用 k-means 聚类（512×512 原图）
3. 运行时优化
   - 采用 Paddle-Lite 的 “light_api” 模式，静态图、零拷贝输入
   - 把 model.nb 放入 ext4 分区，mmap 后常驻内存，避免频繁 open
   - 线程绑定：big-core 0，关闭 dvfs，频率锁定 800 MHz

------------------------------------------------

五、可靠性设计

1. 零僵尸进程
   - 顶层脚本捕获 SIGINT，向共享内存写“安全退出”魔法数
   - 子进程 epoll 监听 stdin，非阻塞轮询，保证 100 ms 内响应退出
   - 使用 waitpid(-1, &status, 0) 收割所有子进程
2. 双缓冲乒乓机制
   - 采集/显示/推理三速不匹配时，自动丢帧（不阻塞采集）
   - 用户可通过 /proc 节点查看丢帧计数，用于在线调优
3. 热升级
   - 模型文件采用版本号命名，transfer/detection 通过 inotify 监听目录
   - 旧模型推理完成后，原子替换指针，无需重启系统

------------------------------------------------

六、性能基线与实测

场景：400×320×24 bit 图像，121 张连续样本

• 前处理（色域转换 + letterbox）：29.2 ms
• 推理（NNA）：672 ms（均值，σ=87 ms）
• 后处理（NMS + 画框）：7.9 ms
• 端到端：≈ 709 ms → 帧率 1.41 fps，满足 ≥ 1 fps 需求

DDR3 带宽占用：

• 写通道：120 MB/s 稳态
• 读通道：60 MB/s（显示）+ 120 MB/s（推理读图）= 180 MB/s
• 总带宽 300 MB/s，占 Cyclone-V 可用 4.2 GB/s 的 7%，余量充足

------------------------------------------------

七、部署与运维一键命令

sudo /opt/paddleframe/ssdstart.sh

查看实时帧率

watch -n 1 cat /proc/ssd/stat

热替换模型（不重启）

cp ssdv2.nb /opt/paddleframe/model.nb

优雅退出

Ctrl-C 后等待 3 s，htop 确认无残留“ssd”进程

------------------------------------------------

八、后续可扩展方向

1. 多通道：利用 FPGA 剩余 LUT 复制 2 路 DVP 接口，实现双工位检测
2. 模型升级：替换为 PP-YOLO-Tiny，mAP 提升 3%，推理降至 450 ms
3. 压缩流：在 FPGA 端做 JPEG-LS 压缩，DDR 带宽降低 50%，可换更低速 DDR3
4. 容器化：用 Docker 封装推理进程，实现 OTA 差分升级，30 s 内完成

------------------------------------------------

结语

本系统通过“FPGA 硬实时采集 + ARM 轻量推理 + 共享内存零拷贝”三位一体设计，在资源受限的 Cyclone-V SoC 上达成工业级缺陷检测需求；配套的多进程守护与热升级机制，使现场运维成本接近“零按钮”体验。该架构已在小批量产线验证，可直接平移至同系列 Cyclone-V SX 或 SE 器件，为低成本 AI 质检提供可复制、可落地的参考范式。