前言
本项目介绍基于瑞芯微 Rockchip 系列板端开发的个人实战项目，实现基于深度学习的人脸门禁与 IPC 智能安防监控功能，全程满帧流畅运行。项目具备开源代码，可参考后续改进方向。
功能
人脸门禁系统
- 人靠近自动亮屏，人走自动息屏
- 支持人脸识别
- 支持录入人脸，并进行人脸配对（极速配对 < 0.2S）
IPC 智能安防监控系统
- 支持通过 ONVIF 实时查看摄像头画面
- 支持实时目标检测（支持高达 80 种物体检测）
- 支持录像
- 支持检测到人时自动录像
- 支持检测到人时自动报警
用到的硬件
- 野火鲁班猫 4 RK3588S2
- IMX415 800W 4k 摄像头
- RTL8822CE Wifi+BT
- mipi LCD RGB 7 寸 1024×600 触摸屏
- 人体红外检测 SR501：通过 GPIO 读取相应数值，用于判断是否有人靠近
- 128×32 OLED 屏：通过 I2C 通信显示画面内容，用于显示人脸检测结果
- 蓝牙音箱
用到的深度学习模型
- YOLO11：用于实时目标检测
- RetinaFace：用于人脸检测
- FaceNet：用于人脸特征提取
模型需要经过转换和量化，并且进行精度评估。若需了解如何在 Rockchip 平台进行模型转换，建议查阅相关官方文档或技术社区教程。
用到的技术栈
- C++
- RKNN：用于在 Rockchip 上进行 NPU 推理
- FFmpeg：用于音视频编解码，使用了 ffmpeg-rockchip 库进行 MPP 硬件编解码，提高编解码速度
- OpenCV：用于视频帧处理
- LVGL：流行的 GUI 框架
- BlueZ ALSA：用于连接蓝牙音箱并播放音频
- ONVIF：一个流行的 IP 摄像头协议标准，支持在电脑端直接查看摄像头画面，操作摄像头云台等等
线程架构图
这个项目涉及的线程较多，其中包含推理线程池、渲染线程、处理线程等待，使用了原子操作、锁、条件变量等解决了线程同步问题。
线程架构如下图所示：
项目改进
由于是个人项目且时间有限，因此还存在很多可优化空间。
比如在人脸门禁系统中，可以有如下改进：
- 加入 IR 摄像头，进行活体检测
