嵌入式 Linux 实战：基于泰山派的 AI 网络摄像头

将 librockit.so 拷贝到板端 /usr/lib，可执行文件拷贝到板端运行。

2.2 RKNN

RKNN 是将 AI 模型部署到板端的软件栈。

所需组件：

1. rknn-toolkit2：用于模型转换、推理评估。
2. rknn_model_zoo：包含 YOLOv5 等算法例程。

构建项目所需资源：

• 模型文件：yolov5s_relu.rknn 和标签文件 coco_80_labels_list.txt
• 依赖库：librga.so, librknnrt.so, libturbojpeg.a
• 头文件：utils, 3rdparty/librga, 3rdparty/rknpu2 等目录下的文件。

2.3 ZLMediaKit

用于视频推流。

修改 CMakeLists.txt 指定交叉编译器：

set(CMAKE_C_COMPILER <sdk_path>/host/bin/aarch64-buildroot-linux-gnu-gcc)
set(CMAKE_CXX_COMPILER <sdk_path>/host/bin/aarch64-buildroot-linux-gnu-g++)

编译后获取 release/linux/Debug/libmk_api.so 及 api/include 头文件。

3. 板端静态 IP 配置

推流使用网线连接，需设置板子 IP 与电脑在同一网段。

ifconfig eth0 up
ifconfig eth0 192.168.1.100 netmask 255.255.255.0

可将配置写入 /etc/init.d/rcS 实现开机自动配置。

三、代码实现

1. CMake 项目构建

整理好依赖库、头文件和源码后，配置 CMakeLists.txt。

cmake_minimum_required(VERSION 3.10)
PROJECT(rk_cmake_project)
set(CMAKE_CXX_STANDARD 11)
set(CMAKE_CXX_STANDARD_REQUIRED True)

# 指定交叉编译器
set(CMAKE_C_COMPILER <sdk_path>/host/bin/aarch64-buildroot-linux-gnu-gcc)
set(CMAKE_CXX_COMPILER <sdk_path>/host/bin/aarch64-buildroot-linux-gnu-g++)

include_directories(
    ${CMAKE_SOURCE_DIR}/include/mpi/example
    ${CMAKE_SOURCE_DIR}/include/mpi/sdk
    ${CMAKE_SOURCE_DIR}/include/rknn/rknpu2
    ${CMAKE_SOURCE_DIR}/include/ZLMediaKit
)

link_directories(${CMAKE_SOURCE_DIR}/lib)
add_executable(rk_cmake_project src/main.cpp src/rk_mpi.cpp ...)
target_link_libraries(rk_cmake_project pthread rockit rt_test_comm opencv_core rknnrt mk_api)

2. 具体代码实现

代码结构由主线程和两个线程池组成：视频捕获任务、YOLOv5 推理任务、编码及推流任务。

需修改两处配置：

1. src/main.c 中设置 mode_path 为板子上 RKNN 模型位置。
2. src/postprocess.cc 中设置 LABEL_NALE_TXT_PATH 为标签文件位置。

2.1 视频捕获任务

使用 RK_MPI_VI_GetChnFrame 捕获帧，转换为 image_buffer_t 格式后送入推理队列。

void capture_task(){
    VIDEO_FRAME_INFO_S stViFrame;
    RK_S32 s32Ret = RK_MPI_VI_GetChnFrame(0, 0, &stViFrame, -1);
    if(s32Ret == RK_SUCCESS){
        // 转换数据格式...
        rknnPool.enqueue(rknn_task, src_image);
    }
    RK_MPI_VI_ReleaseChnFrame(0, 0, &stViFrame);
}

2.2 YOLOv5 推理任务

接收 YUV420SP 格式图像，通过 RKNN 进行推理，绘制检测框，转换为 RGB888 格式后送入编码队列。

void rknn_task(image_buffer_t src_image){
    object_detect_result_list od_results;
    inference_yolov5_model(&rknn_app_ctx, &src_image, &od_results);
    // 绘制结果...
    cv::Mat yuv420sp(...);
    cv::Mat frame(height, width, CV_8UC3);
    cv::cvtColor(yuv420sp, frame, cv::COLOR_YUV420sp2BGR);
    h264encPool.enqueue(encode_task, frame);
}

2.3 编码以及推流任务

调用 RK_MPI_VENC_SendFrame 发送原始图像进行硬件编码，获取码流后通过 ZLMediaKit 推流。

void encode_task(cv::Mat frame){
    // 添加 FPS 信息...
    RK_MPI_VENC_SendFrame(0, &h264_frame, -1);
    RK_MPI_VENC_GetStream(0, &stFrame, -1);
    
    // 推流
    void* pData = RK_MPI_MB_Handle2VirAddr(stFrame.pstPack->pMbBlk);
    uint32_t len = stFrame.pstPack->u32Len;
    int64_t timestamp = ...;
    mk_frame frame = mk_frame_create(MKCodecH264, timestamp, timestamp, (char*)pData, (size_t)len, NULL, NULL);
    mk_media_input_frame(media, frame);
    mk_frame_unref(frame);
    
    RK_MPI_VENC_ReleaseStream(0, &stFrame);
}

3. 交叉编译项目并拷贝到板端执行

修改 CMakeLists.txt 中的编译器路径，进入 build 目录编译。

运行前确保：

1. 所有 .so 动态库已拷贝至板端 /usr/lib。
2. 模型和标签文件已拷贝且路径正确。
3. 板子 IP 设置正确。

在电脑端使用 VLC 播放器打开网络串流，输入 URL：rtsp://<board_ip>:8554/live/camera。

四、总结

本项目实现了基于 RK3566 的摄像头实时采集、YOLOv5 目标检测、硬件编码及 RTSP 推流功能。该架构可扩展应用于车牌识别、人脸识别门禁等场景。