RV1106 基于 libdatachannel 的 4G WebRTC 实时视频传输方案

3. RV1106 端核心代码（视频采集 + WebRTC 推流）

这里的核心在于将 V4L2 采集的 YUV 数据通过 RK MPI 编码为 H.264，再封装成 RTP 包发送。注意 videoThreadFunc 中的循环逻辑，实际运行时需确保缓冲区管理正确。

#include <rtc/rtc.hpp>
#include <thread>
#include <fcntl.h>
#include <sys/ioctl.h>
#include <linux/videodev2.h>
#include "rk_mpi.h" // 瑞芯微硬件编码接口

// 全局变量
int camera_fd;
MppCtx encoder;
std::unique_ptr<rtc::PeerConnection> peerConnection;
std::unique_ptr<rtc::Track> videoTrack;

// 1. 初始化摄像头（V4L2）
bool initCamera(const char* dev = "/dev/video0") {
    camera_fd = open(dev, O_RDWR);
    if (camera_fd < 0) return false;
    // 配置摄像头（1280x720，YUV420 格式）
    struct v4l2_format fmt;
    fmt.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
    fmt.fmt.pix.width = 1280;
    fmt.fmt.pix.height = 720;
    fmt.fmt.pix.pixelformat = V4L2_PIX_FMT_YUV420;
    return ioctl(camera_fd, VIDIOC_S_FMT, &fmt) == 0;
}

// 2. 初始化硬件编码器（H.264）
bool initEncoder() {
    RKMEDIA_Init();
    MppCtx ctx;
    mpp_create(&ctx, MPP_CTX_ENC, MPP_CODEC_ID_H264);
    encoder = ctx;
    return encoder != nullptr;
}

// 3. 视频采集与推流线程
void videoThreadFunc() {
    struct v4l2_buffer buf;
    memset(&buf, 0, sizeof(buf));
    buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
    buf.memory = V4L2_MEMORY_MMAP;
    while (true) {
        // 采集 YUV 帧
        ioctl(camera_fd, VIDIOC_DQBUF, &buf);
        
        void* yuv_data = mmap(nullptr, buf.length, PROT_READ, MAP_SHARED, camera_fd, buf.m.offset);
        
        // 硬件编码为 H.264 NAL 单元
        MppPacket packet;
        mpp_encode(encoder, yuv_data, buf.length, &packet);
        
        // 封装为 RTP 包并通过 libdatachannel 发送
        rtc::Buffer nal((uint8_t*)packet->data, packet->size);
        videoTrack->send(nal, rtc::MediaPacketFlag::KeyFrame);
        
        // 清理资源
        munmap(yuv_data, buf.length);
        ioctl(camera_fd, VIDIOC_QBUF, &buf);
        usleep(40000); // 25fps
    }
}

// 4. 初始化 WebRTC（NAT 穿透配置）
void initWebRTC() {
    // 配置 STUN/TURN 服务器（NAT 穿透核心）
    rtc::Configuration config;
    config.iceServers = {
        "stun:stun.aliyun.com:3478", // 阿里云 STUN（获取公网地址）
        "turn:123.45.67.89:3478?username=rv1106&password=123456" // 自建 TURN（中继）
    };
    config.iceTransports = rtc::IceTransportPolicy::All; // 允许所有传输方式
    
    peerConnection = rtc::make_unique<rtc::PeerConnection>(config);
    videoTrack = peerConnection->addTrack(rtc::MediaKind::Video);
    
    // 生成 SDP Offer 并发送给信令服务器
    peerConnection->onLocalDescription([](const rtc::Description& desc) {
        std::string offer = desc.sdp();
        sendToSignalingServer(offer); // 假设已有此函数
    });
    
    // 接收客户端的 SDP Answer
    onSignalingMessage([&](const std::string& answer) {
        peerConnection->setRemoteDescription(rtc::Description(answer, "answer"));
    });
    
    // 监听 ICE 连接状态
    peerConnection->onStateChange([](rtc::PeerConnection::State state) {
        if (state == rtc::PeerConnection::State::Connected) {
            printf("P2P 连接成功！\n");
        }
    });
    
    // 启用 ICE 续活（维持 NAT 映射）
    peerConnection->setKeepAliveInterval(30); // 30 秒心跳
}

int main() {
    if (!initCamera() || !initEncoder()) {
        printf("摄像头或编码器初始化失败！\n");
        return -1;
    }
    initWebRTC();
    
    // 启动视频推流线程
    std::thread videoThread(videoThreadFunc);
    videoThread.join();
    return 0;
}

4. 客户端代码（浏览器观看）

前端部分主要处理 SDP 交换和媒体流渲染。注意 iceServers 配置需与服务端保持一致。

<video id="remoteVideo" autoplay playsinline></video>
<script>
    // 初始化 WebRTC 连接
    const pc = new RTCPeerConnection({
        iceServers: [
            { urls: "stun:stun.aliyun.com:3478" },
            { urls: "turn:123.45.67.89:3478", username: "rv1106", credential: "123456" }
        ]
    });

    // 接收视频流并播放
    pc.ontrack = (e) => {
        document.getElementById("remoteVideo").srcObject = e.streams[0];
    };

    // 从信令服务器获取 RV1106 的 SDP Offer
    fetch("/get-offer").then(async (res) => {
        const offer = await res.json();
        await pc.setRemoteDescription(new RTCSessionDescription(offer));
        
        // 生成 Answer 并发送给 RV1106
        const answer = await pc.createAnswer();
        await pc.setLocalDescription(answer);
        fetch("/send-answer", {
            method: "POST",
            body: JSON.stringify(answer)
        });
    });
</script>

5. NAT 穿透关键配置说明

• STUN 服务器：用于获取 RV1106 的公网 IP 和端口（如阿里云 stun.aliyun.com:3478），解决简单 NAT 穿透。
• TURN 服务器：自建 coturn 服务器（部署在公网云服务器），当 STUN 失败时中继数据，支持 4G 对称型 NAT。
• ICE 续活：通过 setKeepAliveInterval(30) 定期发送心跳，维持 NAT 映射不失效。

编译与运行

1. 推送至 RV1106：scp webrtc_streamer [email protected]:/usr/bin/
2. 运行：./webrtc_streamer，客户端打开 HTML 页面即可观看。

编译 RV1106 程序命令：

arm-rockchip830-linux-uclibcgnueabihf-g++ main.cpp -o webrtc_streamer \
    -I/opt/libdatachannel-arm/include -I/opt/openssl-arm/include \
    -L/opt/libdatachannel-arm/lib -L/opt/openssl-arm/lib \
    -ldatachannel -lssl -lcrypto -lpthread -lm

问题排查

• NAT 穿透失败：检查 STUN/TURN 服务器配置，用 stunclient 和 turnutils 工具验证服务器可用性。
• 视频卡顿：降低码率（如 1Mbps）、调整帧率（15fps），确保 4G 带宽适配。
• 连接断连：启用 ICE 续活，检查 4G 信号强度，避免 NAT 映射超时。

通过以上方案，可在 RV1106 上实现轻量级 WebRTC 视频传输，客户端实时观看延迟控制在 300ms 以内，适合嵌入式监控场景。