FPGA 摄像头采集处理显示指南：OV5640 到 HDMI 实时显示

关键技术点

1. 时钟管理 需处理多时钟域，如摄像头输入时钟 (XCLK)、像素时钟 (PCLK) 及 HDMI 串行时钟。合理的约束能确保时序收敛。

2. 跨时钟域同步 在摄像头时钟域与系统时钟域之间，务必使用格雷码或双触发器进行 CDC 同步，防止亚稳态。

3. 内存带宽管理 高分辨率下带宽压力巨大。例如 1080p@60Hz 时，写入与读取带宽均需达到 2.376Gbps，建议选用 DDR3 以上规格。

二、OV5640 摄像头基础知识

2.1 基本特性

OV5640 是一款 500 万像素 CMOS 传感器，支持多种输出格式（YUV422/RGB565/JPEG），最大帧率可达 60fps。其优势在于成本低、资料丰富；劣势则是寄存器配置复杂且对电源噪声敏感。

2.2 引脚定义与功能

• 电源：DVDD(1.8V), AVDD(2.8V), DOVDD(1.8V)。需充分滤波，AVDD 与 DVDD 建议同时上电。
• 时钟：XCLK(外部输入，推荐 24MHz)，PCLK(像素时钟输出)。
• 同步：VSYNC(帧同步，低有效), HREF(行同步，高有效)。
• 数据：Y[9:0] (通常取高 8 位 Y[9:2])。
• 控制：RESETB(复位), PWDN(掉电)。

2.3 工作原理

内部结构包括感光矩阵、模拟前端 (AFE)、ISP 及输出接口。工作流程为：上电复位 → SCCB 配置寄存器 → 感光矩阵采集 → ISP 处理 → DVP 输出。

2.4 SCCB 通信协议

SCCB 类似 I2C，但寻址方式不同（16 位地址）。FPGA 中通常通过状态机生成时序，注意从机应答机制。写操作需先发送高字节地址，再低字节地址，最后数据。

三、摄像头初始化与配置

3.1 上电时序

正确的上电顺序至关重要：

1. 电源稳定后，PWDN 拉低。
2. 等待 5ms，RESETB 拉低至少 1ms。
3. RESETB 拉高，等待 20ms 使 PLL 稳定。
4. 开始配置寄存器。

3.2 关键寄存器配置

常用寄存器包括系统控制 (0x3008)、PLL 控制 (0x3034-0x3037) 及分辨率设置 (0x3808-0x380B)。配置分辨率时需同时调整起始位置与结束位置寄存器。

3.3 SCCB 控制器设计

SCCB 控制器采用状态机实现，包含 IDLE、START、ADDR_H、ADDR_L、DATA、ACK、STOP 等状态。需注意开漏输出驱动及 100kHz 左右的时钟分频。

module sccb_ctrl (
    input clk,
    input rst_n,
    input [15:0] reg_addr,
    input [7:0] reg_data_w,
    output [7:0] reg_data_r,
    input reg_wr,
    input reg_rd,
    output reg_done,
    inout sio_c,
    inout sio_d
);
    // 状态定义
    localparam IDLE = 4'd0;
    localparam START = 4'd1;
    localparam ADDR_H = 4'd2;
    localparam ADDR_L = 4'd3;
    localparam DATA = 4'd4;
    localparam ACK = 4'd5;
    localparam STOP = 4'd6;

    reg [3:0] state, next_state;
    // ... 状态机逻辑 ...
    // 修复后的状态转移示例
    always @(*) begin
        case (state)
            IDLE: if (reg_wr || reg_rd) next_state = START; else next_state = IDLE;
            START: next_state = ADDR_H;
            ADDR_H: next_state = ADDR_L;
            ADDR_L: next_state = (reg_wr) ? DATA : ACK;
            DATA: next_state = ACK;
            ACK: next_state = STOP;
            STOP: next_state = IDLE;
            default: next_state = IDLE;
        endcase
    end
endmodule

四、图像采集模块设计

4.1 DVP 接口详解

DVP 接口提供并行数据流，包含 PCLK、HREF、VSYNC 及 Y 数据。关键在于在 PCLK 上升沿采样数据，并结合 HREF 和 VSYNC 判断数据有效性。

4.2 采集模块 Verilog 实现

module dvp_capture (
    input clk,
    input rst_n,
    input pclk,
    input vsync,
    input href,
    input [9:0] data_in,
    output reg [7:0] data_out,
    output reg data_valid,
    output reg line_valid,
    output reg frame_valid,
    output reg [11:0] pixel_x,
    output reg [11:0] pixel_y
);
    reg vsync_r1, vsync_r2;
    reg href_r1, href_r2;

    // 同步信号
    always @(posedge clk or negedge rst_n) begin
        if (!rst_n) begin
            vsync_r1 <= 1'b1; vsync_r2 <= 1'b1;
            href_r1 <= 1'b0; href_r2 <= 1'b0;
        end else begin
            vsync_r1 <= vsync; vsync_r2 <= vsync_r1;
            href_r1 <= href; href_r2 <= href_r1;
        end
    end

    // 状态机控制
    always @(posedge pclk or negedge rst_n) begin
        if (!rst_n) begin
            frame_valid <= 1'b0; line_valid <= 1'b0;
            pixel_x <= 12'd0; pixel_y <= 12'd0;
        end else begin
            if (!vsync_r2 && !frame_valid) begin
                frame_valid <= 1'b1; pixel_y <= 12'd0;
            end else if (vsync_r2) begin
                frame_valid <= 1'b0; pixel_y <= 12'd0;
            end else if (href_r2) begin
                line_valid <= 1'b1; pixel_x <= pixel_x + 1;
            end else begin
                line_valid <= 1'b0;
                if (pixel_x > 0) begin
                    pixel_y <= pixel_y + 1; pixel_x <= 12'd0;
                end
            end
        end
    end

    // 数据采样
    always @(posedge pclk or negedge rst_n) begin
        if (!rst_n) begin
            data_out <= 8'd0; data_valid <= 1'b0;
        end else begin
            if (href_r2 && frame_valid) begin
                data_out <= data_in[9:2];
                data_valid <= 1'b1;
            end else begin
                data_valid <= 1'b0;
            end
        end
    end
endmodule

4.3 关键设计点

• 时钟域处理：PCLK 与系统时钟不同，需做同步处理。
• 像素计数：利用计数器生成行列坐标，便于后续处理。
• 有效性判断：必须同时满足 VSYNC 低电平、HREF 高电平及 PCLK 上升沿条件。

五、图像处理与缓存

5.1 缓存架构选择

根据分辨率选择合适存储：

• 片内 RAM：适合低分辨率行缓冲，速度快容量小。
• SDRAM：适合 720p 及以下，成本适中。
• DDR3：适合 1080p 及以上，带宽高但控制复杂。

5.2 双端口 RAM 设计

双端口 RAM 允许读写同时进行，是实现双缓冲的关键。端口 A 用于采集写入，端口 B 用于显示读取，两者独立工作避免冲突。

module dual_port_ram #(
    parameter ADDR_WIDTH = 12,
    parameter DATA_WIDTH = 16,
    parameter DEPTH = 4096
) (
    input clk_a, input [ADDR_WIDTH-1:0] addr_a,
    input [DATA_WIDTH-1:0] data_in, input we_a,
    input clk_b, input [ADDR_WIDTH-1:0] addr_b,
    output reg [DATA_WIDTH-1:0] data_out, input re_b
);
    reg [DATA_WIDTH-1:0] mem [0:DEPTH-1];
    always @(posedge clk_a) if (we_a) mem[addr_a] <= data_in;
    always @(posedge clk_b) if (re_b) data_out <= mem[addr_b];
endmodule

5.3 图像处理基础

常见操作包括 YUV422 转 RGB565、图像缩放及滤波。色彩空间转换需注意定点数运算精度及限幅处理。

module yuv422_to_rgb565 (
    input clk, input [7:0] y, u, v,
    output [15:0] rgb565
);
    wire [15:0] r, g, b;
    assign r = (y + ((v - 8'd128) * 9'd179) >> 8);
    assign g = (y - (((u - 8'd128) * 9'd44) >> 8) - (((v - 8'd128) * 9'd91) >> 8));
    assign b = (y + ((u - 8'd128) * 9'd227) >> 8);
    wire [7:0] r_clamp = (r > 255) ? 8'd255 : (r < 0) ? 8'd0 : r[7:0];
    wire [7:0] g_clamp = (g > 255) ? 8'd255 : (g < 0) ? 8'd0 : g[7:0];
    wire [7:0] b_clamp = (b > 255) ? 8'd255 : (b < 0) ? 8'd0 : b[7:0];
    assign rgb565 = {r_clamp[7:3], g_clamp[7:2], b_clamp[7:3]};
endmodule

六、HDMI 显示输出

6.1 VGA 时序基础

HDMI 兼容 VGA 时序。以 1280×720@60Hz 为例，像素时钟 74.25MHz，水平总周期 1650，垂直总行数 750。需精确计算 HFP、HSW、HBP 及 VFP、VSW、VBP。

6.2 HDMI 驱动设计

HDMI 驱动包含时序生成、TMDS 编码及差分驱动。TMDS 将 8bit 数据编码为 10bit，最小化信号跳变并保持直流平衡。

6.3 VGA 时序生成器

module vga_timing_gen #(
    parameter H_TOTAL = 1650, H_ACTIVE = 1280, H_FP = 110, H_SYNC = 40,
    parameter V_TOTAL = 750, V_ACTIVE = 720, V_FP = 5, V_SYNC = 5
) (
    input clk, input rst_n,
    output reg hsync, vsync,
    output reg [11:0] pixel_x, pixel_y,
    output reg data_valid
);
    reg [11:0] h_counter, v_counter;
    always @(posedge clk or negedge rst_n)
        if (!rst_n) h_counter <= 0;
        else if (h_counter == H_TOTAL - 1) h_counter <= 0;
        else h_counter <= h_counter + 1;

    always @(posedge clk or negedge rst_n)
        if (!rst_n) v_counter <= 0;
        else if (h_counter == H_TOTAL - 1)
            if (v_counter == V_TOTAL - 1) v_counter <= 0;
            else v_counter <= v_counter + 1;

    always @(posedge clk or negedge rst_n)
        if (!rst_n) hsync <= 1'b1;
        else if (h_counter >= (H_ACTIVE + H_FP) && h_counter < (H_ACTIVE + H_FP + H_SYNC)) hsync <= 1'b0;
        else hsync <= 1'b1;

    always @(posedge clk or negedge rst_n)
        if (!rst_n) vsync <= 1'b1;
        else if (v_counter >= (V_ACTIVE + V_FP) && v_counter < (V_ACTIVE + V_FP + V_SYNC)) vsync <= 1'b0;
        else vsync <= 1'b1;

    always @(posedge clk or negedge rst_n)
        if (!rst_n) begin pixel_x <= 0; pixel_y <= 0; data_valid <= 1'b0; end
        else begin
            pixel_x <= h_counter; pixel_y <= v_counter;
            if (h_counter < H_ACTIVE && v_counter < V_ACTIVE) data_valid <= 1'b1;
            else data_valid <= 1'b0;
        end
endmodule

七、实战案例与最佳实践

7.1 系统集成

顶层模块需实例化各子模块，统一时钟与复位信号。注意 SDRAM 控制器的刷新时序及 HDMI 差分对的阻抗匹配。

7.2 调试技巧

常见问题排查：

1. 无图像：检查电源电压、XCLK 频率及复位时序。
2. 花屏/撕裂：确认双缓冲切换时机，避免读写冲突。
3. 无 HDMI 信号：验证 TMDS 编码及差分线连接质量。

工具推荐：

• 逻辑分析仪：抓取 SCCB 及 DVP 时序。
• 示波器：测量 HDMI 差分信号幅度。
• 仿真工具：ModelSim/Vivado 验证逻辑正确性。

7.3 性能优化

• 带宽优化：减少随机访问，使用行缓冲批量读写。
• 延迟优化：流水线设计，采集、处理、显示并行。
• 功耗优化：时钟门控，动态调整频率。

总结

本文梳理了 FPGA 视频系统的完整链路。核心在于理解传感器时序、合理设计缓存架构以及严格把控 HDMI 信号质量。建议从低分辨率起步，逐步增加复杂度，并在 RTL 阶段充分仿真，以降低硬件调试风险。