FPGA 摄像头采集与 HDMI 显示实战：OV5640 驱动及 Verilog 实现

1.3 设计流程与关键技术点

设计流程

1. 需求分析：确定分辨率和帧率，选择摄像头型号，评估 FPGA 资源。
2. 硬件设计：摄像头接口设计，电源管理设计，时钟分配设计，显示接口设计。
3. 软件设计：摄像头驱动开发，图像采集模块，缓存管理，显示驱动。
4. 集成与调试：模块集成，时序验证，功能测试，性能优化。
5. 部署与维护：系统集成，可靠性测试，文档完善。

关键技术点

1. 时钟管理 关键时钟信号包括摄像头输入时钟 (XCLK): 24MHz，像素时钟 (PCLK)，HDMI 像素时钟 (148.5MHz@1080p)。时钟约束示例如下：

create_clock -period 10.000 -name clk_sys [get_ports sys_clk]
create_generated_clock -name clk_hdmi \
-source [get_pins pll_inst/CLKIN1] \
-multiply_by 3 \
[get_pins pll_inst/CLKOUT0]

2. 跨时钟域同步 摄像头时钟域 (PCLK) 与系统时钟域 (sys_clk) 之间需使用 CDC 同步器（如双触发器）进行同步，再进入 HDMI 时钟域。关键是要使用格雷码或双触发器避免亚稳态。

3. 内存带宽管理 写入带宽 = PCLK × 16bit，读取带宽 = clk_hdmi × 16bit。例如 1080p@60Hz 时，读写均为 2.376Gbps，需要 DDR3-1600 以上支持。

常见设计挑战

OV5640 摄像头基础知识

2.1 OV5640 摄像头概述

OV5640 是豪威 (OmniVision) 公司推出的一款高性能 CMOS 图像传感器，广泛应用于监控、手机等消费电子产品。

主要特性：

**优势：**分辨率高、功能完整、支持多种输出格式、成本相对较低。 **劣势：**寄存器众多、初始化时间较长、对电源噪声敏感。

2.2 OV5640 引脚定义与功能

OV5640 采用 CSP 封装，共有 60 个引脚。主要引脚如下：

• 电源引脚：DVDD(1.8V)、AVDD(2.8V)、DOVDD(1.8V)。
• 时钟引脚：XCLK(外部时钟输入 24MHz)、PCLK(像素时钟输出)。
• 同步信号：VSYNC(帧同步)、HREF(行同步)。
• 数据引脚：Y[9:0](10 位像素数据，通常使用 Y[9:2])。
• 控制引脚：RESETB(复位)、PWDN(掉电)。
• 通信引脚：SIO_C(SCCB 时钟)、SIO_D(SCCB 数据)。

关键引脚详解

1. 电源引脚 DVDD 和 AVDD 需要分别滤波，建议同时上电。DOVDD 用于驱动输出信号。

2. 时钟引脚 XCLK 必须稳定，抖动 < 100ps。PCLK 由内部 PLL 生成，需在 FPGA 中采样。

3. 同步信号 VSYNC 低电平表示帧有效，周期为 1/帧率。HREF 高电平表示行有效。

4. 控制引脚 RESETB 低电平复位芯片，上升沿后需等待 20ms 才能配置。PWDN 高电平进入低功耗模式。

2.3 OV5640 工作原理

内部结构包括感光矩阵、模拟前端 (AFE)、ISP(图像信号处理)、格式转换及输出接口。工作流程为上电初始化 -> 寄存器配置 -> 图像采集 -> 数据输出。

2.4 SCCB 通信协议

SCCB 是豪威定义的摄像头控制总线，与 I2C 类似但不完全兼容。OV5640 使用 16 位地址。

写操作时序： START → SLAVE_ADDR(0x78) → ACK → H_ADDR → ACK → L_ADDR → ACK → DATA → ACK → STOP

读操作时序： START → SLAVE_ADDR(0x78) → ACK → H_ADDR → ACK → L_ADDR → ACK → START → SLAVE_ADDR(0x79) → ACK → DATA → NACK → STOP

摄像头初始化与配置

3.1 OV5640 上电时序

正确的上电时序至关重要。不正确的时序可能导致芯片无法工作。

上电时序流程：

1. 电源上电 (DVDD, AVDD, DOVDD)。
2. 5ms 后 PWDN 拉低 (退出低功耗)。
3. 10ms 后 RESETB 拉低 (复位芯片，保持至少 1ms)。
4. RESETB 拉高，等待 20ms 让 PLL 稳定。
5. 开始配置寄存器。

FPGA 实现示例：

always @(posedge clk) begin
    if (power_on_counter < 32'd5_000_000) begin
        pwdn <= 1'b1; // 保持低功耗
        power_on_counter <= power_on_counter + 1;
    end else begin
        pwdn <= 1'b0; // 退出低功耗
    end
end

3.2 OV5640 关键寄存器配置

常用寄存器包括 SYSTEM_CTRL0(0x3008)、PLLL_CTRL0(0x3034) 等。分辨率配置主要通过 0x3808-0x380B 设置输出大小，0x3800-0x3807 设置时序。

640×480@30fps 配置示例：

0x3808 = 0x02, 0x3809 = 0x80 (宽度 640)
0x380a = 0x01, 0x380b = 0xe0 (高度 480)
0x4300 = 0x30 (YUV422 输出)

3.3 SCCB 控制器设计

SCCB 控制器负责生成时序信号并实现寄存器读写。状态机通常包含 IDLE, START, ADDR_H, ADDR_L, DATA, ACK, STOP 等状态。

Verilog 实现框架：

module sccb_ctrl (
    input clk,
    input rst_n,
    input [15:0] reg_addr,
    input [7:0] reg_data_w,
    output [7:0] reg_data_r,
    input reg_wr,
    input reg_rd,
    output reg_done,
    inout sio_c,
    inout sio_d
);
    localparam IDLE = 4'd0, START = 4'd1, ADDR_H = 4'd2;
    localparam ADDR_L = 4'd3, DATA = 4'd4, ACK = 4'd5, STOP = 4'd6;
    reg [3:0] state, next_state;
    // ... 状态机逻辑 ...
    assign sio_c = (state == IDLE) ? 1'bz : 1'b0;
    assign sio_d = (state == IDLE) ? 1'bz : 1'b0;
endmodule

图像采集模块设计

4.1 DVP 接口详解

DVP(Digital Video Port) 是并行数据输出接口。特点包括并行传输、同步时序信号 (PCLK, HREF, VSYNC)。

DVP 信号定义：

• PCLK：像素时钟，用于同步数据采样。
• VSYNC：帧同步，低电平表示帧有效。
• HREF：行同步，高电平表示行有效。
• Y[9:0]：像素数据，通常在 PCLK 上升沿采样。

4.2 图像采集模块设计

采集模块需检测帧同步和行同步，并进行像素计数。

Verilog 实现：

module dvp_capture (
    input clk,
    input rst_n,
    input pclk,
    input vsync,
    input href,
    input [9:0] data_in,
    output reg [7:0] data_out,
    output reg data_valid,
    output reg line_valid,
    output reg frame_valid,
    output reg [11:0] pixel_x,
    output reg [11:0] pixel_y
);
    localparam IDLE = 2'd0, FRAME_ACTIVE = 2'd1, LINE_ACTIVE = 2'd2;
    reg [1:0] state;
    reg vsync_r1, vsync_r2;
    reg href_r1, href_r2;

    always @(posedge clk or negedge rst_n) begin
        if (!rst_n) begin
            vsync_r1 <= 1'b1; vsync_r2 <= 1'b1;
            href_r1 <= 1'b0; href_r2 <= 1'b0;
        end else begin
            vsync_r1 <= vsync; vsync_r2 <= vsync_r1;
            href_r1 <= href; href_r2 <= href_r1;
        end
    end

    always @(posedge pclk or negedge rst_n) begin
        if (!rst_n) begin
            state <= IDLE; frame_valid <= 1'b0;
        end else begin
            case (state)
                IDLE: if (!vsync) begin state <= FRAME_ACTIVE; frame_valid <= 1'b1; end
                FRAME_ACTIVE: if (vsync) begin state <= IDLE; frame_valid <= 1'b0; end
                    else if (href) begin line_valid <= 1'b1; pixel_x <= pixel_x + 1; end
                    else begin line_valid <= 1'b0; if (pixel_x > 0) begin pixel_y <= pixel_y + 1; pixel_x <= 12'd0; end end
                default: state <= IDLE;
            endcase
        end
    end

    always @(posedge pclk or negedge rst_n) begin
        if (!rst_n) begin data_out <= 8'd0; data_valid <= 1'b0; end
        else begin
            if (href && frame_valid) begin
                data_out <= data_in[9:2];
                data_valid <= 1'b1;
            end else begin data_valid <= 1'b0; end
        end
    end
endmodule

4.3 采集模块时序控制

需注意时钟域处理，使用 CDC 同步 VSYNC 和 HREF。像素计数逻辑在 HREF 高电平时计数，下降沿行计数 +1，VSYNC 下降沿帧计数 +1。

图像处理与缓存

5.1 图像缓存设计

缓存用于解决采集和显示速率不匹配，支持双缓冲显示。

缓存大小计算： 单帧大小 = 分辨率 × 像素深度。例如 1280×720@60fps，单帧约 1.8MB，双缓冲需 3.6MB。

缓存架构选择：

• 片内 RAM：速度快但容量小，适合低分辨率。
• SDRAM：容量大成本低，适合中等分辨率。
• DDR3：带宽高性能好，适合高分辨率。

5.2 双端口 RAM 设计

双端口 RAM 允许同时进行读写操作，是 FPGA 图像处理的关键组件。

Verilog 实现：

module dual_port_ram #(
    parameter ADDR_WIDTH = 12,
    parameter DATA_WIDTH = 16,
    parameter DEPTH = 4096
) (
    input clk_a, input [ADDR_WIDTH-1:0] addr_a, input [DATA_WIDTH-1:0] data_in, input we_a,
    input clk_b, input [ADDR_WIDTH-1:0] addr_b, output reg [DATA_WIDTH-1:0] data_out, input re_b
);
    reg [DATA_WIDTH-1:0] mem [0:DEPTH-1];
    always @(posedge clk_a) if (we_a) mem[addr_a] <= data_in;
    always @(posedge clk_b) if (re_b) data_out <= mem[addr_b];
endmodule

5.3 SDRAM 控制器设计

SDRAM 控制器需处理 ACTIVE, READ/WRITE, PRECHARGE 命令。简化实现需分解地址为 Bank, Row, Col。

5.4 图像处理基础

常见操作包括格式转换 (YUV422→RGB565)、缩放、滤波等。

YUV422 到 RGB565 转换：

module yuv422_to_rgb565 (
    input clk, input [7:0] y, input [7:0] u, input [7:0] v,
    output [15:0] rgb565
);
    wire [15:0] r, g, b;
    assign r = (y + ((v - 8'd128) * 9'd179) >> 8);
    assign g = (y - (((u - 8'd128) * 9'd44) >> 8) - (((v - 8'd128) * 9'd91) >> 8));
    assign b = (y + ((u - 8'd128) * 9'd227) >> 8);
    wire [7:0] r_clamp = (r > 255) ? 8'd255 : (r < 0) ? 8'd0 : r[7:0];
    wire [7:0] g_clamp = (g > 255) ? 8'd255 : (g < 0) ? 8'd0 : g[7:0];
    wire [7:0] b_clamp = (b > 255) ? 8'd255 : (b < 0) ? 8'd0 : b[7:0];
    assign rgb565 = {r_clamp[7:3], g_clamp[7:2], b_clamp[7:3]};
endmodule

HDMI 显示输出

6.1 VGA 时序基础

VGA 时序包含水平同步 (HSYNC)、垂直同步 (VSYNC)、像素时钟 (PCLK)。

1280×720@60Hz 时序参数：

• 像素时钟：74.25MHz
• 水平总像素：1650 (有效 1280, HFP 110, HSW 40, HBP 220)
• 垂直总行数：750 (有效 720, VFP 5, VSW 5, VBP 20)

6.2 HDMI 驱动设计

HDMI 接口支持高分辨率，信号包括 TMDS 差分视频信号、音频信号及控制信号。

6.3 VGA 时序生成器

通过计数器生成 HSYNC 和 VSYNC 信号。

Verilog 实现：

module vga_timing_gen #(
    parameter H_TOTAL = 1650, H_ACTIVE = 1280, H_FP = 110, H_SYNC = 40,
    parameter V_TOTAL = 750, V_ACTIVE = 720, V_FP = 5, V_SYNC = 5
) (
    input clk, input rst_n,
    output reg hsync, output reg vsync,
    output reg [11:0] pixel_x, output reg [11:0] pixel_y,
    output reg data_valid
);
    reg [11:0] h_counter, v_counter;
    always @(posedge clk or negedge rst_n) begin
        if (!rst_n) h_counter <= 0;
        else if (h_counter == H_TOTAL - 1) h_counter <= 0;
        else h_counter <= h_counter + 1;
    end
    // 垂直计数及信号生成逻辑...
    always @(posedge clk or negedge rst_n) begin
        if (!rst_n) begin hsync <= 1'b1; vsync <= 1'b1; data_valid <= 1'b0; end
        else begin
            if (h_counter >= (H_ACTIVE + H_FP) && h_counter < (H_ACTIVE + H_FP + H_SYNC)) hsync <= 1'b0;
            else hsync <= 1'b1;
            if (v_counter >= (V_ACTIVE + V_FP) && v_counter < (V_ACTIVE + V_FP + V_SYNC)) vsync <= 1'b0;
            else vsync <= 1'b1;
            pixel_x <= h_counter; pixel_y <= v_counter;
            if (h_counter < H_ACTIVE && v_counter < V_ACTIVE) data_valid <= 1'b1;
            else data_valid <= 1'b0;
        end
    end
endmodule

6.4 TMDS 编码

TMDS 将 8bit 数据编码为 10bit，最小化信号转换并保持直流平衡。

6.5 HDMI 显示完整流程

图像缓存 → 读取控制器 → VGA 时序生成器 → TMDS 编码器 → 差分驱动器 → HDMI 连接器。

完整实战案例与最佳实践

7.1 系统集成

顶层模块需实例化时钟生成、摄像头初始化、图像采集、缓存、时序生成及 HDMI 输出模块。

顶层模块设计：

module camera_hdmi_system (
    input sys_clk, input rst_n,
    output camera_xclk, output camera_resetb, output camera_pwdn,
    inout camera_sio_c, inout camera_sio_d,
    input camera_pclk, input camera_vsync, input camera_href, input [9:0] camera_data,
    output hdmi_clk_p, output hdmi_clk_n,
    output [2:0] hdmi_d_p, output [2:0] hdmi_d_n
);
    wire clk_100m, clk_74m25, clk_148m5;
    pll_clk_gen pll_inst (.clk_in(sys_clk), .clk_100m(clk_100m), .clk_74m25(clk_74m25), .clk_148m5(clk_148m5));
    wire camera_init_done;
    camera_init camera_init_inst (.clk(clk_100m), .rst_n(rst_n), .sio_c(camera_sio_c), .sio_d(camera_sio_d), .resetb(camera_resetb), .pwdn(camera_pwdn), .init_done(camera_init_done));
    wire [7:0] pixel_data; wire pixel_valid; wire frame_valid;
    dvp_capture capture_inst (.pclk(camera_pclk), .vsync(camera_vsync), .href(camera_href), .data_in(camera_data), .data_out(pixel_data), .data_valid(pixel_valid), .frame_valid(frame_valid));
    wire [23:0] sdram_addr; wire [15:0] sdram_data_w, sdram_data_r; wire sdram_we, sdram_re;
    sdram_ctrl sdram_inst (.clk(clk_100m), .rst_n(rst_n), .addr(sdram_addr), .data_in(sdram_data_w), .data_out(sdram_data_r), .we(sdram_we), .re(sdram_re));
    wire [11:0] pixel_x, pixel_y; wire hsync, vsync; wire vga_data_valid;
    vga_timing_gen vga_inst (.clk(clk_74m25), .rst_n(rst_n), .hsync(hsync), .vsync(vsync), .pixel_x(pixel_x), .pixel_y(pixel_y), .data_valid(vga_data_valid));
    hdmi_tx hdmi_inst (.clk_pixel(clk_74m25), .clk_tmds(clk_148m5), .rst_n(rst_n), .hsync(hsync), .vsync(vsync), .rgb_data(sdram_data_r), .data_valid(vga_data_valid), .hdmi_clk_p(hdmi_clk_p), .hdmi_clk_n(hdmi_clk_n), .hdmi_d_p(hdmi_d_p), .hdmi_d_n(hdmi_d_n));
    assign led[0] = camera_init_done; assign led[1] = frame_valid; assign led[2] = vga_data_valid;
endmodule

7.2 调试技巧

常见问题排查

问题 1: 摄像头初始化失败

1. 检查电源电压 (DVDD, AVDD, DOVDD)。
2. 测量 XCLK 频率及占空比。
3. 使用逻辑分析仪验证 RESETB、PWDN 时序。
4. 检查 SCCB 通信波形及从机应答。

问题 2: 图像采集无数据

1. 检查 DVP 接口信号 (PCLK, HREF, VSYNC)。
2. 仿真验证采集模块时序。
3. 捕获完整帧数据验证有效性。

问题 3: HDMI 无显示

1. 检查 HDMI 连接及线材质量。
2. 验证 VGA 时序参数 (HSYNC, VSYNC)。
3. 使用示波器测量 TMDS 差分信号幅度。

调试工具

推荐使用逻辑分析仪捕获时序信号，示波器测量模拟信号，万用表验证电源，以及 ModelSim/Vivado 进行仿真。

7.3 性能优化

带宽优化：减少不必要的访问，使用行缓冲，批量读写。 延迟优化：流水线设计，提高时钟频率，优化时序约束。 功耗优化：时钟门控，降低工作电压，减少存储访问。

总结

本文详细介绍了 FPGA 摄像头采集、处理、显示系统的完整设计流程。从 OV5640 的基础知识与初始化，到 DVP 图像采集、SDRAM 缓存管理，再到 HDMI 时序生成与 TMDS 编码，涵盖了硬件设计与 Verilog 实现的关键环节。

关键要点：

1. 时序是关键：正确的时序是系统稳定运行的基础。
2. 模块化设计：独立开发和测试各模块。
3. 充分仿真：在 RTL 仿真阶段发现问题。
4. 逐步优化：先保证功能，再优化性能。
5. 文档完善：记录设计决策和调试经验。

扩展学习： 进阶主题包括多摄像头同步采集、实时图像处理 (滤波、边缘检测)、视频编码 (H.264/H.265) 及网络传输 (RTP/RTSP)。相关技术涉及 FPGA 设计最佳实践、高速接口设计 (LVDS、MIPI) 及电源管理。