基于 FPGA 的神经网络模型设计与实现：手写数字识别

FPGA 硬件实现的核心难点是'浮点参数转定点'，需先在软件端完成模型训练与定点仿真，避免硬件开发后精度不达标。

3.2.1 浮点模型训练

基于 MNIST 数据集（6 万训练样本、1 万测试样本），用 PyTorch 搭建 CNN 并训练：

1. 数据预处理：将图片归一化到 [0,1]，转为 28×28×1 张量
2. 训练参数：Adam 优化器（学习率 1e-4）、交叉熵损失函数，训练 50 轮
3. 训练结果：测试集准确率 98.2%，模型参数（卷积核 + 偏置）约 1.2 万

关键代码（模型定义）：

import torch.nn as nn

class SmallCNN(nn.Module):
    def __init__(self):
        super(SmallCNN, self).__init__()
        # 卷积层 1（点卷积）：1→6 通道，1×1 卷积
        self.conv1 = nn.Conv2d(1, 6, kernel_size=1, stride=1)
        # 卷积层 2（深度可分离卷积）：6→6 通道，3×3 卷积
        self.conv2 = nn.Conv2d(6, 6, kernel_size=3, stride=1, groups=6)
        self.bn2 = nn.BatchNorm2d(6)  # BN 层（后续融合到卷积）
        self.relu = nn.ReLU()
        self.pool = nn.MaxPool2d(kernel_size=2, stride=2)  # 最大池化
        # 输出层：全局平均池化 + 全连接
        self.avg_pool = nn.AdaptiveAvgPool2d(1)
        self.fc = nn.Linear(6, 10)  # 6 通道→10 分类

    def forward(self, x):
        x = self.conv1(x)
        x = self.pool(self.relu(self.bn2(self.conv2(x))))
        x = self.avg_pool(x).view(-1, 6)
        x = self.fc(x)
        return x

3.2.2 定点数量化与仿真

浮点参数在 FPGA 上需大量 DSP 资源，因此将所有参数转为 32 位定点格式（1 符号位 +23 整数位 +8 小数位），关键步骤：

1. 参数量化：读取 PyTorch 训练的浮点参数（如卷积核权重），乘以 2⁸后取整，存储为定点数
2. 仿真验证：用 Python 编写定点版 CNN，模拟 FPGA 硬件计算逻辑，对比浮点与定点结果的误差
3. 精度校准：若误差超 5%，调整小数位长度（如 8→10 位），最终确保定点模型准确率≥97%

定点仿真结果示例（数字'2'识别）：

• 浮点输出：[4.38, 2.52, 14.37, 6.53, 7.03, 6.12, 7.31, 5.83, 5.91, 7.34]（最大值对应数字 2）
• 定点输出：[3.00, 2.00, 14.00, 7.00, 8.00, 6.00, 7.00, 6.00, 4.00, 7.00]（最大值仍对应数字 2），误差可接受

3.3 RTL 结构设计——硬件模块实现

FPGA 硬件实现的核心是 Verilog 代码编写，需针对 CNN 各层设计高效 RTL 结构，重点解决'数据缓存、并行计算、边界处理'问题。

3.3.1 卷积层设计（核心难点）

分为点卷积（1×1）与深度可分离卷积（3×3），以 3×3 深度可分离卷积为例：

1. 数据缓存：用 Xilinx Shiftram IP 核缓存 3 行输入特征图（因卷积核 3×3 需连续 3 行数据），每个 Shiftram 长度=特征图宽度
2. 并行计算：每个通道独立实现卷积逻辑，单个时钟周期完成 9 次乘法（3×3 卷积核）+8 次加法，6 个通道并行计算
3. 边界处理：用计数器标记卷积核位置，当卷积核超出特征图边界时，拉低数据有效信号（valid_o），舍弃无效结果
4. BN 融合：将 BN 层参数（γ、β、μ、σ）融入卷积核权重与偏置，减少硬件模块数（原 2 层→1 层）

Verilog 核心逻辑（卷积计算）：

// 3×3 深度可分离卷积计算（单通道）
module depthwise_conv(
    input sys_clk,      // 系统时钟（50MHz）
    input sys_rstn,     // 复位（低有效）
    input [31:0] data_in, // 输入特征（32 位定点）
    input valid_in,     // 输入有效信号
    output reg [31:0] data_out, // 输出特征
    output reg valid_out // 输出有效信号
);
    // 1. 缓存 3 行数据（Shiftram IP 核）
    wire [31:0] row1, row2, row3;
    shiftram #(.DEPTH(28)) u1(.clk(sys_clk), .rst(~sys_rstn), .din(data_in), .dout(row1));
    shiftram #(.DEPTH(28)) u2(.clk(sys_clk), .rst(~sys_rstn), .din(row1), .dout(row2));
    assign row3 = data_in; // 当前行

    // 2. 提取 3×3 窗口数据
    reg [31:0] win[8:0]; // 3×3 窗口寄存器
    always @(posedge sys_clk) begin
        if(!sys_rstn) begin
            win <= '{9{32'd0}};
        end else if(valid_in) begin
            win[0] <= row1; win[1] <= row1; win[2] <= row1; // 第 1 行 3 个元素
            win[3] <= row2; win[4] <= row2; win[5] <= row2; // 第 2 行 3 个元素
            win[6] <= row3; win[7] <= row3; win[8] <= row3; // 第 3 行 3 个元素
        end
    end

    // 3. 乘加计算（卷积核权重：w[8:0]，定点数）
    wire [31:0] w [8:0] = '{32'd1, 32'd2, 32'd1, 32'd0, 32'd0, 32'd0, 32'd-1, 32'd-2, 32'd-1};
    reg [63:0] sum; // 中间结果（避免溢出）
    always @(posedge sys_clk) begin
        sum <= win[0]*w[0] + win[1]*w[1] + win[2]*w[2] + 
               win[3]*w[3] + win[4]*w[4] + win[5]*w[5] + 
               win[6]*w[6] + win[7]*w[7] + win[8]*w[8];
        data_out <= sum >> 8; // 小数位右移 8 位（恢复定点格式）
    end

    // 4. 边界处理（舍弃边缘无效结果）
    reg [7:0] cnt; // 列计数器（0-27）
    always @(posedge sys_clk) begin
        if(!sys_rstn) begin
            cnt <= 8'd0;
            valid_out <= 1'b0;
        end else if(valid_in) begin
            cnt <= (cnt == 8'd27) ? 8'd0 : cnt + 1'b1;
            // 仅当计数器≥2 且≤25 时，输出有效（避开左右边缘各 2 个像素）
            valid_out <= (cnt >= 8'd2 && cnt <= 8'd25) ? 1'b1 : 1'b0;
        end
    end
endmodule

3.3.2 池化层与激活函数设计

• 最大池化层：用 2×2 窗口，通过比较器选出最大值，同样用 Shiftram 缓存 2 行数据，步长 2（每 2 个像素取 1 个结果）
• 激活函数（ReLU）：用比较器实现'输入>0 则输出输入，否则输出 0'，硬件资源仅需 1 个 LUT
• 全局平均池化：对最后一层特征图所有元素求和后除以像素数，输出 10 个通道的平均值（对应数字 0-9）

3.4 PL-PS 通信设计——数据交互实现

ZYNQ FPGA 包含 PL（逻辑部分）与 PS（ARM 硬核），需通过 AXI-Lite 总线实现数据交互，流程如下：

1. PL 端：将 10 个通道的池化结果存入 10 个寄存器（地址 0x43C00000~0x43C00024），每个寄存器对应 1 个数字的识别得分
2. PS 端：在 Xilinx SDK 中编写 C 代码，通过 AXI-Lite 总线读取 PL 寄存器值，找到最大值对应的数字（即识别结果）
3. 串口输出：PS 端通过 UART 串口将识别结果发送到 PC，波特率 115200，方便用户查看

PS 端核心代码（读取 PL 寄存器）：

#include "xil_io.h"
#include "stdio.h"

// PL 寄存器基地址（由 Vivado 分配）
#define PL_REG_BASE 0x43C00000

int main(){
    int i, max_val = 0, result = 0;
    int reg_val[10]; // 存储 10 个寄存器值

    // 1. 读取 PL 寄存器（每个寄存器地址间隔 4 字节）
    for(i = 0; i < 10; i++){
        reg_val[i] = Xil_In32(PL_REG_BASE + i*4);
    }

    // 2. 找到最大值对应的数字（识别结果）
    for(i = 0; i < 10; i++){
        if(reg_val[i] > max_val){
            max_val = reg_val[i];
            result = i;
        }
    }

    // 3. 串口输出结果
    printf("数字识别结果：%d\n", result);
    return 0;
}

3.5 FPGA 上板验证——功能与性能测试

将 Verilog 代码在 Vivado 中综合、实现后，生成比特流文件烧录到 ZYNQ-7020 开发板，进行硬件测试。

3.5.1 测试环境搭建

• 硬件连接：开发板通过 JTAG 连接 PC（烧录比特流），通过 USB 转串口连接 PC（输出识别结果）
• 测试数据：用 MATLAB 将 28×28 手写数字图片转为.coe 文件，存储到 FPGA 的 ROM 中，PL 端从 ROM 读取图片数据
• 软件配置：在 Vivado 中设置时钟约束（50MHz），在 SDK 中下载 PS 程序到开发板

3.5.2 测试结果分析

1. 功能验证：测试 100 张手写数字图片，识别准确率 97.3%，与定点仿真结果一致，无功能错误
2. 性能测试：
   • 识别耗时：单次识别仅需 48 微秒（50MHz 时钟下约 2400 个时钟周期），比 CPU（5.97 毫秒）快 124 倍
   • 资源占用：LUT 33441（63%）、DSP 68（31%）、BRAM 25.5（18%），均在 ZYNQ-7020 资源限制内
   • 功耗：1.805 瓦，性能功耗比 4.98 GOPS/W（远超 CPU 的 0.1 GOPS/W）
3. 时序验证：建立时间裕量 0.203ns，保持时间裕量 0.04ns，均大于 0，时序稳定

3.6 问题排查与优化——提升系统鲁棒性

硬件开发中遇到的典型问题及解决方案：

1. 数据溢出：卷积乘加结果超 32 位，解决方案：中间结果用 64 位寄存器存储，最后右移 8 位恢复定点格式
2. 边界无效结果：卷积核边缘计算错误，解决方案：用计数器标记有效区域，仅输出中心区域结果
3. PL-PS 通信失败：AXI 总线地址配置错误，解决方案：在 Vivado 中查看 IP 核地址分配，确保 PS 端读取地址正确

四、项目复盘：踩过的坑与经验

4.1 那些踩过的坑

1. 定点量化精度损失：初期用 6 位小数位，导致识别准确率降至 90%，解决方案：增加到 8 位小数位，精度回升至 97%
2. 卷积数据缓存错误：Shiftram 深度设置与特征图宽度不匹配，导致数据错位，解决方案：根据特征图尺寸动态调整 Shiftram 深度
3. 时序不满足：时钟频率设为 100MHz 时时序违规，解决方案：降低到 50MHz，同时优化 RTL 代码（如减少组合逻辑级数）

4.2 给学弟学妹的建议

1. 先软件后硬件：务必先在 PyTorch/MATLAB 中完成模型仿真与定点验证，再写 Verilog 代码，避免硬件开发后返工
2. 重视边界处理：CNN 的卷积、池化层边缘易产生无效结果，需用计数器或状态机标记有效区域
3. 资源优化优先：FPGA 资源有限（尤其是 DSP），优先用深度可分离卷积、BN 融合等技术减少计算量
4. 多做时序分析：综合后及时查看时序报告，若有负裕量，先优化代码再调整时钟频率，避免上板后不稳定

五、项目资源与后续扩展

5.1 项目核心资源

本项目包含完整资源：

• 软件部分：PyTorch 模型训练代码、定点仿真 Python 代码、MATLAB 图片转.coe 工具
• 硬件部分：Verilog RTL 代码（卷积层、池化层、AXI 通信）、Vivado 工程文件、SDK 程序
• 文档部分：时序约束报告、资源消耗报告、上板测试指南

5.2 未来扩展方向

1. 模型轻量化：引入剪枝技术（如剪掉冗余卷积核），进一步降低资源占用，适配更小的 FPGA
2. 多任务支持：扩展为'数字 + 字母'识别（36 分类），只需修改输出层神经元数量
3. 实时图像输入：添加摄像头模块（如 OV7725），支持实时拍摄图片并识别，而非读取 ROM 数据
4. AI 加速库集成：调用 Xilinx DNNDK 加速库，对比自定义 RTL 与加速库的性能差异，优化硬件架构