从零手写 ResNet50：AI 视觉算法原理与性能优化实战

其中，Python 目录和 C++ 目录互相独立。在 C++ 目录中，分别存在 1st 到 6th 共 6 个目录，为性能优化的迭代目录，6 个目录相互独立，可以独立运行任意目录中的代码，对比查看在迭代过程中，由于代码的优化带来的性能提升效果。

new_version_with_notes 目录：这是本仓库的一个新版本，包含上述所有代码，里面的目录结构复刻了上述结构。区别在于给代码添加了注释，并且优化了一些细节。建议第一次使用的同学直接使用 new_version_with_notes 目录下的代码。

从零手写 ResNet50 的实现思路

1. 模型获取

使用 torchvision 从已经预训练好的模型中，将 ResNet50 每一层的权值保存到仓库中，所保存的权值文件会在后续被加载进来，参与卷积、全连接、BN 层的计算。

这里多说一些，在实际工业项目的模型部署中，神经网络的权值也是作为独立的数据被加载到 GPU/CPU 中完成计算的。而很多实际模型的性能瓶颈会是在权值加载部分。原因分析如下：

• 受限于芯片内存的限制：导致无法将神经网络的所有权值全部一次加载，而多次加载带来的副作用便是会带来多余的 IO 操作，内存越小此问题越严重。
• 受限于芯片带宽的限制：在模型参数量日益增大的今天，GB 级别的带宽越来越显得吃力，而且在很多时候，IO 和计算无法真正在芯片上完全流水起来，尤其是在堆算力的时候，IO 就被凸显出来了。

在 model 目录下，运行以下脚本，即可将参数保存到 model/resnet50_weight 中：

$ python3 resnet50_parser.py

2. 代码实现

在保存完权值后，利用 Python / C++ 语言，分别实现 Conv2d, BatchNorm, Relu, AvgPool, MaxPool, FullyConnect (MatMul) 等核心函数。

按照网络结构定义，将以上算法搭起来。手工搭建 ResNet50 的网络结构参考官方文档或相关论文。

3. 推理

代码实现完成后，意味着模型运行需要的基础算法和参数已经就位，下面读取一张本地图片，进行推理。

• 读取一只猫的图片，参考相关示例代码。
• 读取完图片，开始推理，正确推理出来是一只猫，本项目第一阶段目标（准确性验证）即完成。

4. 优化

在基本功能实现完成后，开始着手进行性能优化。性能优化属于神经网络中的一大重点，下面分章节详细说明。

性能优化详解

Python 版本优化

这部分是 Python 版本的性能优化。先看下本仓库如何使用 Python 代码。

怎么用 Python 版本

1. ResNet50 的核心算法和手搭网络是用基础的 Python 语法写的，有些十分基础的操作调用 NumPy 库。
2. 导入图片调用的 Pillow 库，导入图片这种逻辑不属于'从零手写 ResNet50 核心算法'的范畴，直接用 Pillow 库。
3. 安装依赖，主要是上面两个库的依赖，在 Python 目录下执行：

   $ pip3 install -r requirements.txt
   

   国内用户可使用清华源加速：

   $ pip3 install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

4. 推理：在 Python 目录下，运行以下命令，完成推理。你可以修改 my_infer.py 中的获取图片的逻辑，将图片替换成你自己的图片，看能否正确的识别出来。

   $ python3 my_infer.py
   

   由于 Python 版本也基本没有调用三方库，以 Python 的语法来写卷积循环，其性能绝对差到惨不忍睹，实测发现用 Python 版本推理一张图片十分缓慢，主要是循环太多（但是为了展示算法的内部实现）。

Python 版本的一点优化

利用 np.dot（内积运算）代替卷积的乘累加循环。

• 优化 Python 版本的算法实现：Python 不调用三方库的话，很多优化点无法去做（比如指令集不好控制、内存不好控制），下面还是重点优化 C++ 版本。

C++ 版本优化

这部分是 C++ 版本的性能优化，先看下本仓库如何使用 C++ 代码。

怎么用 C++ 版本

本仓库的 C++ 代码已经合入了几次优化提交，每次都是在前一次优化的基础上做的进一步优化，优化记录可以通过 cpp 目录下的文件名很方便的看出来。

• 1st 目录下存放的是第一版的 C++ 代码。
• 2nd 目录下存放的是第二版的 C++ 代码，启用了 AVX2 指令集的优化，以及 -Ofast 编译选项。
• 3rd 目录下存放的是第三版的 C++ 代码，利用类似内存池的方式，增加了权值提前加载的逻辑，仍保留了每一层结果输入输出的动态 malloc 过程。
• 4th 目录下存放是第四版优化的 C++ 代码，删除了所有动态内存申请的操作，大幅提高性能。
• 5th 目录下存放是第五版优化的 C++ 代码，利用 CodeGen 和 JIT 编译技术生成核心计算逻辑。
• 6th 目录下存放是第六版优化的 C++ 代码，利用多线程优化卷积的运算，大幅提升性能。

编译

每个版本的目录下文件是独立的，不存在依赖，如果你想看两个版本间的代码改动，可以使用源码比较工具来查看。每个版本的目录下文件的编译过程是相同的。

C++ 版本编译依赖 OpenCV 库，用来进行图片的导入，功能与 Python 版本的 Pillow 类似。Linux 环境下，执行以下命令安装 OpenCV 库：

$ sudo apt-get install libopencv-dev python3-opencv libopencv-contrib-dev

cpp 目录下，运行 ./compile.sh 即可完成编译。

$ bash ./compile.sh

编译完成后，在当前目录下，生成名为 resnet 的可执行文件，直接执行该文件，会对仓库中保存的图片进行推理，并显示结果。

$ ./resnet

初始版本一

目录为 1st。 第一版没有考虑性能问题，仅仅是按照想法完成了功能，可想而知性能惨不忍睹，此版本性能数据：

• Average Latency: 16923 ms
• Average Throughput: 0.059 fps

性能数据和电脑性能有关，你可跑下试试，看看打印出来的 Latency 是多少。

优化版本二

目录为 2nd。 第二版在第一版的基础上，将卷积算法中的乘累加的循环运算，利用向量指令集做了并行化加速，采用的向量指令集为 AVX2。你可以通过以下命令查看你的 CPU 是否支持 AVX2 指令集：

$ cat /proc/cpuinfo

在显示的信息中如果存在 avx2 便是支持该指令集。此版本性能数据：

• Average Latency: 4973 ms
• Average Throughput: 0.201 fps

优化版本三

目录为 3rd。 第三版在第二版的基础上，消除了运算推理过程中针对权值参数动态 malloc 的过程，改为在推理之前，利用 std::map 管理一个类内存池的结构，推理之前将所有的权值参数全部加载进来，这一步优化在实际模型部署中是有现实意义的。模型参数的提前加载可以最大限度的减轻系统的 IO 压力，减少时延。此版本性能数据：

• Average Latency: 862 ms
• Average Throughput: 1.159 fps

优化版本四

目录为 4th。 第四版在第三版的基础上，消除了运算推理过程中所有动态内存申请，以及与字符串相关的操作。此版本性能数据：

• Average Latency: 742 ms
• Average Throughput: 1.347 fps

优化版本五

目录为 5th。 第五版在第四版的基础上，利用 CodeGen 技术生成核心计算逻辑，利用 JIT 编译完成编译过程。此版本性能数据：

• Average Latency: 781 ms
• Average Throughput: 1.281 fps

优化版本六

目录为 6th。 第六版在第五版的基础上，利用多线程来优化了卷积计算，对 CO 维度进行了线程间的独立拆分，用满 CPU 线程数。此版本性能数据：

• Average Latency: 297 ms
• Average Throughput: 3.363 fps

经过 6 个版本的优化，推理延时从 16923 ms 优化至 297 ms，提升了近 60 倍的性能。推理一张图片已经感觉不到卡顿，算是不错的效果。

整体仓库依赖

1. 保存权值的依赖 到 model 目录，安装解析模型相关的依赖库。

   $ pip3 install -r requirements.txt
   

2. Python 推理依赖 到 python 目录，安装推理 ResNet50 需要的依赖库，主要是 NumPy 还有 Pillow 库，用来导入图片。

   $ pip3 install -r requirements.txt
   

总结与建议

通过本项目，学习者不仅能够掌握 ResNet50 的具体实现细节，还能深刻理解深度学习模型在底层硬件上的运行机制。从 Python 的原生循环到 C++ 的 SIMD 指令集优化，再到内存管理和并发处理，这一系列的技术栈覆盖了现代高性能计算的核心要素。

对于希望从事 AI 工程化落地的开发者来说，理解模型推理的每一个环节至关重要。单纯的调用 API 往往无法解决生产环境中的延迟和吞吐问题。本项目的优化路径提供了一个清晰的参考：

1. 算法层面：选择高效的数学运算替代低效循环。
2. 内存层面：减少动态分配，利用预分配和内存池。
3. 指令集层面：充分利用 CPU 的向量化能力。
4. 并发层面：合理设计线程模型以利用多核算力。

建议读者在阅读本文档的同时，务必动手实践代码。尝试修改其中的优化策略，观察性能变化，这将极大地加深你对计算机视觉和系统性能优化的理解。