卷积神经网络LeNet-5

1. 概述

LeNet-5 诞生于1994年，是最早的深层卷积神经网络之一，推动了深度学习的发展。从1988年开始，在多次成功的迭代后，这项由Yann LeCun完成的开拓性成果被命名为LeNet-5。最初被用于手写数字识别，当年美国大多数银行就是用它来识别支票上面的手写数字的，它是早期卷积神经网络中最有代表性的实验系统之一。

2. 算法的基本思想

2.1. LeNet-5的网络结构

LeNet-5的网络结构入下图所示：

LeNet-5中主要由2个卷积层、2个下抽样层（池化层）、3个全连接层组成，其中：

• INPUT为输入， 32 × 32 32\times 32 32×32的图片；
• C1为卷积，由 6 6 6个卷积核的大小为 5 × 5 5\times 5 5×5组成，stride为 1 1 1，得到 6 6 6个 28 × 28 28\times 28 28×28的feature maps；
• S2为下采样，以 2 × 2 2\times 2 2×2为单位的下抽样，使用的平均池化（Average Pooling），得到 6 6 6个maps；
• C3为卷积，由 16 16 16个卷积核的大小为 5 × 5 5\times 5 5×5，stride为 1 1 1，得到 16 16 16个 10 × 10 10\times 10 10×10的feature maps；
• S4为下采样，以 2 × 2 2\times 2 2×2为单位的下抽样，使用的平均池化（Average Pooling），得到 16 16 16个maps；
• C5为卷积，由 120 120 120个卷积核的大小为 5 × 5 5\times 5 5×5，stride为 1 1 1，得到 120 120 120个 1 × 1 1\times 1 1×1的feature maps；

虽然LeNet-5现在已经很少使用，但是其是奠定了现代卷积神经网络的基石之作。

参考文献

[1]