SKResNet 架构详解
Selective Kernel Residual Network（SKResNet）是一种结合了选择性卷积核机制和残差连接的深度神经网络架构。它通过动态选择不同尺度的卷积核来自适应地提取多尺度特征，在保持计算效率的同时显著提升了模型的表达能力和性能。
一、SKResNet 的理论基础与创新点
1. 传统卷积神经网络的局限性
传统卷积神经网络（CNN）在图像处理中依赖固定大小的卷积核（如 3x3 或 5x5）来提取特征。这种设计虽然简单高效，但在面对具有多尺度特征的复杂场景时，表现出一定的局限性：
- 感受野固定性：单一尺寸的卷积核只能捕捉特定尺度的特征，难以同时处理不同尺度的目标对象。在实际应用中，图像或信号中的关键信息往往分布在不同的空间尺度上。
- 特征提取单一性：固定的卷积核限制了模型对多样化特征模式的感知能力，特别是在处理复杂场景时，可能遗漏重要的细节信息或全局结构信息。
- 适应性不足：传统 CNN 无法根据输入数据的特点动态调整特征提取策略，缺乏对不同输入模式的自适应能力。
这些限制促使研究者探索更加灵活和智能的卷积操作方式，例如引入动态权重分配机制，让网络能够根据输入内容自动调整感受野。
2. SKResNet 的核心创新
SKResNet 的核心在于其选择性卷积核（Selective Kernel）模块。不同于传统网络使用固定卷积核，SKResNet 允许网络在推理过程中动态地聚合不同尺度的特征图。这种机制使得模型能够在一次前向传播中捕获从局部细节到全局上下文的多层次信息。
3. 技术优势分析
- 多尺度特征融合：无需增加额外的网络层数即可实现多尺度信息的交互。
- 计算效率高：相比增加大量并行分支的传统方法，SKBlock 的设计更为紧凑。
- 即插即用：可以方便地嵌入到现有的 ResNet、VGG 等骨干网络中。
二、SKResNet 架构设计详解
1. 整体架构概览
SKResNet 的整体流程遵循经典的残差学习范式，但在每个残差块内部嵌入了 SKBlock。这种设计既保留了深层网络训练稳定的特性，又增强了特征提取的灵活性。
2. SKBlock：选择核模块详解
2.1 多尺度卷积核设计
SKBlock 通常包含多个并行的卷积路径，每条路径使用不同大小的卷积核（例如 3x3, 5x5）。这些路径分别提取不同感受野下的特征响应。
2.2 注意力机制实现
为了融合这些多尺度特征，SKResNet 引入了注意力机制。通过对各路径的特征进行全局平均池化，生成通道级的描述符，再通过全连接层学习出各尺度的重要性权重。
2.3 特征选择与融合
最终，网络根据计算出的权重对多尺度特征图进行加权求和。这意味着对于不同的输入样本，网络实际上是在'选择'最适合当前内容的特征组合，实现了自适应的特征提取。
3. Block：残差块设计
在 SKBlock 的基础上，构建标准的残差单元。输入特征经过 SKBlock 处理后，与原始输入相加，并通过激活函数输出。这种结构有效缓解了梯度消失问题，支持更深的网络堆叠。
