Selective Kernel Residual Network（SKResNet）是一种结合了选择性卷积核机制和残差连接的深度神经网络架构。它通过动态选择不同尺度的卷积核来自适应地提取多尺度特征，在保持计算效率的同时显著提升了模型的表达能力和性能。
一、SKResNet 的理论基础与创新点
1. 传统卷积神经网络的局限性
传统卷积神经网络（CNN）在图像处理中依赖固定大小的卷积核（如 3x3 或 5x5）来提取特征。这种设计虽然简单高效，但在面对具有多尺度特征的复杂场景时，表现出一定的局限性：
- 感受野固定性：单一尺寸的卷积核只能捕捉特定尺度的特征，难以同时处理不同尺度的目标对象。在实际应用中，图像或信号中的关键信息往往分布在不同的空间尺度上。
- 特征提取单一性：固定的卷积核限制了模型对多样化特征模式的感知能力，特别是在处理复杂场景时，可能遗漏重要的细节信息或全局结构信息。
- 适应性不足：传统 CNN 无法根据输入数据的特点动态调整特征提取策略，缺乏对不同输入模式的自适应能力。
这些限制促使研究者探索更加灵活和智能的卷积操作方式，SKResNet 正是为了解决这些问题而提出的创新方案。
2. SKResNet 的核心创新
SKResNet 的核心在于引入了选择性卷积核机制。与传统方法不同，它允许网络在推理过程中动态地聚合不同感受野的特征图。这意味着模型不再被动接受预设的卷积参数，而是能够根据当前输入的内容，自动决定哪些尺度的特征更为重要。
3. 技术优势分析
这种动态机制带来了几个显著优势：首先，它增强了模型对多尺度目标的鲁棒性；其次，通过注意力机制加权，模型能更聚焦于关键区域；最后，结合残差连接，有效缓解了深层网络训练中的梯度消失问题。
二、SKResNet 架构设计详解
1. 整体架构概览
SKResNet 的整体框架建立在经典残差网络之上，主要改动集中在瓶颈块（Bottleneck Block）内部。原有的卷积层被替换为 SKBlock，这是实现选择性功能的关键单元。
2. SKBlock：选择核模块详解
2.1 多尺度卷积核设计
SKBlock 内部并行执行多个不同尺寸的卷积操作。例如，同时使用 1x1、3x3 和 5x5 的卷积核处理同一输入。这一步骤确保了特征提取的多样性，为后续的选择过程提供了丰富的候选集。
2.2 注意力机制实现
并行卷积后的特征图会被汇聚并经过全局平均池化，生成通道级的统计信息。这些信息随后通过全连接层映射回权重向量，用于对各分支的特征进行重校准。这个过程本质上是一个轻量级的注意力机制，让网络学会'关注'最有用的特征路径。
2.3 特征选择与融合
最终，各分支的特征图会根据计算出的权重进行加权求和。这种融合不是简单的相加，而是基于内容感知的软选择。输出结果既保留了原始输入的分辨率信息，又融合了多尺度的语义特征。
3. Block：残差块设计
在 SKBlock 的基础上，我们构建标准的残差块。输入信号直接跳过中间的处理层加到输出上，这不仅稳定了梯度传播，还允许网络学习残差映射而非完整的底层映射，使得深层网络的训练变得更加容易。