SKResNet 架构详解：融合选择性卷积与残差结构
Selective Kernel Residual Network（SKResNet）是一种结合了选择性卷积核机制和残差连接的深度神经网络架构。它通过动态选择不同尺度的卷积核来自适应地提取多尺度特征，在保持计算效率的同时显著提升了模型的表达能力和性能。
一、SKResNet 的理论基础与创新点
1. 传统卷积神经网络的局限性
传统卷积神经网络（CNN）在图像处理中依赖固定大小的卷积核（如 3x3 或 5x5）来提取特征。这种设计虽然简单高效，但在面对具有多尺度特征的复杂场景时，表现出一定的局限性：
- 感受野固定性：单一尺寸的卷积核只能捕捉特定尺度的特征，难以同时处理不同尺度的目标对象。在实际应用中，图像或信号中的关键信息往往分布在不同的空间尺度上。
- 特征提取单一性：固定的卷积核限制了模型对多样化特征模式的感知能力，特别是在处理复杂场景时，可能遗漏重要的细节信息或全局结构信息。
- 适应性不足：传统 CNN 无法根据输入数据的特点动态调整特征提取策略，缺乏对不同输入模式的自适应能力。
这些限制促使研究者探索更加灵活和智能的卷积操作方式，例如引入动态卷积核选择机制，使网络能够根据输入内容自适应地聚合不同感受野的特征。
2. SKResNet 的核心创新
SKResNet 的核心在于引入了选择性卷积核（Selective Kernel, SK）单元。该单元允许网络在推理过程中动态决定如何组合不同尺度的卷积路径输出，从而实现了对多尺度信息的自适应融合。
3. 技术优势分析
- 多尺度特征感知：能够同时利用局部细节和全局上下文信息。
- 计算效率平衡：相比增加网络深度，SK 模块以较小的计算代价换取了显著的精度提升。
- 通用性强：可无缝嵌入到现有的主流骨干网络（如 ResNet、DenseNet）中。
二、SKResNet 架构设计详解
1. 整体架构概览
SKResNet 保留了标准残差网络的基本结构，将传统的卷积块替换为 SKBlock。整个网络由多个 SKBlock 级联而成，配合池化层和全连接层完成分类任务。
2. SKBlock：选择核模块详解
2.1 多尺度卷积核设计
SKBlock 内部包含多条并行卷积路径，每条路径使用不同尺寸的卷积核（如 3x3, 5x5）。这些路径独立提取特征，随后进入注意力机制进行融合。
2.2 注意力机制实现
为了确定各路径的重要性，SKBlock 采用全局平均池化获取通道统计信息，并通过全连接层生成权重向量。Softmax 函数将权重归一化，确保其和为 1。
2.3 特征选择与融合
最终输出是各路径特征图按权重加权求和的结果。这一过程实现了'选择性'卷积，即网络自动学习哪些尺度的特征在当前样本中更为重要。
3. Block：残差块设计
在 SKBlock 基础上，通过添加恒等映射（Identity Mapping）构建残差连接，解决了深层网络梯度消失问题，使得训练更深的网络成为可能。
4. SKResNet：完整网络架构
完整的 SKResNet 通常由初始卷积层、多个 SKBlock 阶段以及最后的池化和分类头组成。其深度可根据任务需求调整，常见变体包括 SKResNet-50、SKResNet-101 等。
