融合选择性卷积与残差结构的 SKResNet 架构详解
Selective Kernel Residual Network（SKResNet）是一种结合了选择性卷积核机制和残差连接的深度神经网络架构。它通过动态选择不同尺度的卷积核来自适应地提取多尺度特征，在保持计算效率的同时显著提升了模型的表达能力和性能。
一、SKResNet 的理论基础与创新点
1. 传统卷积神经网络的局限性
传统卷积神经网络（CNN）在图像处理中依赖固定大小的卷积核（如 3x3 或 5x5）来提取特征。这种设计虽然简单高效，但在面对具有多尺度特征的复杂场景时，表现出一定的局限性：
- 感受野固定性：单一尺寸的卷积核只能捕捉特定尺度的特征，难以同时处理不同尺度的目标对象。在实际应用中，图像或信号中的关键信息往往分布在不同的空间尺度上。
- 特征提取单一性：固定的卷积核限制了模型对多样化特征模式的感知能力，特别是在处理复杂场景时，可能遗漏重要的细节信息或全局结构信息。
- 适应性不足：传统 CNN 无法根据输入数据的特点动态调整特征提取策略，缺乏对不同输入模式的自适应能力。
这些限制促使研究者探索更加灵活和智能的卷积操作方式。
二、SKResNet 架构设计详解
1. 整体架构概览
SKResNet 将选择性卷积模块嵌入到经典的残差网络结构中，形成新的网络单元。
2. SKBlock：选择核模块详解
2.1 多尺度卷积核设计
采用多种尺寸的卷积核并行处理输入特征，以捕获不同范围的空间上下文信息。
2.2 注意力机制实现
通过注意力权重对不同尺度的特征进行聚合，使网络能够根据输入内容自适应地选择最有用的特征表示。
2.3 特征选择与融合
将多尺度特征经过加权融合后输出，确保保留关键信息并抑制冗余噪声。
3. Block：残差块设计
在 SKBlock 基础上构建标准残差连接，缓解深层网络训练中的梯度消失问题，加速收敛。
4. SKResNet：完整网络架构
由多个 SKBlock 堆叠而成，配合池化层和全连接层构成完整的分类或检测网络。
三、技术细节与实现要点
1. 卷积核尺寸选择策略
根据任务需求选择合适的卷积核组合，平衡计算成本与信息丰富度。
2. 注意力机制设计考量
优化注意力权重的生成方式，确保特征选择的准确性和鲁棒性。
3. 残差连接优化
调整残差连接的连接方式，增强梯度的反向传播效果。
4. 网络深度与宽度平衡
合理设置网络层数和通道数，避免过拟合或欠拟合。
5. SKResNet 与传统方法的对比
相比传统 CNN，SKResNet 在多尺度特征提取上表现更优，尤其在目标大小变化较大的场景中优势明显。
四、OPPORTUNITY 数据集实战结果
1. 训练结果
模型在训练集上展现出良好的收敛趋势。
2. 每个类别的准确率
各活动类别的分类准确率均有显著提升。
3. 柱状图及准确率和损失曲线图
可视化结果展示了模型的性能指标变化。
