基于空间注意力机制的神经网络 SANN 设计与实现

class SpatialAttentionModule(nn.Module):
    def __init__(self):
        super().__init__()
        self.att_fc = nn.Sequential(
            nn.Conv2d(1, 1, (3, 1), (1, 1), (1, 0)),  # 传感数据特殊性，固定模态轴，只在时序轴上进行空间注意力
            nn.Sigmoid()
        )

空间注意力模块的设计体现了以下核心思想：

• 单通道卷积设计：使用 1 到 1 的通道映射，专注于空间维度的特征提取而非通道维度的变换。
• 时序轴专注策略：卷积核设计为 (3,1)，在时序轴上进行 3×1 的卷积操作，在模态轴上保持维度不变。
• Sigmoid 激活约束：确保注意力权重在 0-1 范围内，实现软性的特征选择机制。

2.2 注意力权重计算与应用

def forward(self, x):
    ''' x.shape: [b, c, series, modal] '''
    att = torch.mean(x, dim=1, keepdim=True)  # [b, c, series, modal] -> [b, 1, series, modal]
    att = self.att_fc(att)                    # [b, 1, series, modal]
    out = x * att
    return out

注意力机制的实现过程包含以下关键步骤：

1. 通道维度聚合：对输入特征在通道维度上取平均值，将多通道信息压缩为单通道表示。
2. 空间注意力计算：通过卷积和 Sigmoid 操作生成空间注意力权重图。
3. 特征加权融合：将注意力权重与原始特征进行逐元素相乘，实现特征的选择性增强。

2.3 设计理念深度分析

空间注意力模块的设计蕴含了深刻的技术考量：

• 信息压缩策略：通过通道维度的平均操作，将多通道的复杂信息压缩为统一的空间表示，既保留了关键信息又降低了计算复杂度。
• 空间敏感性设计：专注于时序轴上的空间注意力计算，符合时序数据处理的特点和需求。
• 权重归一化机制：Sigmoid 函数确保注意力权重的合理性和数值稳定性，避免梯度消失或爆炸问题。
• 特征增强策略：通过逐元素相乘的方式实现特征加权，既保持了原始特征的结构信息，又实现了重要性的动态调节。

3. 网络整体架构设计

class SpatialAttentionNeuralNetwork(nn.Module):
    def __init__(self, train_shape, category):
        super(SpatialAttentionNeuralNetwork, self).__init__()
        self.layer = nn.Sequential(
            nn.Conv2d(1, 64, (3, 1), (2, 1), (1, 0)),
            SpatialAttentionModule(),
            nn.BatchNorm2d(64),
            nn.ReLU(),
            nn.Conv2d(64, 128, (3, 1), (2, 1), (1, 0)),
            SpatialAttentionModule(),
            nn.BatchNorm2d(128),
            nn.ReLU(),
            nn.Conv2d(128, 256, (3, 1), (2, 1), (1, 0)),
            SpatialAttentionModule(),
            nn.BatchNorm2d(256),
            nn.ReLU(),
            nn.Conv2d(256, 512, (3, 1), (2, 1), (1, 0)),
            SpatialAttentionModule(),
            nn.BatchNorm2d(512),
            nn.ReLU()
        )
        self.ada_pool = nn.AdaptiveAvgPool2d((1, train_shape[-1]))
        self.fc = nn.Linear(512 * train_shape[-1], category)

SANN 的整体架构采用四层递进的设计：

• 渐进式特征提取：通道数 64→128→256→512，特征抽象层次递增；在每个卷积层后都集成空间注意力模块，实现全程的特征增强。
• 合理安排 BatchNorm 和 ReLU 的位置：保证训练的稳定性和特征的非线性。
• 保留模态维度：适应不同长度时序输入。

3.1 层次化特征提取策略

3.2 注意力机制的全程集成

SANN 在每个特征提取层后都集成了空间注意力模块，实现了以下优势：

• 多层次特征增强：在不同的抽象层次上都进行特征增强，确保重要信息在整个网络中得到保持和强化。
• 渐进式精细化：随着网络深度的增加，注意力机制能够识别越来越复杂和抽象的重要特征。
• 累积效应：多层注意力的累积效应能够产生更加精准和鲁棒的特征表示。

三、技术细节与实现要点

1. 空间注意力机制设计考量

空间注意力机制的设计遵循以下核心原则：

• 计算效率优化：通过通道维度的平均操作和轻量级卷积实现高效的注意力计算。
• 空间敏感性保持：专注于时序轴上的空间变化，保持对时序模式的敏感性。
• 数值稳定性保证：Sigmoid 激活函数确保注意力权重的数值稳定性和梯度传播的稳定性。
• 模块化设计理念：独立的注意力模块设计便于复用和扩展。

2. 卷积核设计策略

SANN 中卷积核的设计体现了对时序数据特性的深度理解：

• 时序轴专注：(3,1) 卷积核专注时序维度特征提取。
• 模态轴保持：模态轴维度不变，保留多模态空间结构。
• 感受野控制：3×1 感受野捕捉局部时序模式，避免过度平滑。
• 下采样策略：(2,1) 步长在时序轴下采样。

3. 批归一化和激活函数的安排

网络中批归一化和激活函数的安排遵循最佳实践：

• 批归一化位置：在注意力模块之后进行批归一化，确保增强后特征的分布稳定性。
• 激活函数选择：使用 ReLU 激活函数引入非线性，保持计算效率。
• 层间顺序：卷积→注意力→批归一化→激活的顺序确保了特征的有效传播和梯度的稳定回传。

4. 自适应池化和分类头设计

self.ada_pool = nn.AdaptiveAvgPool2d((1, train_shape[-1]))
self.fc = nn.Linear(512 * train_shape[-1], category)

• 保留模态维度：适应不同长度时序输入。
• 全连接设计：512×模态数的输入维度。

5. 计算复杂度分析

SANN 的计算复杂度主要由以下几部分组成：

空间注意力机制的引入带来的额外计算开销相对较小：

• 轻量级设计：注意力模块的参数量和计算量都很小。
• 并行友好：注意力计算可以与主要的卷积操作并行进行。
• 效率提升：通过特征增强和噪声抑制，可能减少训练所需的迭代次数。

6. SANN 与传统方法的对比

四、人体活动识别数据集实战结果

SANN 代表了时序数据处理领域的一个重要进展，为复杂时序模式的识别和分析提供了新的解决思路和技术手段。本节以人体活动识别数据集为例，展示 SANN 的实际应用及其实验结果。

1. 训练结果

基于 SANN 模型在数据集上的性能如下表所示：

验证准确率达到 96.31%，说明模型具有很强的分类能力，宏平均 Precision、Recall、F1-score 均在 96.4% 左右，表明各类别间性能相对均衡，并且推理时间仅 1.61ms，计算效率很高。

2. 每个类别的准确率

• Walking: Precision=0.9685, Recall=0.9826, F1=0.9755, Proportion=0.1670
• Jogging: Precision=0.9711, Recall=0.9773, F1=0.9742, Proportion=0.1500
• Sitting: Precision=0.9964, Recall=0.9751, F1=0.9856, Proportion=0.1364
• Standing: Precision=0.9144, Recall=0.9298, F1=0.9220, Proportion=0.1728
• Upstairs: Precision=0.9358, Recall=0.9186, F1=0.9272, Proportion=0.1850
• Downstairs: Precision=1.0000, Recall=1.0000, F1=1.0000, Proportion=0.1888

Downstairs（下楼）达到完美分类（Precision=1.0, Recall=1.0, F1=1.0），Sitting（坐）：F1-score 为 98.56%，表现优异。

3. 柱状图及准确率和损失曲线图

动态活动（Walking、Jogging、Downstairs）识别效果更好。静态活动（Standing）识别难度较大，可能因为：静态状态下传感器信号变化微弱，与其他相似静态姿态容易混淆。Downstairs 表现完美，而 Upstairs 相对困难，可能下楼时的重力加速度特征更明显，信号模式更容易区分。

训练过程中，模型的训练集与验证集指标表现接近，说明模型泛化能力强，没有出现严重的过拟合现象。SANN 模型在该数据集上取得了很好的性能，兼顾了精度和效率，是一个实用性很强的解决方案。

五、总结与展望

SANN 通过引入空间注意力机制，在时序数据分类任务中取得了优异表现。实验结果显示，模型在人体活动识别数据集上达到 96.31% 的准确率，推理时间仅 1.61ms，展现出精度与效率的良好平衡。该架构特别擅长识别动态活动（如走路、慢跑），对静态活动的区分能力相对较弱。空间注意力机制的轻量化设计使其非常适合实时应用场景，为时序数据处理提供了一个实用的解决方案。