HS-FPN：微小目标检测的频域与空间感知架构

![HS-FPN 模块集成示意图]

核心模块 1：高频感知模块 (HFP)

该模块基于微小目标在频域中表现为细节和边缘（即高频分量）的特性。HFP 利用离散余弦变换（DCT）和预定义的高通滤波器滤除代表背景轮廓的低频信息，产生高频响应。该响应通过**通道路径（CP）动态分配通道权重，并结合空间路径（SP）**生成空间掩码，从而在原始特征图中突出并丰富微小目标的特征表示。

![HFP 模块内部结构图]

高频特征生成器 (High Frequency Generator)：输入特征 $C_i$ 首先通过**离散余弦变换（DCT）**高通滤波器，再通过逆变换（iDCT）得到高频响应图 $F_i$，该步骤能有效滤除干扰背景，提高目标的信杂比（SCR）。滤波器使用超参数 $\alpha$ 来控制过滤范围，即通过将频谱左上角的低频分量置零来"点亮"右下角的高频目标线索。

通道路径 (Channel Path, CP)：为了识别包含更多微小目标信息的通道，模块对 $F_i$ 同时执行全局平均池化（GAP）和全局最大池化（GMP）。为了避免信息损失，特征被池化为固定大小（$k \times k$，$k$ 通常设为 16）而非直接压缩至 1 像素，随后通过 1×1 组卷积和 ReLU 函数生成通道注意力权重 $u_{cp}$，这样做的目的在于动态分配通道权重，突出含有微小目标特征的通道，同时抑制低频同质背景的干扰。

空间路径 (Spatial Path, SP)：利用 1×1 卷积聚合 $F_i$ 的跨通道信息，生成一个空间注意力掩码 $u_{sp}$。该掩码的作用类似于自注意力机制，但由于输入的是已经过滤背景的高频响应，它能更精准地引导模型关注微小目标所在的区域，避免在噪声较多的浅层特征图中产生偏移。

特征融合与精炼 (Feature Refining)：原始特征 $C_i$ 分别与通道权重 $u_{cp}$ 和空间掩码 $u_{sp}$ 进行逐元素相乘（Hadamard 乘积）。将这两路加权后的特征进行像素级求和，并经过一个 3×3 卷积层处理，最终输出增强后的特征 $C_i^{HFP}$。

核心模块 2：空间依赖感知模块 (SDP)

为了解决 FPN 因上采样像素偏移导致的特征对齐不准问题，SDP 引入了类似于 Vision Transformer 的跨注意力机制。它在相邻的上下层特征图之间计算像素级相似度，允许低层特征像素与高层特征中的大范围像素进行交互。这种设计不仅捕获了丰富的空间依赖性，还利用高层特征的语义信息强化了微小目标的表达能力。

![SDP 模块交互示意图]

SDP 模块接收两个相邻层级的特征图作为输入：

• $C_i$：当前层级的浅层特征图（来自骨干网络减小通道后的结果）
• $P_{i+1}$：已经过上采样处理、尺寸与 $C_i$ 一致的上一层级深层特征图。

模块通过三个独立的 1×1 卷积生成 Query (Q)、Key (K) 和 Value (V) 矩阵。其中，Q 源自 $C_i$，而 K 和 V 则源自 $P_{i+1}$。

为了在不限制输入图像尺寸的情况下高效计算，SDP 将 {Q, K, V} 矩阵划分为多个特征块。特征块的大小被设定为与特征金字塔顶层 $C_5$ 的分辨率相同。由于金字塔各层特征图尺寸互为倍数，这种设计能确保完美整除。Q、K、V 被重塑为多个 $q_j$、$k_j$ 和 $v_j$ 块，每个块内包含多个特征点。

PyTorch 实现细节

以下提供了基于 PyTorch 的核心模块复现代码，可直接作为插件集成到现有检测框架中。

HFP 模块

import torch
import torch.nn as nn
import torch.nn.functional as F

class HighFrequencyPerception(nn.Module):
    def __init__(self, channels, alpha=0.25, k=16):
        super(HighFrequencyPerception, self).__init__()
        self.alpha = alpha
        self.k = k
        
        # 1. 空间路径 (SP)
        self.spatial_conv = nn.Sequential(
            nn.Conv2d(channels, 1, kernel_size=1),
            nn.Sigmoid()
        )
        
        # 2. 通道路径 (CP)
        # 论文提到使用 1x1 组卷积来生成通道得分
        self.cp_conv1 = nn.Conv2d(channels, channels, kernel_size=1, groups=channels)
        self.cp_conv2 = nn.Conv2d(channels * 2, channels, kernel_size=1, groups=channels)
        
        # 3. 特征精炼层
        self.refine_conv = nn.Conv2d(channels, channels, kernel_size=3, padding=1)

    def dct_high_pass_filter(self, x):
        """利用高通滤波器生成高频响应 Fi"""
        B, C, H, W = x.shape
        # PyTorch 常用 FFT 模拟 DCT 或直接进行频域掩码
        x_freq = torch.fft.rfft2(x, norm='ortho')
        # 创建高通滤波器 mask
        mask = torch.ones_like(x_freq)
        h_cutoff = int(self.alpha * H)
        w_cutoff = int(self.alpha * W)
        # 滤除左上角低频
        mask[:, :, :h_cutoff, :w_cutoff] = 0
        x_high = x_freq * mask
        return torch.fft.irfft2(x_high, s=(H, W), norm='ortho')

    def forward(self, Ci):
        # 生成高频响应 Fi
        Fi = self.dct_high_pass_filter(Ci)
        
        # 通道路径 (CP)
        # 论文描述：GAP/GMP -> ReLU -> 逐通道求和 -> 1x1 组卷积
        f_gap = F.relu(F.adaptive_avg_pool2d(Fi, self.k)).sum(dim=(2, 3), keepdim=True)
        f_gmp = F.relu(F.adaptive_max_pool2d(Fi, self.k)).sum(dim=(2, 3), keepdim=True)
        u_cp = torch.sigmoid(self.cp_conv2(torch.cat([f_gap, f_gmp], dim=1)))
        
        # 空间路径 (SP)
        u_sp = self.spatial_conv(Fi)
        
        # 特征融合与精炼
        out = (u_cp * Ci) + (u_sp * Ci)
        return self.refine_conv(out)

SDP 模块

class SpatialDependencyPerception(nn.Module):
    def __init__(self, channels):
        super(SpatialDependencyPerception, self).__init__()
        # 生成 Q, K, V
        self.q_conv = nn.Conv2d(channels, channels, kernel_size=1)
        self.k_conv = nn.Conv2d(channels, channels, kernel_size=1)
        self.v_conv = nn.Conv2d(channels, channels, kernel_size=1)
        self.scale = channels ** -0.5

    def forward(self, Ci, Pi_plus_1):
        # 1. 上采样 Pi+1 到 Ci 的尺寸
        Pu = F.interpolate(Pi_plus_1, size=Ci.shape[2:], mode='nearest')
        B, C, H, W = Ci.shape
        
        # 假设这里获取 C5 的分辨率作为块尺寸
        # 实际开发中需根据具体金字塔层级传入 block_h, block_w
        bh, bw = H // (H // 8), W // (W // 8)
        
        Q = self.q_conv(Ci)  # 来自 Ci
        K = self.k_conv(Pu)  # 来自 Pu
        V = self.v_conv(Pu)  # 来自 Pu
        
        # 2. 划分为特征块并重塑
        # 目的是在每个 bh*bw 的块内做像素级 Cross-Attention
        def to_blocks(t):
            # [B, C, H, W] -> [B, n, (bh*bw), C]
            # n 是块的数量
            t = t.unfold(2, bh, bh).unfold(3, bw, bw)
            t = t.permute(0, 2, 3, 4, 5, 1).contiguous()
            return t.view(B, -1, bh * bw, C)

        Q_blk = to_blocks(Q)
        K_blk = to_blocks(K)
        V_blk = to_blocks(V)
        
        # 3. 计算块内像素相似度矩阵 attn
        # attn 尺寸：[B, n, bh*bw, bh*bw]
        attn = torch.matmul(Q_blk, K_blk.transpose(-1, -2)) * self.scale
        attn = F.softmax(attn, dim=-1)
        
        # 4. 加权并聚合块
        out_blk = torch.matmul(attn, V_blk)
        # [B, n, bh*bw, C]
        
        # 5. 还原为原始形状并与 Ci 相加
        out = out_blk.view(B, H // bh, W // bw, bh, bw, C)
        out = out.permute(0, 5, 1, 3, 2, 4).contiguous().view(B, C, H, W)
        return out + Ci

实现要点

1. HFP 的超参数 $\alpha$：建议在 AI-TOD 数据集上设为 0.25。这决定了低频过滤的范围，直接影响信杂比（SCR）。
2. SDP 的块划分：SDP 与 ViT 的本质区别在于，它是块内像素交互，而 ViT 是块间交互。必须确保块的大小与顶层特征图（C5）对齐，以保证特征的一致性。
3. 计算代价：虽然 HS-FPN 在侧向连接中增加了这两个模块，但它保持了与传统 FPN 类似的整体结构，因此可以直接作为"插件"替换原有的侧向连接部分。