MambaRefine-YOLO：一种用于无人机影像的双模态小目标检测器

图 2：双门控互补 Mamba 融合模块由四个主要阶段组成：(1) 光照门控和差异门控生成自适应权重，(2) 双门控融合结合 RGB 和 IR 特征，(3) 双向 Mamba 处理融合特征以捕获全局上下文，以及 (4) 特征优化与集成利用残差连接和融合 - 混洗机制生成最终的特征金字塔。

表一：在 DroneVehicle 数据集上与最先进方法的比较。所有方法均使用 [email protected] 指标进行评估。最佳结果为粗体，次佳结果带下划线。

II-B 分层特征聚合颈部

传统的特征金字塔网络在处理无人机影像时常常遇到困难，因为多尺度特征的直接融合会导致空间错位和语义冲突，严重阻碍小目标检测。为了解决这个问题，我们提出了一种'先优化后融合'的策略。这种方法优先进行有针对性的特征优化，以确保在融合之前的信息质量和空间一致性。我们的分层特征聚合颈部就是为实现这一原则而设计的。

HFAN 的核心是自适应尺度融合块（图 1），它通过三个关键模块实现所提出的策略。

1. 内容重建上采样器。深度特征通常会丢失对小目标检测至关重要的高频细节。为了缓解这个问题，我们提出了内容重建上采样器。该模块利用内容感知的特征重组 [wang2019carafe]，预测由局部语义引导的动态内核，以便在上采样过程中有效地恢复目标细节。该过程定义为：F_out(i,j) = ∑{(p,q)∈𝒩k(i,j)} K_i,j(p,q) ⋅ F_in(p,q) (7) 其中 𝒩_k(i,j) 是 k×k 邻域，K_i,j 是预测的重组内核。
2. 几何对齐下采样器。相反，浅层特征通常包含由变化的无人机视角引起的几何失真，导致空间错位。为了解决这个问题，我们引入了几何对齐下采样器。通过结合自适应可变形采样 [zhu2019deformable]，该模块使用学习到的 2D 偏移和调制因子来增强采样网格。这使得网络能够在下采样过程中建模几何变化并对齐特征。该过程表述为：F_out(p0) = ∑_{pn∈ℛ} w(pn) ⋅ F_in(p0 + pn + Δpn) ⋅ mn (8) 其中 ℛ 是规则网格，而 Δpn 和 mn 是学习到的采样偏移和调制标量。
3. 自适应加权融合器。为了有效地将优化后的特征与中层表示集成，我们引入了自适应加权融合器。该模块利用快速归一化加权和策略 [tan2020efficientdet]，动态学习三个输入（F_deep', F_mid, 和 F_shallow'）的贡献权重。这种机制使网络能够自适应地强调显著信息，同时抑制噪声。融合定义为：F_fused = (w1 F_deep' + w2 F_mid + w3 F_shallow') / (w1 + w2 + w3 + ϵ) (9) 其中 wi 是可学习的标量权重，ϵ 是一个用于数值稳定性的小常数。
4. 架构与预测。通过在双向自上而下和自下而上路径中堆叠 ASFB，HFAN 生成了一个富含语义和空间信息的特征金字塔 {P2', P3', P4', P5'}。为了充分利用高分辨率的 P2' 特征图，我们引入了一个专用于小目标检测的第四检测头。与现代实践一致 [Github'24]，所有检测头都采用解耦架构，将分类和边界框回归任务分开。

实验

III-A 实验设置

数据集。我们在两个不同的、具有挑战性的无人机数据集上进行实验，以全面验证我们的方法。

• DroneVehicle: 一个用于车辆检测的大规模双模态（RGB-IR）数据集。我们用它来评估我们完整的 MambaRefine-YOLO 模型的性能。
• VisDrone: 一个大规模、极具挑战性的单模态（RGB）数据集。我们用它来测试我们提出的 HFAN 的泛化能力和独立有效性。

指标与细节。我们使用平均精度均值作为主要准确度指标。我们还报告了参数以进行效率分析。所有模型均在 PyTorch 2.0.0 中实现，并在单个 NVIDIA RTX 4090 GPU 上使用 AdamW 优化器训练 300 个周期，输入尺寸为 640×640。

III-B 在双模态数据上的评估（DroneVehicle）

在本节中，我们在 DroneVehicle 数据集上评估完整的 MambaRefine-YOLO 模型，以证明我们双模态策略的有效性。

与最先进技术的比较。如表 I 所示，我们的模型与各种双模态检测器进行了比较。虽然单模态 YOLO11 基线显示出有限的性能，但我们的 MambaRefine-YOLO 实现了卓越的 83.5% mAP。值得注意的是，它比基于 Transformer 的 CFT [fang2021_cft] 显著高出 6.3% 的边际，并且超过了最近的 SOTA UAVD-Mamba [Li2025UAVD-Mamba]，证明了我们基于 Mamba 的融合策略的强大有效性。

表二：在 DroneVehicle 数据集上对 MambaRefine-YOLO 关键组件的消融研究。'Concat'表示简单的特征拼接，'Uni-Mamba'和'Bi-Mamba'分别对应单向和双向基于 Mamba 的融合，'+ DGC-Gate'表示启用我们的双门控互补 Mamba 融合模块。最佳结果为粗体。

表三：在 VisDrone 数据集上与最先进检测器的比较。我们的模型实现了极具竞争力的性能与参数权衡。最佳结果为粗体。

组件消融研究。为了剖析我们两个主要创新的贡献，我们在 DroneVehicle 上进行了消融研究，结果呈现在表 II 中。基线模型使用简单的拼接进行融合和一个标准的 FPN。将标准 FPN 替换为我们的 HFAN 可获得 +1.1% 的 mAP 增益（80.5%），证明了我们分层聚合的有效性。在融合方面，用 Uni-Mamba 替换拼接将性能提高到 81.0%，升级到完整的 DGC-Gate Mamba 进一步提升了性能。最后，当完整的融合模块和 HFAN 一起使用时，模型达到了 83.2% 的最佳结果，证明了它们的协同效应。

III-C 在单模态数据上的泛化性（VisDrone）

为了验证我们提出的 HFAN 的独立价值和普遍适用性，我们调整了我们的模型以适应单模态任务。我们构建了一个名为 HFAN-YOLO 的变体，通过将 YOLOv8 中的标准 FPN 颈部替换为我们的 HFAN，同时保留原始的单流骨干网。我们在具有挑战性的 VisDrone 数据集上评估了小尺度（S）和中尺度（M）版本。

与最先进技术的比较。表 III 将 HFAN-YOLO 与其他 SOTA 检测器进行了比较。我们的 HFAN-YOLO-M 达到了 49.4% mAP，显著优于基线 YOLOv8m（40.3%）和最近的 YOLOv12m（41.2%）。此外，它超过了专门的端到端检测器，如 [deim_ref]（45.6%）和 QueryDet [querydet_ref]（48.1%），同时保持了有利的参数数量（25.66M）。这表明 HFAN 作为一个强大的即插即用模块，可以在不过度增加计算成本的情况下显著提高检测性能。

HFAN 消融研究。我们在 VisDrone 上进行了详细的消融研究，以分析 HFAN 的内部组件，如表 IV 所示。请注意，出于效率考虑，此分析是在 HFAN-YOLO-N 尺度上进行的。将完整模型与 FPN 基线进行比较，我们的 HFAN 带来了显著的 +6.0% 改进。为了验证特定模块，我们采用'逐一移除'策略：移除分层结构导致最大的 3.6% 下降，强调了我们的多尺度聚合的重要性。类似地，排除内容重建上采样器、几何对齐下采样器或自适应加权融合器分别导致性能下降 1.9%、2.0% 和 1.1%，确认所有组件对于'先优化后融合'的设计都是必不可少的。

表四：在 VisDrone 数据集上对核心组件的消融研究。下降量（↓）是相对于完整模型计算的。

图 3：MambaRefine-YOLO（我们的）与 SOTA 方法在 DroneVehicle（RGB/IR 融合）上的定性结果。红色和黄色圆圈突出显示了误检和漏检。

III-D 定性结果

图 3 可视化了在 DroneVehicle 数据集上与真实值、YOLO11 和 CFT 相比的检测性能。如红色圆圈所突出显示，基线 YOLO11 存在漏检和误检，特别是在低光区域。虽然基于 Transformer 的 CFT 提高了稳定性，但它仍然未能召回特定的目标，如货车和卡车。相比之下，我们的 MambaRefine-YOLO 有效地纠正了这些错误。通过利用鲁棒的跨模态特征，它准确地检测了其他方法失败的小型和被遮挡物体，与真实值密切吻合。

结论

在本文中，我们提出了 MambaRefine-YOLO，一个将双门控互补 Mamba 融合模块和分层特征聚合颈部协同结合的新型框架。大量实验验证了这些贡献的独特价值：DGC-MFM 在双模态 DroneVehicle 数据集上建立了新的技术水准（83.2% mAP），在复杂照明条件下显著优于基于 Transformer 的替代方案。同时，独立的 HFAN 在单模态 VisDrone 数据集上展示了卓越的泛化能力，超过了最近的检测器如 YOLOv12。通过有效平衡跨模态交互和小目标优化，我们的方法在准确性和效率之间提供了优越的权衡，使其成为实时无人机监视的理想解决方案。