Fusion-Mamba：用于跨模态目标检测（CVPR 2024）

h'(t) = Ah(t) + Bx(t)
y(t) = Ch(t) + Dx(t)

其中，系统行为由一组参数定义，包括状态转移矩阵 A ∈ R^{N×N}、投影参数 B、C ∈ R^{N×1} 以及跳跃连接 D ∈ R。为简化说明，一般通过设置 D = 0 移除 Dx(t) 项。

2.1.2 离散化

考虑到计算机易于处理离散数据，因此通过离散化操作将 ODEs 离散化：

h_k = Ā h_{k-1} + B̄ x_k
y(t) = C̄ h_k + Dx_k
Ā = e^{ΔA}
B̄ = (ΔA)^{-1}(e^{ΔA} - I)ΔB
C̄ = C

其中，B、C ∈ R^D，I 为单位矩阵，B̄ 和 C̄ 分别为 B，C 的离散化表达，Δ 为时间尺度参数，即离散化后的时间步长。离散化后，SSMs 通过结构化卷积核 K̃ ∈ R^D 的全局卷积计算：

y = x * K̄, K = (CB̄, CA̅B̄, ..., CA̅^{L-1}B̄)

2.1.3 二维选择性扫描 (SS2D)

二维视觉数据与一维语言序列的不兼容性导致曼巴（Mamba）无法直接应用于视觉任务。为解决这一问题，提出了二维选择性扫描（2D Selective Scan, SS2D）机制，其流程如图 3 所示。

SS2D 首先将图像块向四个不同方向扩展，生成四个独立序列；这种四向扫描策略确保特征图中的每个元素都包含来自不同方向所有其他位置的信息，从而在不增加线性计算复杂度的前提下构建全面的全局感受野。

随后，每个特征序列通过选择性扫描状态空间序列模型（S6）进行处理，最后通过聚合特征序列重构二维特征图。

首先，图像经扫描扩展生成四个不同的特征序列；随后，每个序列通过 S6 块独立处理；最后，聚合 S6 块的输出，生成最终的二维特征图。

2.2 Fusion Mamba

2.2.1 架构

本文模型架构如图 2 所示，其检测骨干网络由双流特征提取网络和三个 融合 - 曼巴块（FMB） 组成，特征提取网络从 RGB 和红外图像中提取局部特征，分别记为 F_Ri 和 F_IRi；随后，将这两个特征输入 FMB，通过在隐藏状态空间中关联跨模态特征，减小跨模态特征差异并增强融合特征的表示一致性。

本文中，FMB 仅添加到最后三个阶段，生成融合特征 P_3、P_4 和 P_5，这些特征作为 YOLOv8 颈部和头部的输入，最终生成检测结果。

2.2.2 核心组件

2.2.2.1 卷积块

给定输入 RGB 图像 I_R 和红外图像 I_IR，将其输入一系列卷积块以提取局部特征：

F_Ri = φ_i ⋯ (φ_2(φ_1(I_R)))
F_IRi = φ_i ⋯ (φ_2(φ_1(I_IR)))

其中，φ_i 和 φ_i 分别表示 RGB 和红外分支在第 i 阶段的卷积块。

2.2.2.2 SSCS 模块

该模块通过 通道交换 操作和 VSS 块，增强跨模态特征交互以实现 浅层融合。通过整合不同通道的信息构建跨模态特征关联，丰富通道特征的多样性，提升融合性能。

1. 通道交换 采用通道交换操作生成 RGB 和红外的新局部特征 T_Ri 和 T_IRi，其公式为：

T_Ri = CS(F_Ri, F_IRi), T_IRi = CS(F_IRi, F_Ri)

其中，CS(・,・) 为通道交换操作，通过通道分割和拼接实现：首先将局部特征 F_Ri 和 F_IRi 沿通道维度均分为四等份；然后，从 F_Ri 中选取第 1 和第 3 部分，从 F_IRi 中选取第 2 和第 4 部分，按顺序拼接生成 RGB 新局部特征 T_Ri；同理生成红外新局部特征 T_IRi。

2. 跨模态交互 对 T_Ri 和 T_IRi 应用 VSS 块，从浅层特征增强跨模态交互：

F~_Ri = VSS(T_Ri), F~_IRi = VSS(T_IRi)

其中，VSS(・) 表示图 2 中的 VSS 块；F~_Ri 和 F~_IRi 分别为 RGB 和红外模态的浅层融合特征输出。

2.2.2.3 DSSF 模块

为进一步减小模态差异，构建用于跨模态特征关联与互补的隐藏状态空间。

DSSF 模块通过建模跨模态目标关联，促进特征融合。具体而言，采用 VSS 块将两种模态的特征投影到隐藏状态空间，并利用 门控 机制构建双向隐状态转换，实现跨模态深层特征融合。

1. 投影到隐藏状态空间 得到浅层融合特征 F~_Ri 和 F~_IRi 后，首先通过 无门控 的 VSS 块 将其投影到隐藏状态空间：

y_Ri = Pin(F~_Ri), y_IRi = Pin(F~_IRi)

其中，Pin(・) 表示将特征投影到隐藏状态空间的操作（详细实现见算法 1 第 13-17 行）；y_Ri 和 y_IRi 表示 隐状态特征。

2. 生成门控参数 对 F~_Ri 和 F~_IRi 进行投影，得到门控参数 z_Ri 和 z_IRi：

z_Ri = f_θi(F~_Ri), z_IRi = g_ωi(F~_IRi)

其中，f_θi(・) 和 g_ωi(・) 分别表示双流中带有参数 θ_i 和 ω_i 的门控操作。

3. 隐状态特征融合 利用式中的门控输出 z_Ri 和 z_IRi 对 y_Ri 和 y_IRi 进行调制，实现隐状态特征融合：

y'_Ri = y_Ri · z_Ri + z_Ri · y_IRi
y'_IRi = y_IRi · z_IRi + z_IRi · y_Ri

其中，y'_Ri 和 y'_IRi 分别表示融合后的 RGB 和红外隐状态特征；'·' 表示按元素乘积。

4. 残差连接与特征增强 将 y'_Ri 和 y'_IRi 投影回原始空间，并通过残差连接得到互补特征 F̄_Ri 和 F̄_IRi：

F̄_Ri = Pout(y'_Ri) + F~_Ri
F̄_IRi = Pout(y'_IRi) + F~_IRi

其中，Pout(・) 表示带有线性变换的投影操作。

增强特征表示：

F^_Ri = F_Ri + F̄_Ri, F^_IRi = F_IRi + F̄_IRi

2.2.2.4 FMB 算法（算法 1）

2.2.2.5 损失函数

经 FMB 处理后，RGB 和红外的增强特征（即 F^_Ri 和 F^_IRi）通过加法进一步融合，生成融合特征 P_i 作为颈部输入，以提升检测性能。

总损失函数定义为：

L = λ_coord L_coord + L_conf + L_class

其中，λ_coords 为调节定位损失 L_coords 权重的超参数，L_conf 为置信度损失，L_class 为分类损失。

2.2.3 与基于 Transformer 的融合方法对比

现有基于 Transformer 的跨模态融合方法通过卷积对特征进行展平与拼接，生成中间融合特征，再通过多头交叉注意力进一步融合得到最终特征。这些方法仅通过空间交互无法有效减小模态差异，因为难以建模跨模态特征的目标关联。本文的 FMB 块通过四向扫描特征获得四组图像块，有效保留特征的局部信息；同时，将这些图像块映射到隐藏空间进行特征融合，这种基于映射的深层特征融合方法通过双向门控注意力有效减小了空间差异，进一步抑制冗余特征并捕捉模态间的互补信息。因此，所提 FMB 块减小了跨模态特征差异，增强了融合特征的表示一致性。

此外，Transformer 全局注意力的时间复杂度为 O(N²)，而曼巴（Mamba）的时间复杂度仅为 O(N)（N 为序列长度）。从实验角度来看，在相同的检测模型架构下，用 Fusion-Mamba 块替换基于 Transformer 的融合模块，对单对图像的推理时间可节省 7-19ms（实验部分将详细讨论）。

3. 实验

3.1 实验设置

3.1.1 数据集

实验在三个广泛使用的可见光 - 红外（RGB-IR）基准数据集上进行评估，覆盖低光、多场景及昼夜环境，具体信息如下：

• LLVIP：低光环境下的行人检测数据集，包含 15,488 对对齐的 RGB-IR 图像。数据采集于夜间低光照条件，聚焦行人目标检测。遵循官方划分，使用 12,025 对图像训练，3,463 对测试。
• M³FD：多模态多场景数据集，包含 4,200 对对齐的 RGB-IR 图像，覆盖不同光照（如强光、弱光）、季节（春、夏、秋、冬）和天气（晴、雨、雾）场景。数据涵盖自动驾驶和道路监控中常见的 6 个类别（行人、车辆、自行车等）。由于无官方划分，采用文献 [18] 的训练/测试分割。
• FLIR：昼夜场景数据集，包含 5 个类别（人、汽车、自行车、狗、其他车辆）。遵循文献 [38]，使用 FLIR-Aligned 子集，其中 4,129 对训练，1,013 对测试。

3.1.2 评估指标

采用目标检测领域最常用的两个指标：

• mAP₅₀：IoU 阈值为 0.50 时的平均精度（Average Precision），反映模型对目标定位和分类的基础能力；
• mAP：IoU 阈值在 0.50 到 0.95（步长 0.05）范围内的平均精度，综合评估模型在不同重叠度下的鲁棒性。

此外，报告在 A800 GPU 上对输入尺寸为 640×640 的图像进行 5 次运行评估的平均推理时间（单位：ms），衡量模型的计算效率。

3.1.3 实现细节

所有实验基于双流框架 [6]，在单张 A800 GPU 上完成。默认使用 YOLOv5-l 或 YOLOv8-l 作为主干网络（Backbone），颈部（Neck）和头部（Head）结构与对应 YOLO 版本保持一致。训练超参数设置如下：

• 批量大小（Batch Size）：4；
• 优化器：SGD，动量（Momentum）0.9，权重衰减（Weight Decay）0.001；
• 输入尺寸：640×640；
• 训练轮次（Epochs）：150；
• 初始学习率（Initial LR）：0.01；
• Fusion-Mamba 模块参数：SSCS 模块数量 1，DSSF 模块数量 8；
• 定位损失权重：λ_coord = 7.5（其他超参数与 YOLOv8 默认配置一致）。

3.2 与现有最优方法的对比

3.2.1 LLVIP 数据集

为验证 Fusion-Mamba 的有效性，我们在 LLVIP 数据集上与两类方法对比：单模态检测方法（仅 RGB 或仅 IR）和多光谱融合方法（同时利用 RGB-IR 特征）。实验结果如表 1 所示（此处假设表 1 为对比数据）。

LLVIP 作为低光行人检测数据集，单模态检测中 IR 模态因对光照不敏感，性能普遍优于 RGB 模态（如仅 IR 的 Cascade R-CNN mAP 为 58.4%）。融合方法通过跨模态信息互补，理论上应优于单模态检测。

• 与单模态方法对比：基于 ResNet50 主干的 RSDet（融合方法）在 LLVIP 上 mAP 为 62.9%，较仅 IR 的 Cascade R-CNN（58.4%）提升 4.5%；而仅 IR 的简单 YOLOv5 框架（无融合）已达到 61.9% mAP，显著优于部分融合方法（如 DIVFusion 仅 9.9% mAP），说明低质量融合可能破坏 IR 模态的固有优势。
• 与多光谱融合方法对比：在相同 YOLOv5 主干下，Fusion-Mamba 的 mAP 为 62.8%（较仅 IR 的 YOLOv5 提升 0.9%），较 RSDet（61.3%）提升 1.5%。核心优势源于 SSCS 模块的浅层通道交换（增强跨模态信息交互）和 DSSF 模块的深层门控融合（抑制冗余特征并捕捉互补信息），有效减少了模态差异，提升了融合特征的表示一致性。
• 与 YOLOv8 主干对比：基于 YOLOv8-l 的 Fusion-Mamba 进一步优化了性能，达到 mAP₅₀=97.0%、mAP=64.3%，为当前 LLVIP 上的最优结果。

3.2.2 M³FD 数据集

我们将我们的方法与 7 种基于 YOLOv5 的现有最优检测器和 1 种基于 YOLOv7 的现有最优检测器进行比较。如表 2 所示，与基于相同 YOLOv5 主干的现有最优方法相比，我们的 Fusion-Mamba 在所有类别上使用 mAP₅₀和 mAP 指标均表现最佳；基于 YOLOv8 主干的方法在 People、Bus、Motorcycle 和 Truck 类别上实现了新的现有最优结果，同时 mAP₅₀和 mAP 指标进一步提升了 3% 和 4.4%。此外，尽管 YOLOv5 的特征表示能力低于 YOLOv7，我们使用 YOLOv5 主干的方法仍比基于 YOLOv7 的 SuperFusion 高出 1.5% mAP 和 mAP₅₀，这得益于我们 FMB 的有效性，提升了跨模态特征的固有互补性。

3.2.3 FLIR-Aligned 数据集

如表 3 所示，Fusion-Mamba 在 Aligned-FLIR 数据集上也表现最佳。与基于双流 YOLOv5 主干的 CrossFormer 相比，我们基于 YOLOv8 和 YOLOv5 的方法在 mAP₅₀上分别超越它们 5.6% 和 5%，在 mAP 上分别超越 4.9% 和 2.3%。我们还比 RSDet 高出 3.8% mAP₅₀和 5.6% mAP。在速度方面，我们使用 YOLOv5 的方法实现了最快速度，与基于 Transformer 的 CFT 和 CrossFormer 方法相比，一对图像的检测分别节省 7ms 和 19ms。在参数方面，我们基于 YOLOv5 的方法比 CrossFormer 方法节省约 100M 参数。尽管我们基于 YOLOv8 的方法比 YOLOv5 增加了约 40M 参数，但 mAP 显著提升了 2.6%。该结果表明，我们基于隐藏空间建模的方法更好地整合了不同模态之间的特征，抑制了模态差异，以最佳的性能和计算成本权衡增强了融合特征的表示能力。

3.2.4 热力图可视化

为直观展示我们模型的高性能，我们从三个实验数据集中各随机选择一对图像，可视化 P₅热力图，并与其他融合方法进行比较。如图 5 所示，与其他方法相比，我们的模型更聚焦于目标，而非分散或聚焦于无关部分。更多示例见补充材料。我们还在补充材料中可视化了目标检测结果，以评估我们方法的有效性。

3.3 消融实验

我们使用 FLIR-Aligned 数据集进行消融实验，以分别验证 SSCS 和 DSSF 模块的有效性，并进一步探索 DSSF 模块数量和位置的影响。特别地，我们还评估了 DSSF 模块双向注意力的效果。所有实验均基于 YOLOv8 主干进行。

3.3.1 SSCS 和 DSSF 模块的影响

FMB 中移除 SSCS 和 DSSF 的结果汇总于表 4。

移除 SSCS 模块后（表 4 第二行），检测器性能在 mAP₅₀和 mAP 上分别下降 2% 和 1.1%。原因在于，没有两模态特征的初始交换和浅层映射融合，在后续深层融合中特征差异未得到有效减少。同时，没有 DSSF（表 4 第三行），仅浅层融合交互无法在特征融合过程中有效抑制冗余特征并激活有效特征，导致检测器性能在 mAP₅₀和 mAP 上分别下降 2.5% 和 2.4%。同时移除 SSCS 和 DSSF，直接通过两局部模态特征相加获得融合特征（表 4 第四行），其性能在 mAP₅₀和 mAP 上分别显著下降 4.8% 和 7.6%。这些结果表明，FMB 的这两个组件对跨模态目标检测有效。

3.3.2 FMB 位置的影响

遵循 [6,14] 的工作，我们也设置三个 FMB 用于特征融合。在此，我们进一步探索 FMB 位置的影响，即应在哪些阶段添加 FMB。我们选择三组多级特征：P₂, P₃, P₅、P₂, P₄, P₅ 和 P₃, P₄, P₅ 进行消融实验，其中 P_i 是使用 FMB 在第 i 阶段的融合特征。如表 5 所示，位置 P₃, P₄, P₅ 在性能和计算复杂度之间实现了最佳权衡，因此我们默认选择此位置进行实验。

表 5. FLIR-Aligned 数据集上 FMB 位置的影响。

3.3.3 DSSF 模块数量的影响

我们已在表 4 中验证了 DSSF 的有效性，在此进一步评估 DSSF 模块数量的影响，结果汇总于表 6。

我们选择四种 DSSF 数量（即 2、4、8、16），并保持其他模型设置与上述实验一致。可以看出，模块数量设置为 8 时实现最佳性能，8 个 DSSF 模块将达到饱和，增加数量会导致互补特征漂移，从而降低融合性能。

3.3.4 DSSF 模块双向注意力的影响

为进一步探索我们门控机制中 DSSF 模块双向注意力的有效性，我们分别移除 RGB 分支中的 IR 注意力（即式 9 中的 z_IRi · y_Ri）、IR 分支中的 RGB 注意力（即式 10 中的 z_IRi · y_Ri）以及双向注意力。结果如表 7 所示。移除 IR 注意力或 RGB 注意力后，由于减少了两特征间的注意力交互，mAP₅₀分别下降 1.6% 或 1.1%；当移除双向注意力时，DSSF 模块变为 VSS 块的堆叠，mAP₅₀下降 2%。值得注意的是，IR 和 RGB 注意力分支与其他分支共享权重，与移除双向注意力相比，这相当于仅添加激活函数和特征加法操作。因此，双向注意力的使用对模型参数和运行时间没有显著影响，但显著提升了检测性能。

4. 结论

本文提出了一种新颖的 Fusion-Mamba 方法，通过精心设计的 SSCS 模块和 DSSF 模块实现多模态特征融合。具体而言，SSCS 交换红外和可见光通道特征以实现浅层特征融合；随后，DSSF 进一步设计用于在基于 Mamba 的隐藏状态空间中实现更深层的多模态特征交互，门控注意力用于抑制冗余特征以增强特征融合的有效性。在三个公共 RGB-IR 数据集上进行的大量实验表明，我们的方法实现了现有最优性能，且推理效率高于 Transformer。我们的工作证实了 Mamba 在跨模态融合中的潜力，相信我们的工作能为 Mamba 在跨模态任务中的应用激发更多研究。