MambaYOLO: 一种基于状态空间模型的简单目标检测基线

$$h'(t)=\overline{\mathbf{A}}h_{t-1}+\overline{\mathbf{B}}x_{t} \tag{5}$$

$$y_{t}=\mathbf{C}h_{t} \tag{6}$$

整个序列变换也可表示为卷积形式，其定义如下：

$$\overline{\mathbf{K}}=(\mathbf{C}\overline{\mathbf{B}},\mathbf{C}\overline{\mathbf{A}}\overline{\mathbf{B}},...,\mathbf{C}\overline{\mathbf{A}}^{L-1}\overline{\mathbf{B}}) \tag{7}$$

$$y=x*\overline{\mathbf{K}} \tag{8}$$

其中，K ∈ RL 表示结构化卷积核，L 表示输入序列的长度。在本文提出的设计中，该模型采用卷积形式进行并行训练，并利用线性递归公式实现高效的自回归推理。

2.2 综述

![图 2：MambaYOLO 架构概览]

图 2 展示了 MambaYOLO 的架构概览。目标检测模型由 ODMamba 主干和颈部两部分组成。ODMamba 包含简单茎干和下采样模块。在颈部部分，我们采用 PAFPN 的设计方案，用 ODSSBlock 模块替代 C2f，以捕捉更丰富的梯度信息流。主干首先通过 Stem 模块进行下采样，生成分辨率 HxW 的二维特征图。因此，所有模型均由 ODSSBlock 模块后接 VisionClueMerge 模块构成，用于进一步下采样。在颈部区域，我们采用 PAFPN 的设计方案，用 ODSSBlock 替代 C2f，其中 Conv 模块专门负责下采样。

2.3 simple stem

现代视觉 Transformer（ViTs）通常采用分块图像作为初始模块，将图像分割为互不重叠的区域。这种分割过程通过卷积运算实现，其卷积核尺寸为 4×4，步长为 4。然而，近期研究（如 EfficientFormerV2 的 Li 等人 2023 年研究）表明，该方法可能限制 ViTs 的优化能力，影响整体性能。为在性能与效率之间取得平衡，论文提出了一种精简的主干层设计。该方案摒弃了非重叠图像块，转而采用两个步长为 2、卷积核尺寸为 3 的卷积操作。

2.4 Vision Clue Merge

视觉线索融合虽然卷积神经网络和视觉图卷积器结构通常采用卷积进行下采样，发现这种方法会干扰 SS2D 在不同信息流阶段的选择性操作。为解决这一问题，VMamba 通过 1 × 1 卷积对二维特征图进行分割和降维。研究结果表明，保留更多视觉线索以 SSM 模型训练效果更佳。与传统维度减半方法不同，论文通过以下方式优化该过程：

1. 消除规范。
2. 分割维度映射。
3. 向通道维度添加冗余特征图。
4. 采用 4 ×压缩逐点卷积进行下采样。

与使用步长为 2 的 3 × 3 卷积不同，论文的方法保留了由 SS2D 从上一层选择的特征图。

2.5 ODSSBlock

![图 3：ODSSBlock 结构]

如图 3 所示，ODSSBlock 是 Mamba YOLO 的核心模块，在输入阶段，它通过一个 ConvModule，使网络能够学习更深层、更丰富的特征表示。假设输入特征 Z 的形状为 R，我们有：

$$Z^{l-2}=\sigma\left(BatchNorm\left(ConvModule(Z^{l-3})\right)\right) \tag{9}$$

其中σ表示激活函数（非线性 SiLU）。ODSSBlock 的层归一化与残差链接设计借鉴了 Transformer Blocks 架构风格，使得模型在深度堆叠存在时仍能高效运行并进行训练。

$$Z^{l-1}=SS2D\left(LayerNorm(Z^{l-2})\right)+Z^{l-2} \tag{10}$$

$$Z^{l}=RGBlock\left(LayerNorm(Z^{l-1})\right)+Z^{l-1} \tag{11}$$

ODSSBlock 可解耦为两个独立的功能组件 SS2D（·）和 RGBlock（·），分别用于全局空间信息传播和信道信息传播，其中 Z 表示 SS2D 后的中间状态。SS2D 算法包含扫描扩展、S6 模块和扫描合并三个核心步骤，其主要流程如图 3 所示。扫描扩展操作将输入图像分解为多个子图像，每个子图像对应特定方向。从对角线视角观察时，该操作会沿四个对称方向进行扫描：自上而下、自下而上、左右方向以及从右向左的字元方向。这种布局不仅全面覆盖了输入图像的所有区域，还通过系统化方向变换为后续特征提取提供了丰富的多维信息基础，从而显著提升了图像特征多维捕捉的效率与全面性。SS2D 中的扫描合并操作将生成的序列作为输入传递至 S6 模块并融合来自不同方向的序列，从而将特征提取为全局特征。

2.6 RG Block

RG Block 原始 MLP 仍然是最广泛采用的，VMamba 架构中的 MLP 也遵循 Transformer 设计，通过对输入序列进行非线性变换来增强模型的表达能力。近期研究 Gated MLP（Dauphin 等人 2017；Rajagopal 和 Nirmala 2021）表明其在自然语言处理中表现强劲，我们发现门控机制在视觉领域同样具有潜力。图 3 中，本文提出残差门控块的简单设计旨在以更低计算成本提升模型性能，RG Block 通过从输入 fIA 和 fIB 分别生成两个分支来保留全局与局部信息，T（·）表示线性层。

$$\mathcal{R}{\text{local}}^{l-1}=\mathcal{T}{\text{local}}^{l-1}(f_{A}^{\prime}) \tag{12}$$

$$\mathcal{R}{\text{global}}^{l-1}=\mathcal{T}{\text{global}}^{l-1}(f_{B}^{\prime}) \tag{13}$$

global 深度可分离卷积被用作 Rl- 分支上的位置编码模块，通过残差拼接在训练期间更高效地反向传播梯度，这具有较低的计算成本，并通过保留和利用图像的空间结构信息显著提升性能。RG Block 采用非线性 GeLU 作为激活函数来控制每个层级的信息流动。

$$\mathcal{Y}(x)=\Phi(DWConv(x)\oplus x) \tag{14}$$

通过 Y（x）传递的局部信息与 Rl- 的全局信息相乘，全局特征通过线性层进行细化以融合局部通道的信息，并允许残差连接与 fIA 的原始输入及隐藏层特征相加。RG Block 在仅产生轻微计算成本增加的情况下捕获了更多全局与局部特征，其输出特征定义如下：

$$\mathcal{R}{\text{fusion}}^{l}=\mathcal{R}{\text{global}}^{l-1}\odot\mathcal{Y}(\mathcal{R}_{\text{local}}^{l-1}) \tag{15}$$

$$f_{RG}=\mathcal{T}{\text{fusion}}^{l}(\mathcal{R}{\text{fusion}}^{l})\oplus f_{A}^{\prime} \tag{16}$$

其中 Φ 表示激活函数（非线性 GELU）。本文中，RGBlock 的门控机制通过整合卷积操作来保留空间信息，同时使模型对图像中的细粒度特征更加敏感。与传统 MLP 相比，RGBlock 将全局依赖关系和全局特征传递至每个像素，以捕捉相邻特征间的依赖关系，从而丰富上下文信息，进一步提升模型的表达能力。

3 实验

3.1 对比实验

![图 4：对比实验结果]

![图 5：对比实验结果]

与现有技术对比表 1 展示了 MSCOCO val 的实验结果，表明论文提出的方法在浮点运算量、参数数量、精度与 GPU 延迟之间实现了最佳平衡。具体而言，相较于 ppyoloe-S/YOLO-MS-XS 等高性能微型轻量模型，Mamba YOLO-T 的平均精度分别提升了 1.1%/1.5%，GPU 推理延迟则缩短了 0.9ms/0.2ms。当与精度相当的基线模型 YOLOv8-S 对比时，Mamba YOLO-T 不仅将参数量减少了 48%、浮点运算量降低了 53%，还使 GPU 推理延迟降低了 0.4ms。与参数量和浮点运算量相近的 Gold-YOLO-M 相比，Mamba YOLO-B 的平均精度（AP）提升了 3.7%。即便与精度相当的 ppyoloe-M 相比，Mamba YOLOB 仍能将参数量减少 18%、浮点运算量降低 9%，同时将 GPU 推理延迟缩短 1.8 毫秒。对于大型模型，Mamba YOLO-L 在所有高级目标检测器中均展现出更优或相当的性能。相较于表现最佳的 Gold-YOLO-L，Mamba YOLO-L 在参数量减少 0.9% 的同时，平均精度提升了 0.3%。如表格所示，采用零样本训练方法的 Mamba YOLO-T 表现优于其他所有训练方法。

3.2 消融实验

![图 6：Clue Merge 消融]

独立地检查 ODSSBlock 中的每个模块，并在没有 Clue Merge 的情况下使用传统卷积进行下采样，以评估 Clue Merge 对精度的影响。Mamba YOLO 在 MSCOCO 数据集上进行测试，以开展消融实验，测试模型为 Mamba YOLO-T。结果表 2 显示，Clue Merge 为 SSM 保留了更多的视觉线索，也支持了 ODSSBlock 结构确实是最优的这一观点。

![图 7：RG Block 消融]

RG Block 结构消融研究 RG Block 通过逐像素提取全局依赖关系和全局特征，实现对局部依赖关系的捕捉。该模块采用多分支结构建模通道维度，有效解决了 SSM 序列建模在感知域不足和图像定位能力弱方面的局限性。在 RG Block 的设计细节方面，我们还考虑了三种变体：

1. 卷积 MLP，该方法在原始 MLP 基础上添加了 DW Conv。
2. 残差卷积 MLP（Res-Convolutional MLP）通过将 DW Conv 以残差拼接方式添加到原始 MLP 中实现。
3. 门控 MLP（Gated MLP）是一种基于门控机制设计的 MLP 变体。

![图 8：MLP 变体对比]

图 6 展示了这些变体，表 3 则通过 MSCOCO 数据集验证了原始 MLP、RG Block 及其各变体在 MLP 上的分析有效性，测试模型采用 Mamba YOLO-T。我们发现单纯引入卷积层并未显著提升性能，而图 6 所示的门控 MLP 变体则不同——其输出由两个元素乘法的线性投影构成，其中一个包含残差连接的 DWConv 和门控激活函数。这种设计使模型能够通过层级结构传递关键特征，从而有效提升模型的准确性和鲁棒性。实验表明，在处理复杂图像任务时，引入卷积层的性能提升与门控聚合机制密切相关，前提是二者需在残差连接的框架下协同应用。

3.3 变体消融

![图 9：变体消融配置]

论文探索了主干网络中 ODSSBlock 重复次数的四种不同配置：[9,3,3,3] 会增加额外计算开销，但并未带来相应的精度提升；[3,9,3,3]、[3,3,9,3] 以及 [3,3,3,9] 实际上因 ODSSBlock 过度重复而产生冗余。实验表明 [3,6,6,3] 是 MambaYOLO 中更合理的配置。在颈部区域，虽然移除 ODSSBlock 可实现更轻量化的模型，但这将不可避免地降低模型精度，而颈部区域的 ODSSBlock 能提供丰富的梯度流和特征融合。选择输出特征图为 {P2，P3，P4，P5} 该变体显著提高了精度，但不可避免地大幅增加了 GFLOPs。Mamba YOLO 最终选择了 Blocks= [3,6,6,3]，特征图={P3，P4，P5}，并在颈部区域使用了 ODSSBlock。这种配置在精度与复杂度之间取得了更好的平衡，更适用于高效执行实例分割任务。结果如表 4 所示。

4 结论

本文提出了一种基于 SSM 并结合 YOLO 扩展的检测器设计。其训练过程显著简化，无需在大规模数据集上进行预训练。我们重新分析了传统 MLP 的局限性，并提出了 RG 模块——该模块通过门控机制和深度卷积残差连接设计，使模型能够在层级结构中传递关键特征。我们的目标是建立 YOLO 的新基准，证明 MambaYOLO 具有高度竞争力。本研究首次将 Mamba 架构应用于实时目标检测任务，同时希望为该领域研究者带来新思路。