无人机可见光与红外图像融合目标检测面临成像条件复杂挑战。提出高多样性数据集 ATR-UMOD，覆盖 80m 至 300m 高度及多种天气光照场景，标注 6 个条件属性。设计提示引导的条件感知动态融合（PCDF）方法，利用 CLIP 文本提示编码多标签条件，通过样本特定条件提示学习自适应构建有效提示，结合条件解耦模块实现无条件标签下的特征解耦，并引入条件感知动态融合模块动态重分配多模态贡献。实验表明该方法在 ATR-UMOD 上显著优于现有单模态及多模态检测器，提升了复杂条件下的检测鲁棒性。
基于无人机（UAV）的可见光（RGB）与红外（IR）图像融合目标检测，借助深度学习技术的进步和高质量数据集的推动，实现了全天候的鲁棒检测。然而，现有数据集难以充分捕捉真实世界的复杂性，因其成像条件受限。为此，我们提出了一个高多样性数据集 ATR-UMOD，覆盖多样场景，飞行高度从 80m 到 300m，相机角度从 0° 到 75°，并包含全天候、全年份的时间变化，涵盖丰富的天气和光照条件。此外，每对 RGB-IR 图像标注了 6 个条件属性，提供有价值的高层上下文信息。
为应对如此多样条件带来的挑战，我们提出了一种新颖的提示引导的条件感知动态融合（PCDF）方法，利用标注的条件线索自适应地重新分配多模态贡献。通过将成像条件编码为文本提示，PCDF 通过任务特定的软门控变换，有效建模了条件与多模态贡献之间的关系。一个提示引导的条件解耦模块进一步确保了在无标注条件下的实际可用性。在 ATR-UMOD 数据集上的实验验证了 PCDF 的有效性。
基于无人机（UAV）的可见光（RGB）和红外（IR）图像目标检测（简称 RGB-IR UOD）为交通监控、军事侦察等应用提供了有前景的解决方案 [3, 7, 16, 23]。其发展高度依赖于全面的数据集，因为现代计算机视觉技术主要依赖数据驱动方式。DroneVehicle [30] 作为 RGB-IR UOD 的先驱数据集，具有推动该领域进展的巨大潜力。然而，它在高度、角度、时间、天气、光照和场景等成像条件上种类有限，难以充分代表真实场景的复杂性。
为解决此问题，我们提出了 ATR-UMOD，一个新颖的数据集，为 RGB-IR UOD 提供更全面的数据支持，并提高模型在复杂真实世界条件下的鲁棒性。相比现有数据集，它在以下方面表现突出：(1) 多样化的成像条件。如图 1 所示，其构建覆盖飞行高度 80m 至 300m，相机角度 0° 至 75°，包含全天候和全年份条件。它还跨越多种场景，具有更丰富的天气和光照变化，紧密反映真实世界的复杂性。(2) 更丰富的目标类型。我们提供 11 个细粒度目标类别，覆盖实际应用中的典型目标，支持从无人机视角进行细粒度检测。(3) 额外的条件标注。我们额外为每对图像标注了 6 个条件属性，如图 2a 所示，提供有价值的高层上下文洞察，并为条件敏感的性能评估建立全面基准。
ATR-UMOD 捕捉了真实世界条件的复杂性，但也引入了新挑战。如图 2b 所示，大多数现有方法在 ATR-UMOD 上表现不佳，可能源于此类复杂条件下的视觉信息瓶颈 [42]。为此，一些研究探索了成像条件线索（如光照）作为辅助信息 [44, 40]。受此启发，我们尝试利用条件作为辅助上下文提示，以提升跨多样条件的检测性能。
该领域的研究基于成像条件动态重新分配多模态贡献以实现可信融合 [37, 43]。它们建模了条件表示与多模态贡献之间的关系以实现动态融合 [11, 18, 31]，增强从高贡献模态有效利用信息，同时抑制次要模态的噪声。尽管有这些进展，仍存在两个挑战：(1) 条件表示不足。它们通常仅关注单一条件属性（如光照），忽略了其他同样影响多模态可靠性的属性 [4]。此外，条件表示通常源自条件预测模型 [18, 31]。在此情况下，多样化的条件表示需要先进的多标签预测技术，这因条件属性的多样性和相互依赖性而具有挑战性 [25]。(2) 任务无关的条件引导流程。现有方法通常依赖代理任务（pretext task）来建模条件与多模态贡献之间的关系，例如利用光照预测任务将光照值分配为 RGB 贡献度 [11]。代理任务与检测任务优化目标的不匹配导致次优的多模态贡献，最终损害性能。
| 数据集 | 类别数 | 条件 | 条件标注 | 发布 |
|---|---|---|---|---|
| DroneVehicle | 5 | 高度：80m, 100m, 120m 角度：15°, 30°, 45° 时间：早晨，下午，夜晚 天气：晴天，多云，雾天，夜晚 光照：白天，夜晚，黑夜 场景：城市 | ✘ | TCSVT 2022 |
| ATR-UMOD | 11 | 高度：80m ~ 300m 角度：0° ~ 75° 时间：黎明，早晨，正午，下午，近夜，夜晚 天气：晴天，多云，雨天，雨后，雪天，雾天，夜晚 光照：过曝，正常，昏暗，黄昏，近夜，夜晚 场景：城市，郊区，乡村 | ✔ | ICCV 2025 |
表 1：与现有 RGB-IR UOD 数据集的比较。
为此，我们提出提示引导的条件感知动态融合（PCDF），一种新颖的方法，基于条件提示自适应地重新分配多模态贡献，提高检测在多样条件下的鲁棒性。利用 CLIP 强大的文本语义表示能力 [24]，我们将多标签条件编码为文本提示，以获得表达力强且鲁棒的条件表示。考虑到不同条件属性对每个样本中多模态贡献的敏感性各异，采用样本特定条件提示学习（SCPL）策略以确保构建相关提示。为建立条件与多模态贡献之间的任务特定关系，我们引入条件感知动态融合（CDF）模块，通过面向检测的归一化软门控变换细化特征重加权。此外，由于实践中缺乏显式条件标签，我们设计了提示引导的条件解耦（PCD）模块，其中条件特定特征生成提示以动态调制条件不变特征。在 ATR-UMOD 数据集上的大量实验验证了 PCDF 在多样条件下的有效性和鲁棒性。
RGB-IR UOD 是一个有前景的新兴领域，但其数据集仍然稀缺，仅有 DroneVehicle [30] 在推动研究方面发挥了重要作用。尽管贡献显著，但其成像条件受限于固定飞行高度和相机角度、有限成像时间、仅限晴朗天气、受限光照变化和简单场景，无法充分捕捉目标尺度、视角和外观的动态变化以及背景的复杂性。此外，仅 5 个目标类别限制了潜在应用范围并削弱了检测模型的泛化能力。最后，缺乏条件标注阻碍了对条件影响多模态融合的探索，也阻碍了在多样条件下进行全面评估。为解决这些问题，我们的数据集标注了 11 个目标类别和 6 个额外条件属性，覆盖更广的成像条件维度，详见表 1，更好地反映真实世界的复杂性，并为无人机视角下的条件敏感细粒度检测提供全面基准。
利用条件表示作为附加信息在计算机视觉任务中已被证明有效 [8, 33, 22, 1, 11, 31]。例如，Chu 等人 [8] 开创性地使用全连接网络建模地理位置表示以进行细粒度分类，但由于缺乏显式约束，可能无法捕捉丰富的条件语义。为解决此问题，Guan 等人 [11] 从昼夜预测网络中提取光照表示用于 RGB-IR 融合。Wu 等人 [31] 引入了区域级光照预测以获得更精细的表示。然而，它们仅关注单一条件，忽略了其他有效条件属性。此外，使用此类预测网络进行多条件表示仍具挑战性，因为条件属性具有多样性和相互依赖性。为此，我们提出一种多条件引导的融合方法，利用 CLIP 鲁棒且灵活的语义表示能力将多条件编码为文本提示以实现有效条件表示。
由于成像条件极大地影响多模态可靠性（例如，IR 在低光条件下优于 RGB）[38]，条件引导融合方法日益受到关注 [11, 40, 18, 6]。它们旨在基于条件敏感的模态可靠性动态重新分配多模态贡献以实现可信融合。Guan 等人 [11] 开创了光照引导融合，通过昼夜预测网络直接将白天概率视为 RGB 可靠性。为防止极端光照下的模态失衡，Zhang 等人 [40] 引入了线性门函数优化可靠性。IAF R-CNN [18] 和 IGT [6] 进一步使用 Sigmoid 函数建模非线性可靠性。然而，它们都依赖于与检测目标错位的条件预测任务，导致次优的模态可靠性。相比之下，我们提出一种面向检测的软门控变换，利用富含语义的条件表示学习任务特定的多模态可靠性。
与现有 RGB-IR UOD 数据集相比，我们的 ATR-UMOD 具有几项独特优势：
我们的方法基于多条件提示动态重新分配多模态贡献。如图 4 所示，RGB-IR 图像对通过双分支编码器处理以提取单模态原始特征。同时，条件文本输入 SCPL 以学习相关条件提示。为解决实践中条件信息不可访问的问题，单模态原始特征被解耦为条件特定特征和条件不变特征。条件特定特征与条件嵌入对齐以获得条件引导。最终，通过此引导获得多模态权重，动态重新分配条件无关特征对检测的贡献。
利用 CLIP 强大的文本表示能力和丰富的文本信息，我们通过提示学习编码条件语义。然而，不同条件属性对单个样本的影响程度各异 [26]，有些可能可忽略甚至有害（例如，在夜晚光照下场景通常无关）。因此，不加区分地将所有属性用作可靠性线索是不合理的。为解决此问题，SCPL 为每个样本学习相关且有效的属性。
样本特定条件提示调优 (SCPT)： 为消除无关属性的影响，我们引入基于硬门控掩码的样本特定提示调优机制。受专家通过观察每个样本中的特定模式评估条件属性对多模态可靠性的影响启发 [21]，我们将 ℐ_i与多模态特征输入条件硬门控网络以生成可学习的样本特定条件提示。具体而言，多模态特征 ℱ_{rgb}_i, ℱ_{ir}_i ∈ ℝ^{C×H×W}通过非线性层 𝑭_c和 Softmax 函数 σ融合以产生属性可用性概率。硬门控掩码 𝒢_i = {g₁_i, g₂_i, …, g_N_i}通过指示函数 𝟙和预定义阈值 τ获得：
其中 (·,·)是拼接，Pool 是最大池化，τ设为 0.15（见补充材料 G 节）。g_n_i ∈ {0,1}决定是否包含第 n个属性。调整后的条件块 o_n_i'定义为：
此门控掩码应用于初始提示以获得样本特定条件提示 P_i：
最后，我们用 CLIP 将 P_i转换为条件嵌入 ℱ_t_i。注意 SCPL 仅在训练中使用。
初始提示构建 (IPC)： 给定一组条件属性 𝔸 = {𝒜₁, 𝒜₂, …, 𝒜_N}，其中 N是条件属性数，每个属性 𝒜_n包含 M_n个不同类别，表示为 𝒜_n = {a_n¹, a_n², …, a_n^{M_n}}。我们通过将这些属性格式化为固定模板创建初始条件提示。该模板包含一个主体描述 s和若干条件前缀 v_n（详见补充材料 B.1 节）。取一个带条件属性的条件前缀作为一个条件块 𝒪_i = {o₁_i, o₂_i, …, o_N_i}，样本 i的初始提示 I_i可表示为：
将 I_i输入 CLIP [24] 的冻结文本编码器获得初始条件嵌入 ℐ_i。
由于 ℱ_t_i在实践中不可访问，条件引导必须从视觉特征中推导。然而，直接从原始特征建模可能引入条件与目标信息间的干扰。因此，我们将原始特征解耦为条件特定和条件不变组件：条件特定特征与条件语义绑定，而条件不变特征专注于鲁棒的目标判别表示。
对于属性 (2)，我们引入判别损失 ℒ_{dc}，通过检测器确保 ℱ_{m_v,i}的判别能力：
其中 ℒ_{cls}, ℒ_{reg}, ℒ_{obj}分别是分类、回归和目标性损失。最终，解耦损失 ℒ_{dec}可表示为：
其中 λ_i是权衡参数，本研究实验分别设为 0.01, 0.003, 0.01。
对于 ℱ_{m_v,i}，必须满足以下属性：(1) 对变化条件保持不变；(2) 表现出足够的判别力以进行有效目标检测。由于条件引导已从 ℱ_{s,i}建模，我们提出无关损失 ℒ_{irr}用于属性 (1)，强调 ℱ_{m_v,i}和 ℱ_{s,i}之间的相异性。通过平方 Frobenius 范数 ∥·∥_F²实现：
对于 ℱ_{s,i}，必须确保其与预期条件提示 ℱ_t_i的语义一致性。为此，我们采用提示引导蒸馏损失 ℒ_{dt}最小化 ℱ_{s,i}和 ℱ_t_i之间的距离，使用广泛使用的距离度量 CMD [36]：
其中 𝑬(·)是经验期望向量，𝑪_k(·)是 k阶样本中心矩向量，[a, b]是随机变量 ℱ_{s,i}和 ℱ_t_i的边界。
为此，我们引入一个三分支解耦网络。具体地，第一分支是条件特定编码器 𝑺，从视觉特征中提取条件特定特征 ℱ_{s,i}。其他分支包含条件不变编码器 𝑽_m，独立地从单模态特征 ℱ_m_i (m ∈ {rgb, ir})中提取条件不变特征 ℱ_{m_v,i}。公式化为：
其中 θ_{m_v}和 θ_s是可学习参数，F(·,·)表示多模态融合函数。
多模态可靠性由条件引导 ℱ_{s,i}决定。鉴于不同通道捕获不同的语义方面 [28]，我们引入通道级归一化软门控变换以增强模型适应性。具体地，它通过非线性投影函数 𝑭_t后接通道级归一化操作，自适应地将 ℱ_{s,i}映射到多模态权重 𝒲_m_i ∈ ℝ^{1×C}，确保融合特征中的信息保留同时将权重约束在 [0,1]内：
其中 [·]_m代表模态 m的通道。这些权重应用于条件不变特征 ℱ_{m_v,i}以动态调整多模态贡献。值得注意的是，仅 ℱ_{m_v,i}在融合过程中被重新分配，减轻了条件引起噪声的干扰。最终融合特征 ℱ_f_i通过简单拼接操作获得：
其中 ⊙表示逐元素乘法。ℱ_f_i输入检测头进行面向任务的可靠性学习。此动态融合自适应地利用主导模态的判别信息，同时抑制次优模态的贡献。
我们的方法在 NVIDIA RTX 4090 GPU 上使用 PyTorch 实现。网络参数使用 SGD [2] 优化器更新，初始学习率 0.01 并指数衰减。动量和权重衰减分别设为 0.937 和 0.0005。我们使用 CLIP 的 ViT-B/16 [10] 预训练模型作为文本编码器。模型包含两个可训练过程：带 SCPL 的融合网络和完整流程，均在 640×512 图像大小和批次大小 16 下训练 50 轮。所有基线方法均使用其原始参数设置训练以确保最佳性能。采用平均精度均值 (mAP) 评估检测性能，IoU 阈值为 0.5。
我们在 ATR-UMOD 数据集上通过全面的定性和定量分析评估 PCDF，基准测试包括 7 个最先进 (SOTA) 的单模态检测器（RetinaNet [19], S²A-Net [13], Faster R-CNN [27], ReDet [12], RoITransformer [9], Oriented R-CNN [32], YOLOv5s [17]）和 8 个多模态检测器（IAF R-CNN [18], Halfway Fusion [20], UA-CMDet [30], C²Former [34], TINet [40], CALNet [14], OAFA [5], YOLOrs [29]）。其中 IAF R-CNN 和 TINet 是光照引导融合方法。我们的基线是一个单阶段双流检测器，通过拼接融合整合两种模态。注意多模态检测器均使用 IR 标签训练。
为评估我们方法在不同条件下的有效性，我们在 ATR-UMOD 数据集上进行了全面实验。表 3 展示了 SOTA 多模态方法和我们的 PCDF 在不同条件下的检测结果。由于条件数量过多，每个条件的样本量通常不足，导致过拟合并损害模型训练。因此，表 3 中条件被适当合并（详见补充材料 B.2 节）。结果表明 PCDF 在几乎所有条件下均取得最优性能，证明了其在多样条件下的鲁棒性和适应性。'雾天'条件下的次优性能可能归因于雾浓度和可见度的不一致性，未来可通过精细分类更好地解决。
w/o SCPT：仅使用初始提示构建提示。表 4 中的性能下降表明，无 SCPT 时模型捕获了不必要的条件语义，同时稀释了有意义语义的影响，导致不可靠的条件表示。(2) w/o SCPL：由于 SCPL 是 PCD 的基础，我们通过应用通道注意力 [15] 进行动态融合，用数据引导替换条件引导。性能相对于基线的提升突显了动态融合的重要性。然而，其性能仍低于 PCDF，强调了基于条件的信息在缓解多模态依赖偏差中的关键作用。ℒ_{dt}, ℒ_{irr}或 ℒ_{dc}也导致不同程度的性能下降，突显了它们在保持条件引导与条件特定特征间语义一致性、分离条件无关与特定特征、以及增强条件无关特征判别力方面的作用。本文构建了一个高多样性的 RGB-IR UOD 数据集 ATR-UMOD，具有细粒度目标类型、宽广高度范围、广泛角度覆盖、全面时间跨度、挑战性天气条件、丰富光照变化、多样场景类型和额外条件标注。认识到在此类多样条件下的视觉信息瓶颈，我们引入条件作为上下文提示，以动态重新分配多模态特征。利用 CLIP 强大的语义表示能力，我们构建样本特定条件提示，并设计软门控变换以建立提示与多模态贡献之间的任务特定关系。条件解耦机制使得在无条件标注情况下也能进行测试。在 ATR-UMOD 数据集上的实验验证了我们方法的 SOTA 性能。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online