自适应图像变焦与边界框变换用于无人机目标检测
引言
无人机（UAV）拍摄图像的目标检测一直是遥感应用中的活跃课题，尤其在环境监测和灾害响应中至关重要。得益于深度卷积神经网络的发展，该领域取得了显著进展。然而，无人机图像具有独特的挑战：物体尺寸小、分布稀疏且不均匀，这阻碍了有效检测器的优化。
当前的主流方法通常将图像均匀裁剪成图块进行处理。虽然能提升精度，但计算成本高且延迟大，不适合边缘设备。受非均匀变焦思想的启发，我们提出了一种名为 ZoomDet 的轻量级框架，旨在自适应地放大图像内的物体区域，同时保持单张图像处理的效率。
设计该框架面临两个核心挑战：
- 如何高效地对每张图像进行非均匀变焦？
- 如何在变焦后的图像空间中实现目标检测的训练和推理？
针对这些问题，我们引入了一种基于偏移量的物体变焦方案，结合角点对齐的边界框变换方法。该方法不仅放大了物体细节，还解决了因空间变换导致的真实边界框错位问题。
核心方法
1. 基于偏移量的映射参数化
为了预测变换映射，我们使用一个小型卷积神经网络（OffsetNet）来预测每个像素位置的空间偏移量 $(\Delta x, \Delta y)$。与以往基于显著性的复杂参数化不同，这种基于偏移量的方式同等地加权物体区域，减轻了失真。
为了节省计算量，输入图像先下采样，在较小版本上预测偏移量，再插值到目标大小。映射公式简化为： $$T_u(x, y) = x + \Delta x$$ $$T_v(x, y) = y + \Delta y$$
2. 物体变焦损失
仅靠检测损失反向传播不足以直接学习物体放大。因此，我们设计了专门的物体变焦损失函数。对于每个边界框，计算其掩码在变焦前后的面积比率 $m_i$。损失函数旨在最大化这个比率，从而强制网络放大物体： $$L_{\text{zoom}} = \sum_{i}^{N} \max\left(\log\left(\frac{\alpha + \epsilon}{m_i + \epsilon}\right), 0\right)^\beta$$ 其中 $\alpha$ 控制放大阈值，$\beta$ 调整降权速率。梯度通过双线性插值操作反向传播到偏移量。
3. 角点对齐的框变换
图像变焦后，原始的真实边界框标注不再有效。求解逆映射非常困难，因此我们开发了一种近似的框变换方案：
- 训练时： 利用前向映射作为查找表，对边界框的两个角点执行最近邻搜索，获得变换后的坐标。
- 推理时： 将预测的边界框同样变换回原始图像空间进行评估。
经验验证表明，这种变换引入的误差很小，平均 IoU 超过 92%。
实验结果
我们在三个代表性的无人机数据集上进行了广泛实验：VisDrone、UAVDT 和 SeaDronesSee。基线模型包括 Faster R-CNN 和 YOLOv8。
性能对比
ZoomDet 与架构无关，可应用于任意目标检测架构。实验表明，该方法以极小的代价获得了显著的增益：
- 在 SeaDronesSee 数据集上，Faster R-CNN 模型的 mAP 提升了约 8.4%，特别是小物体（APs）绝对提升达 26.2%。
- 在 VisDrone 和 UAVDT 数据集上，引入了约 2.0 的 mAP 提升。
- 额外延迟极低，例如 Faster R-CNN 模型仅增加了约 222ms 的推理时间。
与其他方法比较
我们将 ZoomDet 与基于图块的变焦、均匀变焦及隐式特征变焦方法进行了对比。结果显示：
- 与非均匀变焦方法相比，ZoomDet 提供了更好的映射参数化和灵活的框变换。
- 与均匀变焦方法相比，ZoomDet 通过直接放大空间尺寸，改进了更多。
- ZoomDet 显示出与其他 SOTA 方法的正交改进，可以结合使用以获得最佳性能。
此外，我们还测试了其在自然场景（COCO）和自动驾驶（Argoverse-HD）数据集上的表现，证明了方法的通用性，尽管在拥挤的大物体场景下提升有限。
讨论与分析
失败案例分析
虽然效果显著，但'变焦'并非万能。主要失败原因包括：
- 物体的极端挤压： 某些物体被过度放大，导致附近物体意外挤压而漏检。
- 扩展的空间跨度： 边界框预测可能比实际物体大得多。
- 跨类别混淆： 放大可能导致相似类别的小物体难以区分。
边界框分布影响
分析发现，ZoomDet 在包含大量小物体的数据集（如 SeaDronesSee）上提升最大。而在 COCO 等包含大量大物体的数据集上，提升相对较小，这与物体尺寸分布密切相关。
总结
本文提出的 ZoomDet 框架通过自适应非均匀图像变焦和角点对齐的边界框变换，有效解决了无人机图像中小目标检测难的问题。该方法轻量、高效，能与多种检测架构兼容，并在多个基准数据集上验证了其有效性。未来工作将探索将其扩展至实例分割等任务，并进一步优化拥挤场景下的稳定性。
