无人机视角下 RGB+红外对齐行人小目标检测数据集
模态与视角
- 采集平台：无人机（UAV）搭载 RGB + 热红外（Thermal）双光相机
- 高度范围：50 – 80 米
- 俯视角：45° – 60° 斜向俯拍
- 模态：可见光（RGB）与热红外（Infrared / Thermal）双模态同步图像对
规模与任务
- 图像对数量：6,125 对（每对含 1 张 RGB + 1 张红外图）
- 数据划分：训练集 4,900 对，测试集 1,225 对
- 分辨率：640 × 512 像素（RGB 与红外严格对齐）
- 标注实例：共 70,880 个行人标注框
- 任务类型：小目标行人检测（Tiny Person Detection）
- 适用场景：低空安防、应急搜救、智慧城市、边境巡检、夜间监控
📊 数据集概览表
| 项目 | 内容 |
|---|---|
| 数据集名称 | DroneRGBT-Pedestrian |
| 目标类别 | 1 类：行人（Person） |
| 目标特点 | 小目标为主（多数 < 32×32 像素），包含遮挡、密集、远距离、夜间/低照度场景 |
| 对齐方式 | 像素级空间对齐（经标定与配准） |
| 适用模型 | 单模态：YOLOv8；多模态融合：Fusion-YOLO、CFT、MFFNet、GLAD 等 |
该数据集专为挑战性极高的无人机小行人检测任务设计，特别适合评估模型在远距离、小尺度、复杂光照（含夜间）条件下的鲁棒性。
基于 YOLOv8 的 RGBT 双模态检测系统构建
本方案采用 YOLOv8 多模态融合架构（简化版），支持训练、推理与可视化。通过 早期融合（Early Fusion） 方式将 RGB 与红外图拼接为 4 通道输入，并微调模型。
📁 一、项目结构
DroneRGBT_Detection/
├── datasets/
│ ├── images/
│ │ ├── train/ # 存放融合后的 4 通道 .npy 或拼接图
│ │ └── val/
│ └── labels/
│ ├── train/
│ └── val/
├── models/
│ └── yolov8s-rgbt.yaml # 自定义 4 通道输入模型配置
├── tools/
│ ├── fuse_rgb_thermal.py # 将 RGB + 红外融合为 4 通道图像
│ └── create_labels.py # （若需从原始标注生成 YOLO 格式）
├── train.py # 训练脚本
├── detect.py # 推理脚本（支持单图/视频）
└── rgbt_drone.yaml # 数据集配置文件
🔧 二、融合 RGB + 红外图像 (fuse_rgb_thermal.py)
# tools/fuse_rgb_thermal.py
import os
import cv2
import numpy as np
def fuse_rgb_thermal(rgb_dir, thermal_dir, output_dir):
os.makedirs(output_dir, exist_ok=True)
rgb_files = sorted(os.listdir(rgb_dir))
for rgb_file in rgb_files:
if not rgb_file.lower().endswith(('.jpg', '.png')):
continue
thermal_file = rgb_file # 假设文件名一致
rgb_path = os.path.join(rgb_dir, rgb_file)
thermal_path = os.path.join(thermal_dir, thermal_file)
rgb = cv2.imread(rgb_path) # (H, W, 3)
thermal = cv2.imread(thermal_path, cv2.IMREAD_GRAYSCALE) # (H, W)
if rgb is None or thermal is None:
print(f"Skip {rgb_file}")
continue
# 调整 thermal 到 3 通道（可选）或保留单通道
thermal = np.expand_dims(thermal, axis=2) # (H, W, 1)
fused = np.concatenate([rgb, thermal], axis=2) # (H, W, 4)
# 保存为 .npy（推荐）或拼接图（如用 4 通道 TIFF）
np.save(os.path.join(output_dir, rgb_file.replace('.jpg', '.npy')), fused)
if __name__ == '__main__':
fuse_rgb_thermal(
rgb_dir='raw_data/train/rgb',
thermal_dir='raw_data/train/thermal',
output_dir=
)
✅ 输出为
.npy文件（含 4 通道），便于后续加载。
🛠️ 三、自定义 YOLOv8 模型 (yolov8s-rgbt.yaml)
创建 models/yolov8s-rgbt.yaml：
# YOLOv8s for RGBT (4-channel input)
nc: 1 # number of classes
scales: [0.33, 0.50] # model depth and width scaling
backbone:
- [-1, 1, Conv, [64, 3, 2]] # 0-P1/2 (input must be 4-channel!)
- [-1, 1, Conv, [128, 3, 2]] # 1-P2/4
- [-1, 3, C2f, [128, True]]
- [-1, 1, Conv, [256, 3, 2]] # 3-P3/8
- [-1, 6, C2f, [256, True]]
- [-1, 1, Conv, [512, 3, 2]] # 5-P4/16
- [-1, 6, C2f, [512, True]]
[, , , [, , ]]
[, , , [, ]]
[, , , [, ]]
[, , , [, , ]]
[[, ], , , []]
[, , , []]
[, , , [, , ]]
[[, ], , , []]
[, , , []]
[, , , [, , ]]
[[, ], , , []]
[, , , []]
[, , , [, , ]]
[[, ], , , []]
[, , , []]
[[, , ], , , []]
⚠️ 关键修改：首层
Conv输入通道自动适配 4 通道（无需改代码，PyTorch 自动推断）。
📂 四、数据集配置 (rgbt_drone.yaml)
# rgbt_drone.yaml
train: ./datasets/images/train # 实际存放 .npy 路径
val: ./datasets/images/val
nc: 1
names: ['person']
❗ 注意：Ultralytics 默认读取图像文件（.jpg/.png），但我们需要加载
.npy。因此需自定义数据加载器。
🧩 五、自定义数据加载器
在 train.py 中重写 load_image 行为（简化版）：
# train.py
from ultralytics import YOLO
import torch
import numpy as np
import os
from pathlib import Path
# 替换默认的图像加载方式
def custom_load_image(self, i):
"""Load 4-channel .npy image"""
path = self.files[i]
if path.endswith('.npy'):
img = np.load(path) # (H, W, 4)
img = img.transpose(2, 0, 1) # (4, H, W)
img = torch.from_numpy(img).float()
return img, img.shape[1], img.shape[2]
else:
# fallback
return self._old_load_image(i)
# Monkey patch（仅用于训练）
from ultralytics.data.dataset import YOLODataset
YOLODataset._old_load_image = YOLODataset.load_image
YOLODataset.load_image = custom_load_image
# 修改标签加载（确保 .txt 对应 .npy）
def custom_get_label_file(self, img_path):
return str(Path(img_path).with_suffix('.txt'))
YOLODataset.get_label_file = custom_get_label_file
更稳健做法：继承
YOLODataset并注册新类，但上述 monkey patch 可快速验证。
▶️ 六、完整训练脚本 (train.py)
# train.py（完整版）
from ultralytics import YOLO
import torch
import numpy as np
from pathlib import Path
# === 自定义数据加载（支持 .npy）===
from ultralytics.data.dataset import YOLODataset
def load_image_npy(self, i):
f = self.im_files[i]
if f.endswith('.npy'):
im = np.load(f) # (H, W, 4)
im = im.transpose(2, 0, 1) # (4, H, W)
im = torch.from_numpy(im).float()
h, w = im.shape[1], im.shape[2]
return im, h, w
else:
return self._orig_load_image(i)
def get_label_file_npy(self, img_path):
return str(Path(img_path).with_suffix('.txt'))
# Patch
YOLODataset._orig_load_image = YOLODataset.load_image
YOLODataset.load_image = load_image_npy
YOLODataset.get_label_file = get_label_file_npy
# === 开始训练 ===
if __name__ == '__main__':
model = YOLO('models/yolov8s-rgbt.yaml') # 从头训练
# 或加载预训练权重（需修改首层 conv1.weight）
# model = YOLO('yolov8s.pt')
# model.model.model[0].conv = torch.nn.Conv2d(4, 64, 3, 2, 1) # 手动替换
model.train(
data='rgbt_drone.yaml',
epochs=,
imgsz=,
batch=,
name=,
project=,
device=,
cache=,
workers=
)
🔍 七、推理脚本 (detect.py)
# detect.py
import torch
import numpy as np
import cv2
from ultralytics import YOLO
model = YOLO('runs/drone_rgbdet/weights/best.pt')
def detect_rgbd_pair(rgb_path, thermal_path):
rgb = cv2.imread(rgb_path) # (H, W, 3)
thermal = cv2.imread(thermal_path, cv2.IMREAD_GRAYSCALE) # (H, W)
thermal = np.expand_dims(thermal, axis=2)
fused = np.concatenate([rgb, thermal], axis=2) # (H, W, 4)
fused = fused.transpose(2, 0, 1) # (4, H, W)
fused = torch.from_numpy(fused).float().unsqueeze(0) / 255.0 # 归一化
results = model(fused, augment=True)
# 可视化：叠加在 RGB 图上
annotated = results[0].plot()
cv2.imshow('Detection', annotated)
cv2.waitKey(0)
# 示例
detect_rgbd_pair('test/rgb/001.jpg', 'test/thermal/001.jpg')
✅ 八、部署建议
| 方案 | 说明 |
|---|---|
| 科研实验 | 使用 .npy + 自定义 DataLoader |
| 工程部署 | 将 RGB + 红外拼接为 4 通道 TIFF / PNG（需扩展 OpenCV 支持） |
| 加速推理 | 导出 ONNX 后使用 TensorRT（需处理 4 通道输入） |
| 替代融合策略 | 中期融合（Two-Stream + 特征拼接）效果更佳，但需重写模型 |
