构建 基于无人机 RGB+红外（RGBT）双模态小目标行人检测系统 无人机视角下RGB+红外对齐行人小目标检测数据集 航拍无人机多模态行人检测数据集 红外可见光行人检测数据集

无人机视角下RGB+红外对齐行人小目标检测数据集
模态与视角：无人机搭载 RGBT 双光相机，从 50–80 m 高度、45°–60° 俯视角采集，同步 RGB + 热红外图像对。
规模：6,125 对图像（4,900 train / 1,225 test），分辨率 640×512，共 70,880 个行人实例。
任务：专门面向 tiny person detection 的无人机 RGBT 检测 benchmark。

1

1

以下是 无人机视角下 RGB+红外对齐行人小目标检测数据集 的详细信息整理成表格：

📊 无人机 RGBT 行人小目标检测数据集概览表

该数据集专为 挑战性极高的无人机小行人检测任务 设计，特别适合评估模型在 远距离、小尺度、复杂光照（含夜间） 条件下的鲁棒性。

以下是构建 基于无人机 RGB+红外（RGBT）双模态小目标行人检测系统 的完整代码方案，采用 YOLOv8 多模态融合架构（简化版），支持训练、推理与可视化。由于 Ultralytics YOLOv8 原生不直接支持双模态输入，我们将通过 早期融合（Early Fusion） 方式将 RGB 与红外图拼接为 4 通道输入，并微调模型。

💡 注：本方案适用于科研/工程落地，可作为 benchmark 系统基础。

📁 一、项目结构

DroneRGBT_Detection/ ├── datasets/ │ ├── images/ │ │ ├── train/ # 存放融合后的 4 通道 .npy 或拼接图 │ │ └── val/ │ └── labels/ │ ├── train/ │ └── val/ ├── models/ │ └── yolov8s-rgbt.yaml # 自定义 4 通道输入模型配置 ├── tools/ │ ├── fuse_rgb_thermal.py # 将 RGB + 红外融合为 4 通道图像 │ └── create_labels.py # （若需从原始标注生成 YOLO 格式） ├── train.py # 训练脚本 ├── detect.py # 推理脚本（支持单图/视频） └── rgbt_drone.yaml # 数据集配置文件

🔧 二、1. 融合 RGB + 红外图像（fuse_rgb_thermal.py）

# tools/fuse_rgb_thermal.pyimport os import cv2 import numpy as np deffuse_rgb_thermal(rgb_dir, thermal_dir, output_dir): os.makedirs(output_dir, exist_ok=True) rgb_files =sorted(os.listdir(rgb_dir))for rgb_file in rgb_files:ifnot rgb_file.lower().endswith(('.jpg','.png')):continue thermal_file = rgb_file # 假设文件名一致 rgb_path = os.path.join(rgb_dir, rgb_file) thermal_path = os.path.join(thermal_dir, thermal_file) rgb = cv2.imread(rgb_path)# (H, W, 3) thermal = cv2.imread(thermal_path, cv2.IMREAD_GRAYSCALE)# (H, W)if rgb isNoneor thermal isNone:print(f"Skip {rgb_file}")continue# 调整 thermal 到 3 通道（可选）或保留单通道 thermal = np.expand_dims(thermal, axis=2)# (H, W, 1) fused = np.concatenate([rgb, thermal], axis=2)# (H, W, 4)# 保存为 .npy（推荐）或拼接图（如用 4 通道 TIFF） np.save(os.path.join(output_dir, rgb_file.replace('.jpg','.npy')), fused)# 示例使用if __name__ =='__main__': fuse_rgb_thermal( rgb_dir='raw_data/train/rgb', thermal_dir='raw_data/train/thermal', output_dir='datasets/images/train')

✅ 输出为 .npy 文件（含 4 通道），便于后续加载。

🛠️ 三、2. 自定义 YOLOv8 模型（4 通道输入）

创建 models/yolov8s-rgbt.yaml：

# YOLOv8s for RGBT (4-channel input)nc:1# number of classesscales:[0.33,0.50]# model depth and width scalingbackbone:# [from, repeats, module, args]-[-1,1, Conv,[64,3,2]]# 0-P1/2 (input must be 4-channel!)-[-1,1, Conv,[128,3,2]]# 1-P2/4-[-1,3, C2f,[128,True]]-[-1,1, Conv,[256,3,2]]# 3-P3/8-[-1,6, C2f,[256,True]]-[-1,1, Conv,[512,3,2]]# 5-P4/16-[-1,6, C2f,[512,True]]-[-1,1, Conv,[1024,3,2]]# 7-P5/32-[-1,3, C2f,[1024,True]]-[-1,1, SPPF,[1024,5]]# 9head:-[-1,1, nn.Upsample,[None,2,'nearest']]-[[-1,6],1, Concat,[1]]# cat backbone P4-[-1,3, C2f,[512]]# 12-[-1,1, nn.Upsample,[None,2,'nearest']]-[[-1,4],1, Concat,[1]]# cat backbone P3-[-1,3, C2f,[256]]# 15 (P3/8-small)-[-1,1, Conv,[256,3,2]]-[[-1,12],1, Concat,[1]]# cat head P4-[-1,3, C2f,[512]]# 18 (P4/16-medium)-[-1,1, Conv,[512,3,2]]-[[-1,9],1, Concat,[1]]# cat head P5-[-1,3, C2f,[1024]]# 21 (P5/32-large)-[[15,18,21],1, Detect,[nc]]# Detect(P3, P4, P5)

⚠️ 关键修改：首层 Conv 输入通道自动适配 4 通道（无需改代码，PyTorch 自动推断）。

📂 四、3. 数据集配置（rgbt_drone.yaml）

# rgbt_drone.yamltrain: ./datasets/images/train # 实际存放 .npy 路径val: ./datasets/images/val nc:1names:['person']

❗ 注意：Ultralytics 默认读取图像文件（.jpg/.png），但我们需要加载 .npy。因此需自定义数据加载器。

🧩 五、4. 自定义数据加载器（关键！）

在 train.py 中重写 load_image 行为（简化版）：

# train.pyfrom ultralytics import YOLO import torch import numpy as np import os from pathlib import Path # 替换默认的图像加载方式defcustom_load_image(self, i):"""Load 4-channel .npy image""" path = self.files[i]if path.endswith('.npy'): img = np.load(path)# (H, W, 4) img = img.transpose(2,0,1)# (4, H, W) img = torch.from_numpy(img).float()return img, img.shape[1], img.shape[2]else:# fallbackreturn self._old_load_image(i)# Monkey patch（仅用于训练）from ultralytics.data.dataset import YOLODataset YOLODataset._old_load_image = YOLODataset.load_image YOLODataset.load_image = custom_load_image # 修改标签加载（确保 .txt 对应 .npy）defcustom_get_label_file(self, img_path):returnstr(Path(img_path).with_suffix('.txt')) YOLODataset.get_label_file = custom_get_label_file 

更稳健做法：继承 YOLODataset 并注册新类，但上述 monkey patch 可快速验证。

▶️ 六、5. 完整训练脚本（train.py）

# train.py（完整版）from ultralytics import YOLO import torch import numpy as np from pathlib import Path # === 自定义数据加载（支持 .npy）===from ultralytics.data.dataset import YOLODataset defload_image_npy(self, i): f = self.im_files[i]if f.endswith('.npy'): im = np.load(f)# (H, W, 4) im = im.transpose(2,0,1)# (4, H, W) im = torch.from_numpy(im).float() h, w = im.shape[1], im.shape[2]return im, h, w else:return self._orig_load_image(i)defget_label_file_npy(self, img_path):returnstr(Path(img_path).with_suffix('.txt'))# Patch YOLODataset._orig_load_image = YOLODataset.load_image YOLODataset.load_image = load_image_npy YOLODataset.get_label_file = get_label_file_npy # === 开始训练 ===if __name__ =='__main__': model = YOLO('models/yolov8s-rgbt.yaml')# 从头训练# 或加载预训练权重（需修改首层 conv1.weight）# model = YOLO('yolov8s.pt')# model.model.model[0].conv = torch.nn.Conv2d(4, 64, 3, 2, 1) # 手动替换 model.train( data='rgbt_drone.yaml', epochs=100, imgsz=512, batch=16, name='drone_rgbdet', project='runs', device=0, cache=False, workers=4)

🔍 七、6. 推理脚本（detect.py）

# detect.pyimport torch import numpy as np import cv2 from ultralytics import YOLO model = YOLO('runs/drone_rgbdet/weights/best.pt')defdetect_rgbd_pair(rgb_path, thermal_path): rgb = cv2.imread(rgb_path)# (H, W, 3) thermal = cv2.imread(thermal_path, cv2.IMREAD_GRAYSCALE)# (H, W) thermal = np.expand_dims(thermal, axis=2) fused = np.concatenate([rgb, thermal], axis=2)# (H, W, 4) fused = fused.transpose(2,0,1)# (4, H, W) fused = torch.from_numpy(fused).float().unsqueeze(0)/255.0# 归一化 results = model(fused, augment=True)# 可视化：叠加在 RGB 图上 annotated = results[0].plot() cv2.imshow('Detection', annotated) cv2.waitKey(0)# 示例 detect_rgbd_pair('test/rgb/001.jpg','test/thermal/001.jpg')

✅ 八、部署建议