无人机 RGBT 双模态小目标行人检测数据集及系统构建

数据集概览

模态与视角：无人机搭载 RGBT 双光相机，从 50–80 m 高度、45°–60° 俯视角采集，同步 RGB + 热红外图像对。规模：6,125 对图像（4,900 train / 1,225 test），分辨率 640×512，共 70,880 个行人实例。任务：专门面向 tiny person detection 的无人机 RGBT 检测 benchmark。

无人机 RGBT 检测示例

以下是 无人机视角下 RGB+ 红外对齐行人小目标检测数据集 的详细信息整理成表格：

📊 无人机 RGBT 行人小目标检测数据集概览表

项目	内容
数据集名称	DroneRGBT-Pedestrian（或自定义命名）
任务类型	小目标行人检测（Tiny Person Detection）
应用场景	低空安防、应急搜救、智慧城市、边境巡检、夜间监控
采集平台	无人机（UAV）搭载 RGB + 热红外（Thermal）双光相机
模态	双模态同步图像对：可见光（RGB）、热红外（Infrared / Thermal）
采集高度	50 – 80 米
俯视角	45° – 60° 斜向俯拍
图像分辨率	640 × 512 像素（RGB 与红外严格对齐）
图像对数量	6,125 对（每对含 1 张 RGB + 1 张红外图）
数据划分	训练集（train）：4,900 对；测试集（test）：1,225 对
标注格式	支持 YOLO / COCO / VOC 等（通常提供边界框 `.txt` 或 `.json`）
目标类别	1 类：行人（Person）
总实例数	70,880 个行人标注框（平均每个图像约 11.6 个目标）
目标特点	小目标为主（多数 < 32×32 像素）；包含遮挡、密集、远距离、夜间/低照度场景；红外模态增强弱光/夜间检测能力
对齐方式	像素级空间对齐（经标定与配准，RGB 与红外图一一对应）
适用模型	单模态：YOLOv8（RGB 或 Thermal）；多模态融合：Fusion-YOLO、CFT、MFFNet、GLAD 等 RGBT 检测模型
用途	无人机小目标检测 benchmark；多模态特征融合研究；跨模态对齐与迁移学习

该数据集专为 挑战性极高的无人机小行人检测任务 设计，特别适合评估模型在 远距离、小尺度、复杂光照（含夜间） 条件下的鲁棒性。

以下是构建 基于无人机 RGB+ 红外（RGBT）双模态小目标行人检测系统 的完整代码方案，采用 YOLOv8 多模态融合架构（简化版），支持训练、推理与可视化。由于 Ultralytics YOLOv8 原生不直接支持双模态输入，我们将通过 早期融合（Early Fusion） 方式将 RGB 与红外图拼接为 4 通道输入，并微调模型。

💡 注：本方案适用于科研/工程落地，可作为 benchmark 系统基础。

📁 一、项目结构

DroneRGBT_Detection/
├── datasets/
│   ├── images/
│   │   ├── train/ # 存放融合后的 4 通道 .npy 或拼接图
│   │   └── val/
│   └── labels/
│       ├── train/
│       └── val/
├── models/
│   └── yolov8s-rgbt.yaml # 自定义 4 通道输入模型配置
├── tools/
│   ├── fuse_rgb_thermal.py # 将 RGB + 红外融合为 4 通道图像
│   └── create_labels.py # （若需从原始标注生成 YOLO 格式）
├── train.py # 训练脚本
├── detect.py # 推理脚本（支持单图/视频）
└── rgbt_drone.yaml # 数据集配置文件

🔧 二、1. 融合 RGB + 红外图像（`fuse_rgb_thermal.py`）

# tools/fuse_rgb_thermal.py
import os
import cv2
import numpy as np

def fuse_rgb_thermal(rgb_dir, thermal_dir, output_dir):
    os.makedirs(output_dir, exist_ok=True)
    rgb_files = sorted(os.listdir(rgb_dir))
    for rgb_file in rgb_files:
        if not rgb_file.lower().endswith(('.jpg', '.png')):
            continue
        thermal_file = rgb_file  # 假设文件名一致
        rgb_path = os.path.join(rgb_dir, rgb_file)
        thermal_path = os.path.join(thermal_dir, thermal_file)
        rgb = cv2.imread(rgb_path)  # (H, W, 3)
        thermal = cv2.imread(thermal_path, cv2.IMREAD_GRAYSCALE)  # (H, W)
        if rgb is None or thermal is None:
            print(f"Skip {rgb_file}")
            continue
        # 调整 thermal 到 3 通道（可选）或保留单通道
        thermal = np.expand_dims(thermal, axis=2)  # (H, W, 1)
        fused = np.concatenate([rgb, thermal], axis=2)  # (H, W, 4)
        # 保存为 .npy（推荐）或拼接图（如用 4 通道 TIFF）
        np.save(os.path.join(output_dir, rgb_file.replace('.jpg', '.npy')), fused)

if __name__ == '__main__':
    fuse_rgb_thermal(
        rgb_dir='raw_data/train/rgb',
        thermal_dir='raw_data/train/thermal',
        output_dir=
    )

✅ 输出为 .npy 文件（含 4 通道），便于后续加载。

🛠️ 三、2. 自定义 YOLOv8 模型（4 通道输入）

创建 models/yolov8s-rgbt.yaml：

# YOLOv8s for RGBT (4-channel input)
nc: 1  # number of classes
scales: [0.33, 0.50]  # model depth and width scaling
backbone:
  # [from, repeats, module, args]
  - [-1, 1, Conv, [64, 3, 2]]  # 0-P1/2 (input must be 4-channel!)
  - [-1, 1, Conv, [128, 3, 2]]  # 1-P2/4
  - [-1, 3, C2f, [128, True]]
  - [-1, 1, Conv, [256, 3, 2]]  # 3-P3/8
  - [-1, 6, C2f, [256, True]]
  - [-1, 1, Conv, [512, 3, 2]]  # 5-P4/16
  - [-1, 6, C2f, [, ]]
   [, , , [, , ]]  
   [, , , [, ]]
   [, , , [, ]]  

   [, , , [, , ]]
   [[, ], , , []]  
   [, , , []]  
   [, , , [, , ]]
   [[, ], , , []]  
   [, , , []]  
   [, , , [, , ]]
   [[, ], , , []]  
   [, , , []]  
   [, , , [, , ]]
   [[, ], , , []]  
   [, , , []]  
   [[, , ], , , []]

⚠️ 关键修改：首层 Conv 输入通道自动适配 4 通道（无需改代码，PyTorch 自动推断）。

📂 四、3. 数据集配置（`rgbt_drone.yaml`）

# rgbt_drone.yaml
train: ./datasets/images/train  # 实际存放 .npy 路径
val: ./datasets/images/val
nc: 1
names: ['person']

❗ 注意：Ultralytics 默认读取图像文件（.jpg/.png），但我们需要加载 .npy。因此需自定义数据加载器。

🧩 五、4. 自定义数据加载器（关键！）

在 train.py 中重写 load_image 行为（简化版）：

# train.py
from ultralytics import YOLO
import torch
import numpy as np
import os
from pathlib import Path

# 替换默认的图像加载方式
def custom_load_image(self, i):
    """Load 4-channel .npy image"""
    path = self.files[i]
    if path.endswith('.npy'):
        img = np.load(path)  # (H, W, 4)
        img = img.transpose(2, 0, 1)  # (4, H, W)
        img = torch.from_numpy(img).float()
        return img, img.shape[1], img.shape[2]
    else:
        # fallback
        return self._old_load_image(i)

# Monkey patch（仅用于训练）
from ultralytics.data.dataset import YOLODataset
YOLODataset._old_load_image = YOLODataset.load_image
YOLODataset.load_image = custom_load_image

# 修改标签加载（确保 .txt 对应 .npy）
def custom_get_label_file(self, img_path):
    return str(Path(img_path).with_suffix('.txt'))

YOLODataset.get_label_file = custom_get_label_file

▶️ 六、5. 完整训练脚本（`train.py`）

# train.py（完整版）
from ultralytics import YOLO
import torch
import numpy as np
from pathlib import Path

# === 自定义数据加载（支持 .npy）===
from ultralytics.data.dataset import YOLODataset

def load_image_npy(self, i):
    f = self.im_files[i]
    if f.endswith('.npy'):
        im = np.load(f)  # (H, W, 4)
        im = im.transpose(2, 0, 1)  # (4, H, W)
        im = torch.from_numpy(im).float()
        h, w = im.shape[1], im.shape[2]
        return im, h, w
    else:
        return self._orig_load_image(i)

def get_label_file_npy(self, img_path):
    return str(Path(img_path).with_suffix('.txt'))

# Patch
YOLODataset._orig_load_image = YOLODataset.load_image
YOLODataset.load_image = load_image_npy
YOLODataset.get_label_file = get_label_file_npy

# === 开始训练 ===
if __name__ == '__main__':
    model = YOLO('models/yolov8s-rgbt.yaml')  # 从头训练
    # 或加载预训练权重（需修改首层 conv1.weight）
    # model = YOLO('yolov8s.pt')
    # model.model.model[0].conv = torch.nn.Conv2d(4, 64, 3, 2, 1)  # 手动替换
    model.train(
        data='rgbt_drone.yaml',
        epochs=,
        imgsz=,
        batch=,
        name=,
        project=,
        device=,
        cache=,
        workers=
    )

🔍 七、6. 推理脚本（`detect.py`）

# detect.py
import torch
import numpy as np
import cv2
from ultralytics import YOLO

model = YOLO('runs/drone_rgbdet/weights/best.pt')

def detect_rgbd_pair(rgb_path, thermal_path):
    rgb = cv2.imread(rgb_path)  # (H, W, 3)
    thermal = cv2.imread(thermal_path, cv2.IMREAD_GRAYSCALE)  # (H, W)
    thermal = np.expand_dims(thermal, axis=2)
    fused = np.concatenate([rgb, thermal], axis=2)  # (H, W, 4)
    fused = fused.transpose(2, 0, 1)  # (4, H, W)
    fused = torch.from_numpy(fused).float().unsqueeze(0) / 255.0  # 归一化
    results = model(fused, augment=True)
    # 可视化：叠加在 RGB 图上
    annotated = results[0].plot()
    cv2.imshow('Detection', annotated)
    cv2.waitKey(0)

# 示例
# detect_rgbd_pair('test/rgb/001.jpg', 'test/thermal/001.jpg')

✅ 八、部署建议

方案	说明
科研实验	使用 `.npy` + 自定义 DataLoader
工程部署	将 RGB + 红外拼接为 4 通道 TIFF / PNG（需扩展 OpenCV 支持）
加速推理	导出 ONNX 后使用 TensorRT（需处理 4 通道输入）
替代融合策略	中期融合（Two-Stream + 特征拼接）效果更佳，但需重写模型

无人机 RGBT 双模态小目标行人检测数据集及系统构建