【超详细】DEIM：最强实时目标检测算法-Visdrone2019无人机数据集实战

Ne0inhk

— 12 min read
【超详细】DEIM：最强实时目标检测算法-Visdrone2019无人机数据集实战

主要内容如下：

一、论文解析
二、基于DEIM-D-FINE-S训练Visdrone2019无人机数据集
1、Visdrone2019数据集介绍
2、模型训练、验证及测试
3、onnx导出与测试
4、与YOLOv8\11进行结果对比

服务器：NVIDIA RTX4090 24G
运行环境：Python=3.8（要求>=3.8），torch2.3.1+cu121（要求>=2.0.1）
Visdrone2019-COCO格式数据集百度AI stduio下载链接：https://aistudio.baidu.com/datasetdetail/226107/0
Visdrone-YOLO格式数据集下载链接：https://aistudio.baidu.com/datasetdetail/295374

arXiv: https://arxiv.org/abs/2412.04234
Project webpage：https://www.shihuahuang.cn/DEIM/
GitHub：https://github.com/ShihuaHuang95/DEIM

训练和使用结果：
（1）map50高于YOLOv8将近6个点达47%，训练显存占用较大，batchsize为8需要20G，训练速度比YOLOv8慢一倍，12小时左右；
（2）onnx推理速度要慢于YOLOv8，需要9-10ms；
（3）检出率比较高，但是误检和同一个目标出现两个重叠框但不同类别现象较多。

一、论文解析

DEIM（DETR with Improved Matching for Fast Convergence）是一篇关于加速基于Transformer架构（DETR）的实时目标检测的训练框架的论文。以下是该论文的详细解析：

1 研究背景

目标检测是计算机视觉中的一个基本任务，广泛应用于自动驾驶、机器人导航等领域。实时目标检测要求模型不仅能精准检测目标，还要以极低的延迟运行。DETR（Detection Transformer）是一种基于Transformer的端到端目标检测框架，通过使用匈牙利算法进行一对一（O2O）匹配，消除了对手工设计的非极大值抑制（NMS）的需求，但其收敛速度慢成为一大挑战。

2 研究问题

DETR模型在训练过程中存在慢收敛的问题，主要原因是其一对一（O2O）匹配机制导致正样本数量稀少，且存在大量低质量匹配。这限制了模型的有效学习，尤其是对小目标的检测。

3 解决方案

为了解决上述问题，DEIM提出了以下两个主要策略：

密集O2O匹配（Dense O2O）：
通过增加每张图像中的目标数量，生成更多的正样本，从而提供更密集的监督信号，加速模型收敛。
这可以通过经典的数据增强技术（如马赛克和混合）轻松实现，这些技术在保持一对一匹配框架的同时，每张图像生成额外的正样本。
匹配感知损失（MAL, Matchability-Aware Loss）：
一种新的损失函数，优化不同质量级别的匹配，特别是低质量匹配，提升模型性能。
MAL通过将匹配查询与目标之间的IoU（交并比）与分类置信度结合，根据匹配质量调整惩罚。
相比传统的Varifocal Loss（VFL），MAL在处理低质量匹配时更有效，特别是在训练的早期阶段。

在这里插入图片描述

4 实验验证

在COCO数据集上的实验表明，DEIM显著加速了DETR模型的收敛，减少了50%的训练时间，同时提升了检测精度。与现有的实时检测器（如YOLO系列和RT-DETR）相比，DEIM在性能和训练效率上均表现出色，尤其是在小目标检测方面有显著提升。

当与RT-DETR和D-FINE集成时，DEIM在减少训练时间的同时提高了性能。
特别是与RT-DETRv2集成时，DEIM在NVIDIA 4090 GPU上单天训练就达到了53.2%的平均精度（AP）。

在这里插入图片描述


DEIM训练的实时模型在没有额外数据的情况下，超越了领先的实时目标检测器。例如，DEIM-D-FINE-L和DEIM-D-FINE-X在NVIDIA T4 GPU上分别以124 FPS和78 FPS的速度达到了54.7%和56.5%的AP。

在这里插入图片描述


在这里插入图片描述

5 结论

DEIM通过密集O2O匹配和匹配感知损失，有效解决了DETR模型的慢收敛问题，提升了实时目标检测的性能，为该领域设定了新的基准。DEIM通过增加正样本数量和优化低质量匹配，显著提升了DETR模型的训练效率和检测性能。

二、基于DEIM-D-FINE-S训练Visdrone2019无人机数据集

1 环境安装

步骤1：创建环境

conda create -n deim python=3.8.13

步骤2：安装torch
版本：要求大于2.0.1，这里安装2.3.1

# CUDA 11.8 conda install pytorch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 pytorch-cuda=11.8-c pytorch -c nvidia # CUDA 12.1 conda install pytorch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 pytorch-cuda=12.1-c pytorch -c nvidia # CPU Only conda install pytorch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 cpuonly -c pytorch

步骤3：安装deim其他依赖
注意：calflops安装或训练报错可见文末尾。

conda activate deim pip install -r requirements.txt

2 Visdrone2019数据集准备

2.1 简介

VisDrone数据集是由天津大学等团队开源的一个大型无人机视角的数据集，官方提供的数据中训练集是6471、验证集是548、测试集1610张。数据集共提供了以下12个类，分别是：‘忽略区域’, ‘pedestrian’, ‘people’, ‘bicycle’, ‘car’, ‘van’,‘truck’, ‘tricycle’, ‘awning-tricycle’, ‘bus’, ‘motor’, ‘others’，其中忽略区域、others是非有效目标区域，本项目中予以忽略，只使用’pedestrian’, ‘people’, ‘bicycle’, ‘car’, ‘van’,‘truck’, ‘tricycle’, ‘awning-tricycle’, ‘bus’, 'motor’10个类；

2.2 数据集制作

注意：这里直接下载已处理好的coco格式的Visdrone2019数据集进行训练，同时注意该数据集图片命名已改变，但其他无影响。
下载链接：Vidrone2019-COCO格式数据集

3 配置文件修改

3.1 数据集配置文件修改

新建DEIM-main/configs/dataset/custom_xulvisdrone.yml文件，内容如下：
注意修改项：类别num_classes、训练集图像路径img_folder、训练集coco标签ann_file、验证集图像路径img_folder、验证集coco标签ann_file四项。
另外，验证测试集精度修改验证集图像路径img_folder、验证集coco标签ann_file两项即可。

task: detection evaluator:type: CocoEvaluator iou_types:['bbox',] num_classes:10# your dataset classes remap_mscoco_category:False train_dataloader:type: DataLoader dataset:type: CocoDetection img_folder: DEIM-main/visdrone2019_coco/train2017 ann_file: DEIM-main/visdrone2019_coco/annotations/instances_train2017.json return_masks:False transforms:type: Compose ops:~ shuffle:True num_workers:4 drop_last:True collate_fn:type: BatchImageCollateFunction val_dataloader:type: DataLoader dataset:type: CocoDetection img_folder: DEIM-main/visdrone2019_coco/val2017 ann_file: DEIM-main/visdrone2019_coco/annotations/instances_val2017.json return_masks:False transforms:type: Compose ops:~ shuffle:False num_workers:4 drop_last:False collate_fn:type: BatchImageCollateFunction

3.2 训练过程配置参数修改

注意：这边训练configs/deim_dfine/deim_hgnetv2_s_coco.yml，它是层层调用其他配置文件，优先采用configs/deim_dfine/dfine_hgnetv2_s_coco.yml和configs/base/deim.yml内容。

在这里插入图片描述


所有具体步骤如下：【默认640训练只需修改步骤二和步骤四】
步骤一：保存路径+epoch设置
configs/deim_dfine/deim_hgnetv2_s_coco.yml修改epoch和保存路径等参数，默认132epoch；

在这里插入图片描述


步骤二：设置自定义数据集
configs/deim_dfine/dfine_hgnetv2_s_coco.yml修改自定义数据集文件调用，如下：

在这里插入图片描述


步骤三：训练尺寸
configs/base/deim.yml修改训练尺寸，默认640，Mosaic尺寸设置【切成4块】：

在这里插入图片描述


步骤四：batch_size设置
configs/base/dataloader.yml修改total_batch_size【由原先32改为8】，640*640大概需要20G显存。

在这里插入图片描述

4 模型训练

这里仅训练deim_dfine-s模型，模型输入尺寸640*640，训练132轮，且利用官网coco预训练权重进行微调！

在这里插入图片描述


训练命令如下：

# deim_dfine_hgnetv2_s_coco_120e.pth为coco预训练权重 python train.py -c configs/deim_dfine/deim_hgnetv2_s_coco.yml --use-amp --seed=0-t deim_dfine_hgnetv2_s_coco_120e.pth

训练中，可利用tensorboard --logdir=outputs/deim_hgnetv2_s_coco/summary终端运行可视化训练过程，summary中包含一个events.out.tfevents.xxx文件。将下面的网页用谷歌浏览器打开，如果没有内容大概率是路径错误。

在这里插入图片描述


可视化结果如下：

在这里插入图片描述

5 模型验证

对数据集进行验证的命令依然是train.py，启用–test-only参数仅验证不训练。
验证的命令如下：

# best_stg2.pth为训练132轮最佳map50:95的精度权重 python train.py -c configs/deim_dfine/deim_hgnetv2_s_coco.yml --test-only -r outputs/deim_hgnetv2_s_coco/best_stg2.pth

5.1 maxDets=100验证

Visdrone数据集验证结果如下【maxDets=100】，map50=0.474：

在这里插入图片描述


Visdrone数据集测试集结果如下【maxDets=100】，map50=0.396：

在这里插入图片描述

5.2 maxDets=300验证

maxDets：该指标的意思是分别保留测试集的每张图上置信度排名第1、前10、前100个预测框，根据这些预测框和真实框进行比对，来计算AP、AR等值。但是，在WidePerson等密集目标数据集中，尽管绝大部分图片中目标的数量在100以内，但却存在某些图片中包含近200个目标，那么我们再使用maxDets=100就不符合要求了，因此改成300进行验证测试。
修改：前往环境中faster_coco_eva依赖包进行修改，改一行即可：
anaconda3/envs/yolov7/lib/python3.8/site-packages/faster_coco_eval/core/cocoeval.py

在这里插入图片描述


Visdrone数据集验证结果如下【maxDets=300】，map50=0.475：

在这里插入图片描述


Visdrone数据集测试集结果如下【maxDets=300】，map50=0.397：

在这里插入图片描述

6 模型测试

测试的命令如下：

python tools/inference/torch_inf.py -c configs/deim_dfine/deim_hgnetv2_s_coco.yml -r outputs/deim_hgnetv2_s_coco/best_stg2.pth --input visdrone2019_coco/images/test/0000006_00159_d_0000001.jpg --device cuda:0

注意：原代码不带类别，只有索引，可自己在绘图时自行加入！
结果可视化如下，置信度阈值0.4：

在这里插入图片描述

7 onnx推理与可视化

注意：需安装onnx和onnxruntime等.

pip install onnx==1.14.1-i https://pypi.tuna.tsinghua.edu.cn/simple pip install onnxruntime-gpu==1.18.1-i https://pypi.tuna.tsinghua.edu.cn/simple

7.1 导出onnx

python tools/deployment/export_onnx.py -c configs/deim_dfine/deim_hgnetv2_s_coco.yml -r outputs/deim_hgnetv2_s_coco/best_stg2.pth

利用netron打开，显示如下：

在这里插入图片描述

7.2 运行官方的onnx推理脚本

注意：结果与pth存在偏差，可能是预处理影响。

python tools/inference/onnx_inf.py --onnx outputs/deim_hgnetv2_s_coco/best_stg2.onnx --input visdrone2019_coco/images/test/0000006_00159_d_0000001.jpg

可视化如下：onnx（左）、pth（右）

在这里插入图片描述

7.3 运行自定义onnx推理脚本

注意：该脚本无torch，只包含numpy、opencv和onnxruntime三个依赖。
推理速度如下：

在这里插入图片描述

8 与YOLOv8\11结果比较

Visdrone2019实验结果对比如下：

在这里插入图片描述

9 报错信息

报错1：RuntimeError: CUDA error: device-side assert triggered
原因：数据集配置有误，导致类别id与yaml文件中的索引号匹配不上导致的，这边自定义数据集要求ID索引从0开始，如10个类，则对应0-9。

报错2：Could not load library 2 libcudnn cnn train.so.8. Error. /usr/local/cuda-12.1/lib64/ibcudnn cnn train.so.8: undefined symbol
原因：安装calflops会携带装nvidia-cudnn-cu12，而环境nvidia-cudnn-cu12容易与系统的cudnn冲突导致报错。所以要么把系统里面的cudnn去掉(不推荐，如果部署其他的如Tensor t时会出现问题，反而更麻烦)。要么把虚拟环境中的cudnn去掉(推荐)，如pip uninstall nvidia-cudnn-cu12。

报错3：ModuleNotFoundError: No module named ‘calflops’
原因：与报错2冲突，因此我们将engine/misc/profiler_utils.py相关内容注释，该calflops仅计算FLOPs等功能。

在这里插入图片描述

Read more

如何快速解决Logitech设备连接问题：面向新手的完整指南

如何快速解决Logitech设备连接问题：面向新手的完整指南 【免费下载链接】SolaarLinux device manager for Logitech devices 项目地址: https://gitcode.com/gh_mirrors/so/Solaar Solaar是Linux系统下管理Logitech设备的终极工具，它能让你轻松解决无线鼠标、键盘的连接问题。如果你经常遇到设备无法识别或连接不稳定的情况，本文将提供简单实用的解决方案，帮助你快速恢复设备正常工作。 检查设备连接状态与兼容性 首先打开Solaar主界面，查看设备连接状态。如果你的设备显示为离线或无法识别，可能是兼容性问题。 如上图所示，Solaar能够同时管理多个Logitech设备，包括键盘、鼠标和接收器。在左侧设备列表中，你可以看到每个设备的电池状态和连接情况。如果设备未出现在列表中，请继续阅读后续解决方案。 快速修复权限配置问题 权限问题是导致设备无法连接的最常见原因。请按照以下步骤操作： 1. 重新插拔设备，检查权限是否正常。 如果未找到相关规则，从项目源码安装： git

By Ne0inhk
阿里开源的Mobile-Agent：让AI帮你操作手机电脑，这个工具太强了

阿里开源的Mobile-Agent：让AI帮你操作手机电脑，这个工具太强了

Mobile-Agent：让AI帮你操作手机电脑，这个工具太强了！ 想象一下，你只需要说一句话，AI就能帮你完成手机上所有的操作——打开微信、搜索内容、保存笔记、甚至帮你订机票。这不是科幻电影，而是阿里巴巴通义实验室刚刚开源的Mobile-Agent！ 字数约 3500，预计阅读 8 分钟 一、什么是Mobile-Agent？ 最近在GitHub上刷到一个特别火的项目，叫Mobile-Agent，已经收获了6.4k+的Star，651个Fork。点进去一看，好家伙，这是阿里巴巴通义实验室（Tongyi Lab）开发的GUI自动化代理工具家族。 简单来说，Mobile-Agent就是一个**“AI助手”**，它能像人类一样操作你的手机、电脑、网页。你只需要用自然语言告诉它要做什么，它就能自动完成各种复杂的操作任务。 比如你说：“帮我在小红书搜索济南旅游攻略，按收藏数排序，然后保存第一条笔记”。Mobile-Agent就能自动： 1. 打开小红书APP 2. 搜索"济南旅游攻略&

By Ne0inhk
手动部署开源OpenClaw汉化中文版过程中常见问题排查手册

手动部署开源OpenClaw汉化中文版过程中常见问题排查手册

部署开源OpenClaw汉化中文版过程中常见问题排查手册 遇到问题？按错误消息搜索本页，或按场景分类查找解决方案。 🎬 摘要 😤 部署 OpenClaw 汉化版又双叒叕报错了？ 别慌！这份实战排查手册专为「踩坑」而生。 无论是 Docker 镜像拉取失败、容器启动闪退，还是 Dashboard 死活连不上、远程访问 502 报错——我们按错误场景分类整理，支持按错误关键词秒搜定位。每个解决方案均来自真实部署案例，附带紧急修复通道和根因分析，让你从「报错一脸懵」到「秒级排障」。 🔧 适用版本：OpenClaw 汉化中文版（Docker 部署） 📌 更新策略：与主仓库每小时同步，排查方案持续迭代 ⚡ 建议收藏：部署前通读「零、紧急修复」，关键时刻能救命！ 目录 * 零、紧急修复 ⚠️ * 一、安装问题 * 二、启动问题

By Ne0inhk
Git 提交信息的规范化简写格式

Git 提交信息的规范化简写格式

你想了解的是 Git 提交信息的规范化简写格式（也常被称为 Conventional Commits 规范），除了 feat、fix、refactor 之外，还有很多不同类型的前缀可以让提交信息更清晰、更有语义。 完整的规范提交前缀及含义 以下是业界通用的 Conventional Commits 规范中常用的前缀，按使用场景分类，每个前缀都有明确的语义： 前缀中文含义使用场景举例feat新增功能feat: 新增商品详情页分享功能fix修复 Bugfix: 修复移动端下拉刷新数据重复的问题refactor代码重构（无功能变更）refactor: 重构订单列表组件，优化代码结构docs文档修改docs: 更新 README 中的接口使用说明style代码格式调整（无逻辑变更）style: 格式化代码缩进，修正变量命名规范test测试相关test: 为用户登录接口添加单元测试chore琐碎工作（构建/工具等）chore: 升级依赖包 axios 到 1.6.0 版本perf性能优化perf: 优化商品列表查询 SQL，提升接口响应速度build构建相关（

By Ne0inhk