连夜卷出 | 超越所有YOLO检测模型,mmdet开源当今最强最快目标检测模型!(二)

简介: 连夜卷出 | 超越所有YOLO检测模型,mmdet开源当今最强最快目标检测模型!(二)

2、匹配策略


直接上配置参数,熟悉Nanodet的小伙伴你是不是又知道了!嗯,是的是熟悉的味道,就是NanoDet-Plus的哪个策略,依旧很香,依旧很好用!!!

当年的Nanodet-Plus是这样的:

这里所谓动态匹配,简单来说就是直接使用模型检测头的输出,与所有Ground Truth计算一个匹配得分,这个得分由分类损失和回归损失相加得到。特征图上N个点的预测值,与M个Ground Truth计算得到一个N×M的矩阵,称为Cost Matrix,基于这个矩阵可以让当前预测结果动态地寻找最优标签,匹配的策略有二分图匹配、传输优化、Top-K等,在NanoDet中直接采取了Top-K的策略来匹配。

这种策略的一个问题在于,在网络训练的初期,预测结果是很差的,可能根本预测不出结果。所以在动态匹配时还会加上一些位置约束,比如使用一个 5×5 的中心区域去限制匹配的自由程度,然后再依赖神经网络天生的抗噪声能力,只需要在Ground Truth框内随机分配一些点,网络就能学到一些基础的特征。


3、损失函数


这部分主要是是用来QFL和GIOU Loss,这里不进行过多描述,以后尽可能补上吧,今天太累了,已经太晚了。。。。


4、输入端部分


阶段一

作者在训练的第一阶段,主要是使用了CacheMosaic数据增强,RandomResize,RandomCrop,RandomCrop,CacheMixup以及YOLOX关于HSV的一些增强手段,这里的CacheMosaic以及CacheMixup是mmdet中全新提出的新Trcik炼丹术;

image.png

阶段2

作者在训练阶段2提出了前面提出的新技术,CacheMosaic以及CacheMixup,看样子这里应该是学习YOLOX的训练技术:

image.png

4.1、CacheMosaic

1、Mosaic流程:

  1. 选择Mosaic中心作为4幅图像的交点。
  2. 根据索引获取左上图,从自定义数据集中随机抽取另外3张图片。
  3. 如果图像大于Mosaic Patch,子图像将被裁剪。

2、CacheMosaic流程:

  1. 将上次Transform的结果加到Cache中。
  2. 选择Mosaic中心作为4幅图像的交点。
  3. 根据索引获取左上图,从结果缓存中随机抽取另外3张图片。
  4. 如果图像大于Mosaic Patch,子图像将被裁剪。

优点我猜就是训练快!!!

4.2、CacheMixup

1、Mixup

  1. 另一个随机图像被数据集挑选并嵌入到左上角的Patch中(在填充和调整大小之后)
  2. mixup变换的目标是mixup image和origin image的加权平均。

2、CacheMixup

  1. 将上次Transform的结果加到Cache中。
  2. 从Cache中挑选另一个随机图像并嵌入到左上角的Patch中(在填充和调整大小之后)
  3. mixup变换的目标是mixup image和origin image的加权平均。

参考


[1].https://github.com/RangiLyu/mmdetection/tree/rtmdet_config/configs/rtmdet.


推荐阅读


书童笔记私藏 | AI计算机视觉全栈知识总结

3D检测难点 | 3D检测如何解决远处小目标问题?Deformable PV-RCNN 或是个答案!

超越YOLOv7 | YOLOv6论文放出,重参+自蒸馏+感知量化+...各种Tricks大放异彩

相关文章
|
搜索推荐
AIGC如何成为教育行业的变革推动者
【1月更文挑战第14天】AIGC如何成为教育行业的变革推动者
371 2
AIGC如何成为教育行业的变革推动者
|
机器学习/深度学习 人工智能 自然语言处理
一文尽览 | 开放世界目标检测的近期工作及简析!(基于Captioning/CLIP/伪标签/Prompt)(上)
人类通过自然监督,即探索视觉世界和倾听他人描述情况,学会了毫不费力地识别和定位物体。我们人类对视觉模式的终身学习,并将其与口语词汇联系起来,从而形成了丰富的视觉和语义词汇,不仅可以用于检测物体,还可以用于其他任务,如描述物体和推理其属性和可见性。人类的这种学习模式为我们实现开放世界的目标检测提供了一个可以学习的角度。
一文尽览 | 开放世界目标检测的近期工作及简析!(基于Captioning/CLIP/伪标签/Prompt)(上)
【亲测有效】装了双系统后在ubuntu下耳机没有声音的解决方法
【亲测有效】装了双系统后在ubuntu下耳机没有声音的解决方法
|
机器学习/深度学习 并行计算 PyTorch
从零开始下载torch+cu(无痛版)
这篇文章提供了一个详细的无痛版教程,指导如何从零开始下载并配置支持CUDA的PyTorch GPU版本,包括查看Cuda版本、在官网检索下载包名、下载指定的torch、torchvision、torchaudio库,并在深度学习环境中安装和测试是否成功。
从零开始下载torch+cu(无痛版)
|
机器学习/深度学习 人工智能 监控
人工智能 - 目标检测算法详解及实战
目标检测需识别目标类别与位置,核心挑战为复杂背景下的多目标精准快速检测。算法分两步:目标提取(滑动窗口或区域提议)和分类(常用CNN)。IoU衡量预测与真实框重叠度,越接近1,检测越准。主流算法包括R-CNN系列(R-CNN, Fast R-CNN, Faster R-CNN),YOLO系列,SSD,各具特色,如Faster R-CNN高效候选区生成与检测,YOLO适用于实时应用。应用场景丰富,如自动驾驶行人车辆检测,安防监控,智能零售商品识别等。实现涉及数据准备、模型训练(示例YOLOv3)、评估(Precision, Recall, mAP)及测试。
622 5
|
搜索推荐 Java 数据库
基于springboot+vue网上图书商城(程序+数据库+文档)
基于springboot+vue网上图书商城(程序+数据库+文档)
|
数据采集 存储 传感器
物联网的感知层、网络层与应用层分享
物联网的感知层、网络层与应用层分享
670 1
|
机器学习/深度学习 编解码 固态存储
超轻目标检测 | 超越 NanoDet-Plus、YOLOv4-Tiny实时性、高精度都是你想要的!(一)
超轻目标检测 | 超越 NanoDet-Plus、YOLOv4-Tiny实时性、高精度都是你想要的!(一)
677 0
|
机器学习/深度学习 存储 编解码
超轻超快分割模型 | PP-MobileSeg 安卓手机就可以实时运行
超轻超快分割模型 | PP-MobileSeg 安卓手机就可以实时运行
1298 0
|
编解码 人工智能 自动驾驶
YOLOX详细解读(一)论文解读
YOLOX详细解读(一)论文解读
839 0