连夜卷出 | 超越所有YOLO检测模型,mmdet开源当今最强最快目标检测模型!(二)

简介: 连夜卷出 | 超越所有YOLO检测模型,mmdet开源当今最强最快目标检测模型!(二)

2、匹配策略


直接上配置参数,熟悉Nanodet的小伙伴你是不是又知道了!嗯,是的是熟悉的味道,就是NanoDet-Plus的哪个策略,依旧很香,依旧很好用!!!

当年的Nanodet-Plus是这样的:

这里所谓动态匹配,简单来说就是直接使用模型检测头的输出,与所有Ground Truth计算一个匹配得分,这个得分由分类损失和回归损失相加得到。特征图上N个点的预测值,与M个Ground Truth计算得到一个N×M的矩阵,称为Cost Matrix,基于这个矩阵可以让当前预测结果动态地寻找最优标签,匹配的策略有二分图匹配、传输优化、Top-K等,在NanoDet中直接采取了Top-K的策略来匹配。

这种策略的一个问题在于,在网络训练的初期,预测结果是很差的,可能根本预测不出结果。所以在动态匹配时还会加上一些位置约束,比如使用一个 5×5 的中心区域去限制匹配的自由程度,然后再依赖神经网络天生的抗噪声能力,只需要在Ground Truth框内随机分配一些点,网络就能学到一些基础的特征。


3、损失函数


这部分主要是是用来QFL和GIOU Loss,这里不进行过多描述,以后尽可能补上吧,今天太累了,已经太晚了。。。。


4、输入端部分


阶段一

作者在训练的第一阶段,主要是使用了CacheMosaic数据增强,RandomResize,RandomCrop,RandomCrop,CacheMixup以及YOLOX关于HSV的一些增强手段,这里的CacheMosaic以及CacheMixup是mmdet中全新提出的新Trcik炼丹术;

image.png

阶段2

作者在训练阶段2提出了前面提出的新技术,CacheMosaic以及CacheMixup,看样子这里应该是学习YOLOX的训练技术:

image.png

4.1、CacheMosaic

1、Mosaic流程:

  1. 选择Mosaic中心作为4幅图像的交点。
  2. 根据索引获取左上图,从自定义数据集中随机抽取另外3张图片。
  3. 如果图像大于Mosaic Patch,子图像将被裁剪。

2、CacheMosaic流程:

  1. 将上次Transform的结果加到Cache中。
  2. 选择Mosaic中心作为4幅图像的交点。
  3. 根据索引获取左上图,从结果缓存中随机抽取另外3张图片。
  4. 如果图像大于Mosaic Patch,子图像将被裁剪。

优点我猜就是训练快!!!

4.2、CacheMixup

1、Mixup

  1. 另一个随机图像被数据集挑选并嵌入到左上角的Patch中(在填充和调整大小之后)
  2. mixup变换的目标是mixup image和origin image的加权平均。

2、CacheMixup

  1. 将上次Transform的结果加到Cache中。
  2. 从Cache中挑选另一个随机图像并嵌入到左上角的Patch中(在填充和调整大小之后)
  3. mixup变换的目标是mixup image和origin image的加权平均。

参考


[1].https://github.com/RangiLyu/mmdetection/tree/rtmdet_config/configs/rtmdet.


推荐阅读


书童笔记私藏 | AI计算机视觉全栈知识总结

3D检测难点 | 3D检测如何解决远处小目标问题?Deformable PV-RCNN 或是个答案!

超越YOLOv7 | YOLOv6论文放出,重参+自蒸馏+感知量化+...各种Tricks大放异彩

相关文章
|
3月前
|
人工智能 测试技术 PyTorch
AI计算机视觉笔记二十四:YOLOP 训练+测试+模型评估
本文介绍了通过正点原子的ATK-3568了解并实现YOLOP(You Only Look Once for Panoptic Driving Perception)的过程,包括训练、测试、转换为ONNX格式及在ONNX Runtime上的部署。YOLOP由华中科技大学团队于2021年发布,可在Jetson TX2上达到23FPS,实现了目标检测、可行驶区域分割和车道线检测的多任务学习。文章详细记录了环境搭建、训练数据准备、模型转换和测试等步骤,并解决了ONNX转换过程中的问题。
|
7月前
|
机器学习/深度学习 人工智能
谷歌提出大规模ICL方法——强化和无监督
【5月更文挑战第26天】谷歌DeepMind团队提出Many-Shot ICL,一种强化和无监督学习方法,用于提升大型语言模型处理多样化任务的能力。通过提供更多示例,模型无需权重更新即可学习新任务。研究还引入Reinforced ICL和Unsupervised ICL,减少对人类生成输出的依赖。Many-Shot ICL能有效克服预训练偏见,但示例顺序对其性能至关重要。然而,NLL作为评估指标的局限性被指出,且增加示例数量可能降低性能。该研究为改进LLMs提供了新视角,但仍需在更多模型和场景中验证。[链接: https://arxiv.org/abs/2404.11018]
77 1
|
7月前
|
人工智能 调度 vr&ar
探索生成模型的新篇章:扩散模型的理论与实践
【4月更文挑战第11天】扩散模型作为新兴的生成工具,基于变分自编码器(VAE)和去噪扩散概率模型(DDPM),通过逐步添加噪声生成样本,广泛应用于图像和视频生成,展示出在逆问题解决上的潜力。尽管训练复杂且计算需求高,研究者正通过新理论框架和SDE方法优化模型,以应对挑战并提升性能。
80 1
探索生成模型的新篇章:扩散模型的理论与实践
|
7月前
|
机器学习/深度学习 计算机视觉
大模型一定就比小模型好?谷歌的这项研究说不一定
【5月更文挑战第5天】谷歌研究挑战传统观念,指出在生成图像任务中,小模型并不一定逊色于大模型。实验显示小模型在有限计算资源下能生成高质量图像,且泛化性能佳。在多个图像生成任务中,小模型的表现与大模型相当甚至更好,暗示了小模型在该领域的潜力。这一发现提示了在追求性能时需综合考虑模型规模和效率。论文链接:https://arxiv.org/pdf/2404.01367.pdf
67 2
|
7月前
|
机器学习/深度学习 人工智能
ChatGPT检测器——以前所未有的准确性捕捉AI生成的论文
【2月更文挑战第25天】ChatGPT检测器——以前所未有的准确性捕捉AI生成的论文
100 7
ChatGPT检测器——以前所未有的准确性捕捉AI生成的论文
|
7月前
|
编解码 人工智能 算法
极智AI | 目标检测实现分享二:听说克莱今天复出了?详解YOLOv2算法与克莱检测
大家好,我是极智视界,本文详细介绍一下 YOLOv2 算法的设计与实现,包括训练。
253 1
|
7月前
|
机器学习/深度学习 人工智能 算法
基于AidLux的工业视觉少样本缺陷检测实战应用---深度学习分割模型UNET的实践部署
  工业视觉在生产和制造中扮演着关键角色,而缺陷检测则是确保产品质量和生产效率的重要环节。工业视觉的前景与发展在于其在生产制造领域的关键作用,尤其是在少样本缺陷检测方面,借助AidLux技术和深度学习分割模型UNET的实践应用,深度学习分割模型UNET的实践部署变得至关重要。
181 1
|
Go 计算机视觉 开发者
连夜卷出 | 超越所有YOLO检测模型,mmdet开源当今最强最快目标检测模型!(一)
连夜卷出 | 超越所有YOLO检测模型,mmdet开源当今最强最快目标检测模型!(一)
547 0
|
机器学习/深度学习 人工智能 自然语言处理
与生成模型相比,为何机器人研究还在用几年前的老方法?
与生成模型相比,为何机器人研究还在用几年前的老方法?
124 0
|
机器学习/深度学习 人工智能 自然语言处理
与生成模型相比,为何机器人研究还在用几年前的老方法?(2)
与生成模型相比,为何机器人研究还在用几年前的老方法?