连夜卷出 | 超越所有YOLO检测模型,mmdet开源当今最强最快目标检测模型!(二)

简介: 连夜卷出 | 超越所有YOLO检测模型,mmdet开源当今最强最快目标检测模型!(二)

2、匹配策略


直接上配置参数,熟悉Nanodet的小伙伴你是不是又知道了!嗯,是的是熟悉的味道,就是NanoDet-Plus的哪个策略,依旧很香,依旧很好用!!!

当年的Nanodet-Plus是这样的:

这里所谓动态匹配,简单来说就是直接使用模型检测头的输出,与所有Ground Truth计算一个匹配得分,这个得分由分类损失和回归损失相加得到。特征图上N个点的预测值,与M个Ground Truth计算得到一个N×M的矩阵,称为Cost Matrix,基于这个矩阵可以让当前预测结果动态地寻找最优标签,匹配的策略有二分图匹配、传输优化、Top-K等,在NanoDet中直接采取了Top-K的策略来匹配。

这种策略的一个问题在于,在网络训练的初期,预测结果是很差的,可能根本预测不出结果。所以在动态匹配时还会加上一些位置约束,比如使用一个 5×5 的中心区域去限制匹配的自由程度,然后再依赖神经网络天生的抗噪声能力,只需要在Ground Truth框内随机分配一些点,网络就能学到一些基础的特征。


3、损失函数


这部分主要是是用来QFL和GIOU Loss,这里不进行过多描述,以后尽可能补上吧,今天太累了,已经太晚了。。。。


4、输入端部分


阶段一

作者在训练的第一阶段,主要是使用了CacheMosaic数据增强,RandomResize,RandomCrop,RandomCrop,CacheMixup以及YOLOX关于HSV的一些增强手段,这里的CacheMosaic以及CacheMixup是mmdet中全新提出的新Trcik炼丹术;

image.png

阶段2

作者在训练阶段2提出了前面提出的新技术,CacheMosaic以及CacheMixup,看样子这里应该是学习YOLOX的训练技术:

image.png

4.1、CacheMosaic

1、Mosaic流程:

  1. 选择Mosaic中心作为4幅图像的交点。
  2. 根据索引获取左上图,从自定义数据集中随机抽取另外3张图片。
  3. 如果图像大于Mosaic Patch,子图像将被裁剪。

2、CacheMosaic流程:

  1. 将上次Transform的结果加到Cache中。
  2. 选择Mosaic中心作为4幅图像的交点。
  3. 根据索引获取左上图,从结果缓存中随机抽取另外3张图片。
  4. 如果图像大于Mosaic Patch,子图像将被裁剪。

优点我猜就是训练快!!!

4.2、CacheMixup

1、Mixup

  1. 另一个随机图像被数据集挑选并嵌入到左上角的Patch中(在填充和调整大小之后)
  2. mixup变换的目标是mixup image和origin image的加权平均。

2、CacheMixup

  1. 将上次Transform的结果加到Cache中。
  2. 从Cache中挑选另一个随机图像并嵌入到左上角的Patch中(在填充和调整大小之后)
  3. mixup变换的目标是mixup image和origin image的加权平均。

参考


[1].https://github.com/RangiLyu/mmdetection/tree/rtmdet_config/configs/rtmdet.


推荐阅读


书童笔记私藏 | AI计算机视觉全栈知识总结

3D检测难点 | 3D检测如何解决远处小目标问题?Deformable PV-RCNN 或是个答案!

超越YOLOv7 | YOLOv6论文放出,重参+自蒸馏+感知量化+...各种Tricks大放异彩

相关文章
|
11天前
|
人工智能
MIT等首次深度研究集成LLM预测能力:可媲美人类群体准确率
【4月更文挑战第16天】研究人员集成12个大型语言模型(LLM)组成“硅基群体”,在预测比赛中与925名人类预测者对比。研究发现,LLM群体的预测准确性与人类群体无显著差异,且通过集成可抵消个体模型的偏差,提高预测准确。GPT-4和Claude 2等模型结合人类预测后,准确度提升17%至28%。然而,个别LLM预测精度不一,模型选择和校准度是提升预测性能的关键,同时LLM在时间跨度和现实场景适应性方面仍有挑战。
20 6
MIT等首次深度研究集成LLM预测能力:可媲美人类群体准确率
|
1月前
|
机器学习/深度学习 人工智能
ChatGPT检测器——以前所未有的准确性捕捉AI生成的论文
【2月更文挑战第25天】ChatGPT检测器——以前所未有的准确性捕捉AI生成的论文
28 7
ChatGPT检测器——以前所未有的准确性捕捉AI生成的论文
|
4月前
|
编解码 人工智能 算法
极智AI | 目标检测实现分享二:听说克莱今天复出了?详解YOLOv2算法与克莱检测
大家好,我是极智视界,本文详细介绍一下 YOLOv2 算法的设计与实现,包括训练。
209 1
|
7月前
|
机器学习/深度学习 人工智能 自然语言处理
人工智能的优势:使用 GPT 和扩散模型生成图像
生成式人工智能正在席卷全球,对我们创建的内容产生潜在的深远影响。通过本教程学习 AI 图像生成的基础知识并生成复杂的艺术渲染。
123 0
|
11月前
|
Go 计算机视觉 开发者
连夜卷出 | 超越所有YOLO检测模型,mmdet开源当今最强最快目标检测模型!(一)
连夜卷出 | 超越所有YOLO检测模型,mmdet开源当今最强最快目标检测模型!(一)
424 0
|
11月前
|
机器学习/深度学习 PHP
GPT-4拿下最难数学推理数据集新SOTA,新型Prompting让大模型推理能力狂升(1)
GPT-4拿下最难数学推理数据集新SOTA,新型Prompting让大模型推理能力狂升
165 0
|
11月前
|
自然语言处理 测试技术 API
GPT-4拿下最难数学推理数据集新SOTA,新型Prompting让大模型推理能力狂升(2)
GPT-4拿下最难数学推理数据集新SOTA,新型Prompting让大模型推理能力狂升
211 0
|
11月前
|
机器学习/深度学习 人工智能 自然语言处理
与生成模型相比,为何机器人研究还在用几年前的老方法?(1)
与生成模型相比,为何机器人研究还在用几年前的老方法?
|
11月前
|
机器学习/深度学习 人工智能 自然语言处理
与生成模型相比,为何机器人研究还在用几年前的老方法?
与生成模型相比,为何机器人研究还在用几年前的老方法?
|
11月前
|
机器学习/深度学习 人工智能 自然语言处理
与生成模型相比,为何机器人研究还在用几年前的老方法?(2)
与生成模型相比,为何机器人研究还在用几年前的老方法?