AI 助理
备案控制台登录注册
开发者社区 人工智能 文章 正文

DETR也需要学习 | DETR-Distill模型蒸馏让DETR系类模型持续发光发热！！！（二）

2023-05-26 377 发布于辽宁
版权
举报
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： DETR也需要学习 | DETR-Distill模型蒸馏让DETR系类模型持续发光发热！！！（二）

4、实验

4.1、消融实验

1、主要结果

2、分析渐进式蒸馏

image.png

3、分类和回归分支样本消融

image.png

4、特色分区规划策略分析

image.png

image.png

4.2、COCO

image.png

4.3、Distilling to Lightweight Backbones

image.png

4.4、Self-Distillation


5、参考

[1].DETRDistill: A Universal Knowledge Distillation Framework for DETR-families.


6、推荐阅读

目标检测系列 | 无NMS的端到端目标检测模型，超越OneNet，FCOS等SOTA！

目标检测落地技能 | 拥挤目标检测你是如何解决的呢？改进Copy-Paste解决拥挤问题！

多目标跟踪新SOTA | TransTrack改进版本来啦，模型减小58.73%，复杂性降低78.72%

文章标签：
计算机视觉
5i77ajz5u7ji6
+关注
779文章
目录
打赏
0
0
0
0
34
分享
相关文章
楠竹11
|
28天前
|
机器学习/深度学习 人工智能 自然语言处理
NeurIPS Spotlight：从分类到生成：无训练的可控扩散生成
无训练的可控扩散生成是一种新颖的生成模型方法，无需额外训练即可利用已有无条件扩散模型和目标属性预测器生成具有特定属性的样本。相比传统模型，它减少了计算成本，提升了可控性和灵活性，适用于图像、文本等领域。然而，该方法也面临预测器质量、算法鲁棒性和数据多样性等挑战。此研究在NeurIPS会议上获Spotlight关注，论文链接：https://arxiv.org/abs/2409.15761。
楠竹11
32 15
Deephub
|
3月前
|
机器学习/深度学习 编解码 vr&ar
NeurIPS 2024最佳论文，扩散模型的创新替代：基于多尺度预测的视觉自回归架构
本文详细解读NeurIPS 2024最佳论文《视觉自回归建模：基于下一尺度预测的可扩展图像生成》。该研究提出VAR模型，通过多尺度token图和VAR Transformer结构，实现高效、高质量的图像生成，解决了传统自回归模型在二维结构信息、泛化能力和计算效率上的局限。实验表明，VAR在图像质量和速度上超越现有扩散模型，并展示出良好的扩展性和零样本泛化能力。未来研究将聚焦于文本引导生成和视频生成等方向。
Deephub
459 8
NeurIPS 2024最佳论文，扩散模型的创新替代：基于多尺度预测的视觉自回归架构
楠竹11
|
3月前
|
人工智能 机器人
LeCun 的世界模型初步实现！基于预训练视觉特征，看一眼任务就能零样本规划
纽约大学Gaoyue Zhou等人提出DINO World Model（DINO-WM），利用预训练视觉特征构建世界模型，实现零样本规划。该方法具备离线训练、测试时行为优化和任务无关性三大特性，通过预测未来补丁特征学习离线行为轨迹。实验表明，DINO-WM在迷宫导航、桌面推动等任务中表现出强大的泛化能力，无需依赖专家演示或奖励建模。论文地址：https://arxiv.org/pdf/2411.04983v1。
楠竹11
108 21
Snu77
|
11月前
|
机器学习/深度学习
YOLOv8改进 | 2023主干篇 | RepViT从视觉变换器（ViT）的视角重新审视CNN
YOLOv8改进 | 2023主干篇 | RepViT从视觉变换器（ViT）的视角重新审视CNN
Snu77
505 1
YOLOv8改进 | 2023主干篇 | RepViT从视觉变换器（ViT）的视角重新审视CNN
Snu77
|
11月前
|
机器学习/深度学习 编解码
YOLOv5改进 | 2023主干篇 | RepViT从视觉变换器（ViT）的视角重新审视CNN
YOLOv5改进 | 2023主干篇 | RepViT从视觉变换器（ViT）的视角重新审视CNN
Snu77
410 0
甜面酱肉丝
|
机器学习/深度学习 计算机视觉
深度学习原理篇 第七章：Deformable DETR
简要介绍Deformable DETR的原理和代码实现。
甜面酱肉丝
1828 1
-开发达人-
|
机器学习/深度学习 人工智能 编解码
一文梳理视觉Transformer架构进展：与CNN相比，ViT赢在哪儿？（1）
一文梳理视觉Transformer架构进展：与CNN相比，ViT赢在哪儿？
-开发达人-
679 0
5i77ajz5u7ji6
|
机器学习/深度学习 自然语言处理 算法
DETR也需要学习 | DETR-Distill模型蒸馏让DETR系类模型持续发光发热！！！（一）
DETR也需要学习 | DETR-Distill模型蒸馏让DETR系类模型持续发光发热！！！（一）
5i77ajz5u7ji6
396 0
-开发达人-
|
机器学习/深度学习 算法 数据可视化
CVPR 2023｜两行代码高效缓解视觉Transformer过拟合，美图&国科大联合提出正则化方法DropKey
CVPR 2023｜两行代码高效缓解视觉Transformer过拟合，美图&国科大联合提出正则化方法DropKey
-开发达人-
319 0
-开发达人-
|
异构计算
ICLR 2023 | DIFFormer: 扩散过程启发的Transformer（2）
ICLR 2023 | DIFFormer: 扩散过程启发的Transformer
-开发达人-
250 0

热门文章

最新文章

  • 1
    镜像区别：公共镜像、自定义镜像、共享镜像、云市场镜像和社区镜像对比
    21
  • 2
    从0开始搞K8S:使用Ubuntu进行安装(环境安装）
    36
  • 3
    基于海量日志和时序数据的质量建设最佳实践
    2
  • 4
    oraccle 索引管理
    608
  • 5
    ip nat
    1
  • 6
    relink all the executables of 11g
    594
  • 7
    写在随手记2亿美金融资之后，财务金融是伪命题还是真风口？
    638
  • 8
    挪威电信涉嫌破坏公平竞争 恐面临巨额罚款
    1
  • 9
    通过键盘方向键控制TreeView节点的移动
    687
  • 10
    MVC TIP6：级联菜单
    2
  • 1
    【LeetCode 热题100】深入理解二叉树结构变化与路径特性（力扣104 / 226 / 114 / 543）（Go语言版）
    25
  • 2
    GitHub封锁？推荐5个国产的Git仓库替代平台
    60
  • 3
    【LeetCode 热题100】【二叉树构造题精讲：前序 + 中序建树 & 有序数组构造 BST】（详细解析）（Go语言版）
    37
  • 4
    【二叉树遍历入门：从中序遍历到层序与右视图】【LeetCode 热题100】94:二叉树的中序遍历、102:二叉树的层序遍历、199:二叉树的右视图（详细解析）（Go语言版）
    39
  • 5
    文生图架构设计原来如此简单之社区与共享机制
    36
  • 6
    蚂蚁 Flink 实时计算编译任务 Koupleless 架构改造
    36
  • 7
    职业教育会被完全取代吗？—技术革命下人类教育本质的坚守与进化
    38
  • 8
    职业教育行业还有机会吗？——技术革命下的行业进化论
    37
  • 9
    数字化转型具体应该从哪里入手？——生成式AI时代的战略行动框架
    43
  • 10
    数字化转型需要的技术：生成式AI时代的全栈能力图谱
    51

    • 相关课程

    更多
  • 机器学习集成学习与模型融合
  • 机器学习基础与回归算法
  • 神经网络与深度学习
  • 计算机视觉类比赛汇总
  • 【深度有趣】上海交大博士带你玩转GAN生成对抗网络
  • 神经网络概览及算法详解

    • 相关电子书

    更多
  • 展心展力MetaApp：基于DeepRec的稀疏模型训练实践
  • 弱监督机器学习研究新进展
  • 优势特征蒸馏(Privileged Features Distillation)在手淘信息流推荐中的应用

    • 相关实验场景

    更多
  • 如何快速训练大模型
  • 使用PAI-快速开始，低代码实现大语言模型微调和部署
    • 下一篇
    阿里云无影云电脑免费试用，最长可试用3个月
    目录
    AI助理

    你好，我是AI助理

    可以解答问题、推荐解决方案等