备案控制台
开发者社区 人工智能 文章 正文

DETR也需要学习 | DETR-Distill模型蒸馏让DETR系类模型持续发光发热！！！（二）

2023-05-26 186
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： DETR也需要学习 | DETR-Distill模型蒸馏让DETR系类模型持续发光发热！！！（二）

4、实验

4.1、消融实验

1、主要结果

2、分析渐进式蒸馏

image.png

3、分类和回归分支样本消融

image.png

4、特色分区规划策略分析

image.png

image.png

4.2、COCO

image.png

4.3、Distilling to Lightweight Backbones

image.png

4.4、Self-Distillation


5、参考

[1].DETRDistill: A Universal Knowledge Distillation Framework for DETR-families.


6、推荐阅读

目标检测系列 | 无NMS的端到端目标检测模型，超越OneNet，FCOS等SOTA！

目标检测落地技能 | 拥挤目标检测你是如何解决的呢？改进Copy-Paste解决拥挤问题！

多目标跟踪新SOTA | TransTrack改进版本来啦，模型减小58.73%，复杂性降低78.72%

文章标签：
计算机视觉
5i77ajz5u7ji6
目录
相关文章
5i77ajz5u7ji6
|
3月前
|
机器学习/深度学习 算法 固态存储
最强DETR+YOLO | 三阶段的端到端目标检测器的DEYOv2正式来啦，性能炸裂！！！
最强DETR+YOLO | 三阶段的端到端目标检测器的DEYOv2正式来啦，性能炸裂！！！
5i77ajz5u7ji6
118 0
甜面酱肉丝
|
9月前
|
机器学习/深度学习 编解码 监控
目标识别知识蒸馏
翻译：《learning efficient object detection models with knowledge distillation》
甜面酱肉丝
88 0
楠竹11
|
2月前
|
机器学习/深度学习
ICLR 2024：基于Pathways架构的自适应多尺度时间序列预测
【2月更文挑战第17天】ICLR 2024：基于Pathways架构的自适应多尺度时间序列预测
楠竹11
257 1
ICLR 2024：基于Pathways架构的自适应多尺度时间序列预测
5i77ajz5u7ji6
|
3月前
|
机器学习/深度学习 编解码 数据可视化
即插即用 | 高效多尺度注意力模型成为YOLOv5改进的小帮手
即插即用 | 高效多尺度注意力模型成为YOLOv5改进的小帮手
5i77ajz5u7ji6
118 1
Snu77
|
3月前
|
机器学习/深度学习 编解码
YOLOv5改进 | 2023主干篇 | RepViT从视觉变换器（ViT）的视角重新审视CNN
YOLOv5改进 | 2023主干篇 | RepViT从视觉变换器（ViT）的视角重新审视CNN
Snu77
82 0
Snu77
|
3月前
|
机器学习/深度学习
YOLOv8改进 | 2023主干篇 | RepViT从视觉变换器（ViT）的视角重新审视CNN
YOLOv8改进 | 2023主干篇 | RepViT从视觉变换器（ViT）的视角重新审视CNN
Snu77
103 1
YOLOv8改进 | 2023主干篇 | RepViT从视觉变换器（ViT）的视角重新审视CNN
5i77ajz5u7ji6
|
12月前
|
机器学习/深度学习 自然语言处理 算法
DETR也需要学习 | DETR-Distill模型蒸馏让DETR系类模型持续发光发热！！！（一）
DETR也需要学习 | DETR-Distill模型蒸馏让DETR系类模型持续发光发热！！！（一）
5i77ajz5u7ji6
151 0
5i77ajz5u7ji6
|
12月前
|
机器学习/深度学习 存储 自动驾驶
FastPillars实时3D目标检测 | 完美融合PointPillar、YOLO以及RepVGG的思想（一）
FastPillars实时3D目标检测 | 完美融合PointPillar、YOLO以及RepVGG的思想（一）
5i77ajz5u7ji6
985 0
5i77ajz5u7ji6
|
12月前
|
数据可视化 Go 计算机视觉
FastPillars实时3D目标检测 | 完美融合PointPillar、YOLO以及RepVGG的思想（二）
FastPillars实时3D目标检测 | 完美融合PointPillar、YOLO以及RepVGG的思想（二）
5i77ajz5u7ji6
148 0
5i77ajz5u7ji6
|
12月前
|
数据可视化
车道线模型落地技巧 | LGAD注意力蒸馏让模型更鲁棒（二）
车道线模型落地技巧 | LGAD注意力蒸馏让模型更鲁棒（二）
5i77ajz5u7ji6
117 0

热门文章

最新文章

  • 1
    Maven 中央仓库地址
  • 2
    【SSL】OV、DV和EV证书的区别
  • 3
    OLAP与OLTP介绍
  • 4
    大数据上手实战！《Elasticsearch 实战进阶营》第二季限时免费报名啦
  • 5
    tr命令
  • 6
    JavaScript理解(转载)
  • 7
    shell重定向小记
  • 8
    CentOS7 yum lamp 虚拟主机配置 lamp各组件简单影响性能的参数调整--for 一定的环境需求
  • 9
    【SICP练习】49 练习2.17
  • 10
    如何让Pl/Sql查出的某个值可编辑？
  • 1
    如何修改NFT的元数据
    36
  • 2
    【机器学习】噪声数据对贝叶斯模型有什么样的影响？
    29
  • 3
    rabbitmq插件升级-延时队列为列
    25
  • 4
    【机器学习】比较朴素贝叶斯算法与逻辑回归算法
    23
  • 5
    如何解决Linux时差问题
    21
  • 6
    rabbitmq安装erlang环境后没生效
    20
  • 7
    高性能代码如何编写？-2
    21
  • 8
    高性能代码如何编写？-1
    17
  • 9
    【机器学习】朴素贝叶斯分类器的缺点是什么？
    17
  • 10
    【机器学习】朴素贝叶斯分类器的优点是什么？
    15

    • 相关课程

    更多
  • 机器学习集成学习与模型融合
  • 【算法实战】5. Logistic回归算法
  • 【算法实战】8. 集成方法-Adaboost
  • 【算法实战】6. 支持向量机算法
  • 【算法实战】4. 朴素贝叶斯算法
  • 机器学习基础与回归算法

    • 相关电子书

    更多
  • 优势特征蒸馏(Privileged Features Distillation)在手淘信息流推荐中的应用
  • 概率图模型
  • 神经网络结构设计

    • 相关实验场景

    更多
  • 如何快速训练大模型
  • AIGC Stable Diffusion文生图Lora模型微调实现虚拟上装
  • 推荐系统入门之使用ALS算法实现打分预测
    • 下一篇
    部署LAMP环境（Alibaba Cloud Linux 3）