AI 助理
备案控制台
开发者社区 人工智能 文章 正文

DETR也需要学习 | DETR-Distill模型蒸馏让DETR系类模型持续发光发热！！！（二）

2023-05-26 277
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： DETR也需要学习 | DETR-Distill模型蒸馏让DETR系类模型持续发光发热！！！（二）

4、实验

4.1、消融实验

1、主要结果

2、分析渐进式蒸馏

image.png

3、分类和回归分支样本消融

image.png

4、特色分区规划策略分析

image.png

image.png

4.2、COCO

image.png

4.3、Distilling to Lightweight Backbones

image.png

4.4、Self-Distillation


5、参考

[1].DETRDistill: A Universal Knowledge Distillation Framework for DETR-families.


6、推荐阅读

目标检测系列 | 无NMS的端到端目标检测模型，超越OneNet，FCOS等SOTA！

目标检测落地技能 | 拥挤目标检测你是如何解决的呢？改进Copy-Paste解决拥挤问题！

多目标跟踪新SOTA | TransTrack改进版本来啦，模型减小58.73%，复杂性降低78.72%

文章标签：
计算机视觉
5i77ajz5u7ji6
目录
相关文章
5i77ajz5u7ji6
|
计算机视觉
迟到的 HRViT | Facebook提出多尺度高分辨率ViT，这才是原汁原味的HRNet思想（二）
迟到的 HRViT | Facebook提出多尺度高分辨率ViT，这才是原汁原味的HRNet思想（二）
5i77ajz5u7ji6
281 0
楠竹11
|
12天前
|
机器学习/深度学习 编解码 人工智能
扩散模型失宠？端侧非自回归图像生成基础模型Meissonic登场，超越SDXL！
Meissonic是一种新型图像生成模型，采用非自回归的掩码图像建模（MIM）方法，在性能和效率上超越了当前最先进的扩散模型SDXL。其创新点包括改进的注意力机制、多尺度特征提取、先进位置编码策略和优化采样条件等，能够生成高质量、高分辨率图像。此外，Meissonic引入人类偏好评分和特征压缩层，提升图像质量和计算效率。尽管存在一些挑战，Meissonic为统一语言-视觉模型的发展提供了新思路，并在创意设计、虚拟现实等领域展现出广泛应用前景。
楠竹11
64 24
楠竹11
|
8月前
|
人工智能 计算机视觉
论文介绍：MDTv2——提升图像合成能力的掩码扩散变换器
【5月更文挑战第18天】MDTv2是掩码扩散变换器的升级版，旨在增强图像合成模型DPMs处理语义关系的能力。通过掩码操作和不对称扩散变换，MDTv2能学习图像的完整语义信息，提升学习效率和图像质量。MDTv2采用优化的网络结构和训练策略，如长快捷方式、密集输入和时间步适应损失权重，实现SOTA性能，FID分数达到1.58，训练速度比DiT快10倍。尽管计算成本高和泛化能力待验证，MDTv2为图像合成领域开辟了新方向。[链接: https://arxiv.org/abs/2303.14389]
楠竹11
228 1
Snu77
|
8月前
|
机器学习/深度学习
YOLOv8改进 | 2023主干篇 | RepViT从视觉变换器（ViT）的视角重新审视CNN
YOLOv8改进 | 2023主干篇 | RepViT从视觉变换器（ViT）的视角重新审视CNN
Snu77
442 1
YOLOv8改进 | 2023主干篇 | RepViT从视觉变换器（ViT）的视角重新审视CNN
旅途中的宽~
|
机器学习/深度学习 测试技术 计算机视觉
【计算机视觉 | ViT-G】谷歌大脑提出 ViT-G：缩放视觉 Transformer，高达 90.45% 准确率
谷歌大脑提出 ViT-G：缩放视觉 Transformer，高达 90.45% 准确率
旅途中的宽~
530 0
5i77ajz5u7ji6
|
8月前
|
机器学习/深度学习 人工智能 计算机视觉
CVPR 2023 | AdaAD: 通过自适应对抗蒸馏提高轻量级模型的鲁棒性
CVPR 2023 | AdaAD: 通过自适应对抗蒸馏提高轻量级模型的鲁棒性
5i77ajz5u7ji6
270 0
Snu77
|
8月前
|
机器学习/深度学习 编解码
YOLOv5改进 | 2023主干篇 | RepViT从视觉变换器（ViT）的视角重新审视CNN
YOLOv5改进 | 2023主干篇 | RepViT从视觉变换器（ViT）的视角重新审视CNN
Snu77
354 0
TechLead
|
8月前
|
机器学习/深度学习 自然语言处理 算法
从滑动窗口到YOLO、Transformer：目标检测的技术革新
从滑动窗口到YOLO、Transformer：目标检测的技术革新
TechLead
203 0
5i77ajz5u7ji6
|
机器学习/深度学习 自然语言处理 算法
DETR也需要学习 | DETR-Distill模型蒸馏让DETR系类模型持续发光发热！！！（一）
DETR也需要学习 | DETR-Distill模型蒸馏让DETR系类模型持续发光发热！！！（一）
5i77ajz5u7ji6
333 0
5i77ajz5u7ji6
|
数据可视化
车道线模型落地技巧 | LGAD注意力蒸馏让模型更鲁棒（二）
车道线模型落地技巧 | LGAD注意力蒸馏让模型更鲁棒（二）
5i77ajz5u7ji6
165 0

热门文章

最新文章

  • 1
    如何优雅打印nginx header和body
  • 2
    Swin Transformer实战：使用 Swin Transformer实现图像分类
  • 3
    国家自然科学基金委员会管理科学部认定的管理类30种重要期刊
  • 4
    TMPFS详解
  • 5
    寿力：能为企业创造价值的网站才值得投资
  • 6
    49.5. Backup and Recovery
  • 7
    利用有序队列寻找最大的K个数
  • 8
    内核源码编译
  • 9
    记录一次mysql的调优心得
  • 10
    RHEL5实现高可用HA集群+GFS+EnterpriseDB
  • 1
    用自然语言控制电脑，字节跳动开源 UI-TARS 的桌面版应用！内附详细的安装和配置教程
    78
  • 2
    PaSa：字节跳动开源学术论文检索智能体，自动调用搜索引擎、浏览相关论文并追踪引文网络
    46
  • 3
    UI-TARS：字节跳动开源专注于多平台 GUI 自动化交互的视觉语言模型
    47
  • 4
    数据库连接工具连接mysql提示：“Host ‘172.23.0.1‘ is not allowed to connect to this MySQL server“
    91
  • 5
    菜鸟之路Day05一一正则表达式
    103
  • 6
    🎨 设计师必备！AI Stable Diffusion 提示词神器，让你秒变创意大师！
    44
  • 7
    【c++丨STL】stack和queue的使用及模拟实现
    34
  • 8
    师资培训｜AIGC工具搜集和分析教学反馈-某教育科技集团
    48
  • 9
    更正以前风险调整中的一个缺陷
    60
  • 10
    使用ChatGPT生成登录产品代码
    46

    • 相关课程

    更多
  • 【深度有趣】上海交大博士带你玩转GAN生成对抗网络
  • 机器学习基础与回归算法
  • 计算机视觉类比赛汇总
  • 南瓜书《机器学习公式推导》
  • 神经网络概览及算法详解
  • 机器学习集成学习与模型融合

    • 相关电子书

    更多
  • 优势特征蒸馏(Privileged Features Distillation)在手淘信息流推荐中的应用
  • 基于神经网络的语言合成
  • 深度学习论文实现：空间变换网络-第一部分

    • 相关实验场景

    更多
  • 如何快速训练大模型
  • AI克隆声音，基于函数计算部署GPT-Sovits语音生成模型
  • 使用PAI-快速开始，低代码实现大语言模型微调和部署
  • AIGC Stable Diffusion文生图Lora模型微调实现虚拟上装
    • 下一篇
    阿里云oss简介和如何对接使用