备案控制台
开发者社区 人工智能 文章 正文

即插即用 | 英伟达提出FAN，鲁棒性和高效性超越ConvNeXt、Swin（二）

2023-05-24 68
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 即插即用 | 英伟达提出FAN，鲁棒性和高效性超越ConvNeXt、Swin（二）

3实验

3.1 消融实验

image.png

如表7所示，原始的ConvNeXt比Swin-Transformer具有更强的鲁棒性，但不如FAN-ViT和FAN-Swin模型。同时，FAN-hybrid具有与FAN-vit和FAN-swin相当的鲁棒性，并且对于干净数据集和已损坏数据集都具有更高的精度，这意味着FAN也可以有效地增强基于CNN的模型的鲁棒性。与FAN-Swin类似，FAN-Hybrid对于大分辨率的输入和密集的预测任务具有高效性，有利于下游任务。

3.2 SOTA对比

image.png


4参考

[1].Understanding The Robustness in Vision Transformers.


5推荐阅读

NAS-ViT | 超低FLOPs与Params实现50FPS的CPU推理，精度却超越ResNet50！！！

PolyLoss | 统一CE Loss与Focal Loss，PolyLoss用1行代码+1个超参完成超车！！！

超越 Swin、ConvNeXt | Facebook提出Neighborhood Attention Transformer

文章标签：
编解码
机器学习/深度学习
5i77ajz5u7ji6
目录
相关文章
5i77ajz5u7ji6
|
19天前
|
机器学习/深度学习 编解码 数据可视化
即插即用 | 高效多尺度注意力模型成为YOLOv5改进的小帮手
即插即用 | 高效多尺度注意力模型成为YOLOv5改进的小帮手
5i77ajz5u7ji6
151 1
5i77ajz5u7ji6
|
19天前
|
机器学习/深度学习 编解码 数据可视化
南开大学提出YOLO-MS | 超越YOLOv8与RTMDet，即插即用打破性能瓶颈
南开大学提出YOLO-MS | 超越YOLOv8与RTMDet，即插即用打破性能瓶颈
5i77ajz5u7ji6
54 1
5i77ajz5u7ji6
|
19天前
|
机器学习/深度学习 编解码 数据可视化
即插即用 | 清华大学提出Focused Linear Attention取代Self-Attention成为ViT的新宠
即插即用 | 清华大学提出Focused Linear Attention取代Self-Attention成为ViT的新宠
5i77ajz5u7ji6
95 0
Snu77
|
19天前
|
机器学习/深度学习
YOLOv8改进 | 主干篇 | EfficientViT高效的特征提取网络完爆MobileNet系列(轻量化网络结构)
YOLOv8改进 | 主干篇 | EfficientViT高效的特征提取网络完爆MobileNet系列(轻量化网络结构)
Snu77
248 0
5i77ajz5u7ji6
|
机器学习/深度学习 存储 数据可视化
即插即用 | 英伟达提出FAN，鲁棒性和高效性超越ConvNeXt、Swin（一）
即插即用 | 英伟达提出FAN，鲁棒性和高效性超越ConvNeXt、Swin（一）
5i77ajz5u7ji6
67 0
5i77ajz5u7ji6
|
机器学习/深度学习 编解码 计算机视觉
三星提出XFormer | 超越MobileViT、DeiT、MobileNet等模型
三星提出XFormer | 超越MobileViT、DeiT、MobileNet等模型
5i77ajz5u7ji6
405 0
5i77ajz5u7ji6
|
编解码 监控 算法
Efficient-HRNet | EfficientNet思想+HRNet技术会不会更强更快呢？（一）
Efficient-HRNet | EfficientNet思想+HRNet技术会不会更强更快呢？（一）
5i77ajz5u7ji6
153 0
5i77ajz5u7ji6
|
编解码 监控 数据可视化
Efficient-HRNet | EfficientNet思想+HRNet技术会不会更强更快呢？（二）
Efficient-HRNet | EfficientNet思想+HRNet技术会不会更强更快呢？（二）
5i77ajz5u7ji6
176 0
5i77ajz5u7ji6
|
机器学习/深度学习 编解码 PyTorch
港中文提出 EdgeViT | 超越MobileViT与MobileNet，实现Transformer在CPU上实时
港中文提出 EdgeViT | 超越MobileViT与MobileNet，实现Transformer在CPU上实时
5i77ajz5u7ji6
206 0
5i77ajz5u7ji6
|
机器学习/深度学习 PyTorch 算法框架/工具
即插即用 | 超越CBAM，全新注意力机制，GAM不计成本提高精度（附Pytorch实现）
即插即用 | 超越CBAM，全新注意力机制，GAM不计成本提高精度（附Pytorch实现）
5i77ajz5u7ji6
671 0

热门文章

最新文章

  • 1
    阿里巴巴宣布 Sentinel 开源，进一步完善 Dubbo 生态（附PPT和视频）
  • 2
    DataV，让拖拖拽拽就可以打造可视化应用
  • 3
    MongoDB World 2016参会全记录
  • 4
    什么才是这个时代最需要的BI人员？ —— 阿里云MVP赵玮主题分享【1】
  • 5
    1.9. A fast, light-weight proxy for memcached and redis
  • 6
    linux screen 的基本使用
  • 7
    36句经典英文格言
  • 8
    算法训练 未名湖边的烦恼
  • 9
    Java反射机制的作用
  • 10
    Swift 柯里化(Currying)
  • 1
    ClickHouse(11)ClickHouse合并树MergeTree家族表引擎之SummingMergeTree详细解析
    20
  • 2
    基于IoTDB 平台的学习和研究
    20
  • 3
    BERTopic(三)update topics
    12
  • 4
    Postman工具介绍
    29
  • 5
    关于API安全设计5A原则
    17
  • 6
    JSP 教程 之 JSP 服务器响应 3
    11
  • 7
    JSP 教程 之 JSP 服务器响应 3
    12
  • 8
    JSP 教程 之 JSP 服务器响应 2
    13
  • 9
    JSP 教程 之 JSP 服务器响应 1
    10
  • 10
    父（Super）POM
    11

    • 相关课程

    更多
  • 机器学习集成学习与模型融合
  • 【算法实战】8. 集成方法-Adaboost
  • 机器学习基础与回归算法
  • 【深度有趣】上海交大博士带你玩转GAN生成对抗网络
  • 【算法实战】7. 集成方法-随机森林
  • 南瓜书《机器学习公式推导》

    • 相关电子书

    更多
  • 优势特征蒸馏(Privileged Features Distillation)在手淘信息流推荐中的应用
  • 阿里云千亿特征深度学习算法XNN实践
  • 大规模稀疏化模型技术介绍及实践

    • 相关实验场景

    更多
  • 如何快速训练大模型
  • 基于阿里云E-HPC和OpenFoam进行流体仿真实验
  • 云原生AI套件：一键训练大模型及部署GPU共享推理服务
  • AIGC Stable Diffusion文生图Lora模型微调实现虚拟上装
  • 基于函数计算实现AI推理
    • 下一篇
    2024年阿里云免费云服务器及学生云服务器申请教程参考