AI 助理
备案控制台
开发者社区 人工智能 文章 正文

即插即用 | 英伟达提出FAN，鲁棒性和高效性超越ConvNeXt、Swin（二）

2023-05-24 110
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 即插即用 | 英伟达提出FAN，鲁棒性和高效性超越ConvNeXt、Swin（二）

3实验

3.1 消融实验

image.png

如表7所示，原始的ConvNeXt比Swin-Transformer具有更强的鲁棒性，但不如FAN-ViT和FAN-Swin模型。同时，FAN-hybrid具有与FAN-vit和FAN-swin相当的鲁棒性，并且对于干净数据集和已损坏数据集都具有更高的精度，这意味着FAN也可以有效地增强基于CNN的模型的鲁棒性。与FAN-Swin类似，FAN-Hybrid对于大分辨率的输入和密集的预测任务具有高效性，有利于下游任务。

3.2 SOTA对比

image.png


4参考

[1].Understanding The Robustness in Vision Transformers.


5推荐阅读

NAS-ViT | 超低FLOPs与Params实现50FPS的CPU推理，精度却超越ResNet50！！！

PolyLoss | 统一CE Loss与Focal Loss，PolyLoss用1行代码+1个超参完成超车！！！

超越 Swin、ConvNeXt | Facebook提出Neighborhood Attention Transformer

文章标签：
编解码
机器学习/深度学习
5i77ajz5u7ji6
目录
相关文章
YOLO创新改进大师
|
7月前
|
机器学习/深度学习 算法 网络架构
【YOLOv8改进 - Backbone主干】EfficientRep：一种旨在提高硬件效率的RepVGG风格卷积神经网络架构
【YOLOv8改进 - Backbone主干】EfficientRep：一种旨在提高硬件效率的RepVGG风格卷积神经网络架构
YOLO创新改进大师
144 4
楠竹11
|
5月前
|
机器学习/深度学习 自然语言处理 算法
一文看懂Mamba，Transformer最强竞争者
【9月更文挑战第12天】Mamba是一种创新的深度学习架构，旨在解决Transformer处理长序列时计算成本高昂的问题。通过借鉴状态空间模型，Mamba实现了近线性的可扩展性，同时保持了强大的建模能力。其核心在于动态调整状态演化的选择机制，有效过滤无关信息。Mamba还引入了硬件感知计算算法，进一步提升计算效率。已在自然语言处理、计算机视觉等多个领域取得卓越成果，展现出广阔的应用前景。然而，其复杂的选择机制和训练优化仍需克服。论文详情参见：[链接](https://arxiv.org/pdf/2408.01129)。
楠竹11
156 1
我菜就爱学
|
9月前
|
机器学习/深度学习 算法 计算机视觉
【CVPR轻量级网络】- 追求更高的FLOPS(FasterNet)
【CVPR轻量级网络】- 追求更高的FLOPS(FasterNet)
我菜就爱学
393 2
5i77ajz5u7ji6
|
9月前
|
机器学习/深度学习 编解码 数据可视化
即插即用 | 高效多尺度注意力模型成为YOLOv5改进的小帮手
即插即用 | 高效多尺度注意力模型成为YOLOv5改进的小帮手
5i77ajz5u7ji6
472 1
5i77ajz5u7ji6
|
9月前
|
机器学习/深度学习 编解码 数据可视化
南开大学提出YOLO-MS | 超越YOLOv8与RTMDet，即插即用打破性能瓶颈
南开大学提出YOLO-MS | 超越YOLOv8与RTMDet，即插即用打破性能瓶颈
5i77ajz5u7ji6
135 1
5i77ajz5u7ji6
|
9月前
|
机器学习/深度学习 编解码 测试技术
超强Trick | 如何设计一个比Transformer更强的CNN Backbone
超强Trick | 如何设计一个比Transformer更强的CNN Backbone
5i77ajz5u7ji6
101 0
5i77ajz5u7ji6
|
编解码 测试技术 计算机视觉
LVT | ViT轻量化的曙光，完美超越MobileNet和ResNet系列（二）
LVT | ViT轻量化的曙光，完美超越MobileNet和ResNet系列（二）
5i77ajz5u7ji6
269 0
LVT | ViT轻量化的曙光，完美超越MobileNet和ResNet系列（二）
-开发达人-
|
机器学习/深度学习 图形学 网络架构
ICLR 2022 | 纯MLP的点云网络：新架构PointMLP大幅提高点云分类准确率和推理速度
ICLR 2022 | 纯MLP的点云网络：新架构PointMLP大幅提高点云分类准确率和推理速度
-开发达人-
756 0
ICLR 2022 | 纯MLP的点云网络：新架构PointMLP大幅提高点云分类准确率和推理速度
5i77ajz5u7ji6
|
机器学习/深度学习 存储 数据可视化
即插即用 | 英伟达提出FAN，鲁棒性和高效性超越ConvNeXt、Swin（一）
即插即用 | 英伟达提出FAN，鲁棒性和高效性超越ConvNeXt、Swin（一）
5i77ajz5u7ji6
104 0
5i77ajz5u7ji6
|
机器学习/深度学习 编解码 计算机视觉
三星提出XFormer | 超越MobileViT、DeiT、MobileNet等模型
三星提出XFormer | 超越MobileViT、DeiT、MobileNet等模型
5i77ajz5u7ji6
462 0

热门文章

最新文章

  • 1
    解决kafka集群由于默认的__consumer_offsets这个topic的默认的副本数为1而存在的单点故障问题
  • 2
    使用 Docker 高效搭建本地开发环境（详细教程）
  • 3
    如何使用java代码导出word
  • 4
    《Python编程从0到1》笔记1——表达式的风格（前缀、中缀、后缀）
  • 5
    Nginx目录文件列表显示
  • 6
    中移动与阿里巴巴将在四大领域展开全面战略合作
  • 7
    mysql 主从复制配置
  • 8
    google guice @inject comments
  • 9
    html页面中event的常见应用
  • 10
    微软要在年内推出IPTV平台 抢占客厅市场
  • 1
    一级倒立摆平衡控制系统MATLAB仿真,可显示倒立摆平衡动画,对比极点配置,线性二次型,PID,PI及PD五种算法
    28
  • 2
    基于SOA海鸥优化算法的三维曲面最高点搜索matlab仿真
    34
  • 3
    基于PI控制的三相整流器控制系统的simulink建模与仿真,包含超级电容充电和电机
    43
  • 4
    MCMS：Star 28.1k,还在为CMS系统发愁？这款开源神器让内容管理变得像搭积木一样简单！
    35
  • 5
    XJ-Survey：这个让滴滴日均处理1.2亿次问卷请求的开源系统，今天终于公开了它的架构密码！
    37
  • 6
    CPU can only see the threads
    26
  • 7
    Java+机器学习基础：打造AI学习基础
    44
  • 8
    使用 pipx 安装并执行 Python 应用程序 (1)
    36
  • 9
    国产AI神器Deepseek，本地离线使用教程！
    62
  • 10
    短视频创作助手 | AI剧本生成与动画创作
    156

    • 相关课程

    更多
  • 机器学习集成学习与模型融合
  • 【深度有趣】上海交大博士带你玩转GAN生成对抗网络
  • 神经网络与深度学习
  • 神经网络概览及算法详解
  • 机器学习基础与回归算法

    • 相关电子书

    更多
  • 优势特征蒸馏(Privileged Features Distillation)在手淘信息流推荐中的应用
  • 展心展力MetaApp：基于DeepRec的稀疏模型训练实践
  • 阿里云千亿特征深度学习算法XNN实践
    • 下一篇
    PAI Model Gallery 支持云上一键部署 DeepSeek-V3、DeepSeek-R1 系列模型