3实验
3.1 分类实验
3.2 目标检测与实例分割
3.3 语义分割
4参考
[1].Shunted Self-Attention via Multi-Scale Token Aggregation
5推荐阅读
LITv2来袭 | 使用HiLo Attention实现高精度、快速度的变形金刚，下游任务均实时
Shunted Self-Attention | 源于 PvT又高于PvT，解决小目标问题的ViT方法（二）
2023-05-24
107
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
Shunted Self-Attention | 源于 PvT又高于PvT，解决小目标问题的ViT方法（二）
相关文章
|
8月前
|
机器学习/深度学习
编解码
数据可视化
|
8月前
|
机器学习/深度学习
编解码
自然语言处理
MLP-Like Backbone | Strip-MLP跨行Token交互比SWin Transformer更轻更强的性能
MLP-Like Backbone | Strip-MLP跨行Token交互比SWin Transformer更轻更强的性能
187
1
1
|
8月前
|
机器学习/深度学习
算法
固态存储
MFDS-DETR开源 | HS-FPN多级特征融合+Deformable Self-Attention，再续DETR传奇
MFDS-DETR开源 | HS-FPN多级特征融合+Deformable Self-Attention，再续DETR传奇
941
0
0
|
机器学习/深度学习
编解码
自然语言处理
基于EasyCV复现ViTDet：单层特征超越FPN
ViTDet其实是恺明团队MAE和ViT-based Mask R-CNN两个工作的延续。MAE提出了ViT的无监督训练方法，而ViT-based Mask R-CNN给出了用ViT作为backbone的Mask R-CNN的训练技巧，并证明了MAE预训练对下游检测任务的重要性。而ViTDet进一步改进了一些设计，证明了ViT作为backone的检测模型可以匹敌基于FPN的backbone(如SwinT和MViT)检测模型。
1107
0
0
|
机器学习/深度学习
并行计算
计算机视觉
Shunted Self-Attention | 源于 PvT又高于PvT，解决小目标问题的ViT方法（一）
Shunted Self-Attention | 源于 PvT又高于PvT，解决小目标问题的ViT方法（一）
261
0
0
|
机器学习/深度学习
算法
数据可视化
|
计算机视觉
|
机器学习/深度学习
vr&ar
计算机视觉
ShiftViT用Swin Transformer的精度跑赢ResNet的速度，论述ViT的成功不在注意力！（二）
ShiftViT用Swin Transformer的精度跑赢ResNet的速度，论述ViT的成功不在注意力！（二）
237
0
0
|
机器学习/深度学习
自然语言处理
算法
ShiftViT用Swin Transformer的精度跑赢ResNet的速度，论述ViT的成功不在注意力！（一）
ShiftViT用Swin Transformer的精度跑赢ResNet的速度，论述ViT的成功不在注意力！（一）
239
0
0
|
机器学习/深度学习
移动开发
自然语言处理
全新Backbone | 超越PvT,TWins等方法，ECOFormer使用哈希注意力成就高峰！（一）
全新Backbone | 超越PvT,TWins等方法，ECOFormer使用哈希注意力成就高峰！（一）
117
0
0