你有多久没调过 kernel size 了？在下游任务上，Transformer 明显优于传统 CNN，这是因为 Transformer 本质更强吗？传统堆叠大量 3x3 卷积的 CNN 设计模式是最优的吗？
最近，清华大学、旷视科技等机构的一项工作表明，CNN 中的 kernel size 其实是一个非常重要但总是被人忽略的设计维度：在现代模型设计的加持下，卷积核越大越暴力，既涨点又高效，甚至大到 31x31 都非常 work。即便在大体量下游任务上，超大卷积核模型 RepLKNet 与 Swin 等 Transformer 相比，性能也更好或相当。
卷积越大性能越强！RepLKNet一作在线分享：Transformer阴影下的超大卷积核复兴
2023-05-15
104
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
卷积越大性能越强！RepLKNet一作在线分享：Transformer阴影下的超大卷积核复兴
目录
相关文章
|
计算机视觉
迟到的 HRViT | Facebook提出多尺度高分辨率ViT，这才是原汁原味的HRNet思想（二）
迟到的 HRViT | Facebook提出多尺度高分辨率ViT，这才是原汁原味的HRNet思想（二）
271
0
0
|
29天前
|
机器学习/深度学习
计算机视觉
网络架构
为什么卷积现在不火了：CNN研究热度降温的深层原因分析
纵观近年的顶会论文和研究热点，我们不得不承认一个现实：CNN相关的研究论文正在减少，曾经的"主角"似乎正逐渐淡出研究者的视野。
74
11
11
|
7月前
|
机器学习/深度学习
固态存储
算法
目标检测的福音 | 如果特征融合还用FPN/PAFPN？YOLOX+GFPN融合直接起飞，再涨2个点
目标检测的福音 | 如果特征融合还用FPN/PAFPN？YOLOX+GFPN融合直接起飞，再涨2个点
312
0
0
|
7月前
|
机器学习/深度学习
算法
计算机视觉
图视觉模型崛起 | MobileViG同等精度比MobileNetv2快4倍，同等速度精度高4%！
图视觉模型崛起 | MobileViG同等精度比MobileNetv2快4倍，同等速度精度高4%！
113
0
0
|
机器学习/深度学习
编解码
数据可视化
深度学习基础入门篇9.1：卷积之标准卷积：卷积核/特征图/卷积计算、填充、感受视野、多通道输入输出、卷积优势和应用案例讲解
深度学习基础入门篇9.1：卷积之标准卷积：卷积核/特征图/卷积计算、填充、感受视野、多通道输入输出、卷积优势和应用案例讲解
243
0
0
|
机器学习/深度学习
计算机视觉
|
编解码
自动驾驶
机器人
重新思考空洞卷积 | RegSeg超越DeepLab、BiSeNetv2让语义分割实时+高精度（一）
重新思考空洞卷积 | RegSeg超越DeepLab、BiSeNetv2让语义分割实时+高精度（一）
154
0
0
|
机器学习/深度学习
编解码
计算机视觉
重新思考空洞卷积 | RegSeg超越DeepLab、BiSeNetv2让语义分割实时+高精度（二）
重新思考空洞卷积 | RegSeg超越DeepLab、BiSeNetv2让语义分割实时+高精度（二）
228
0
0
|
机器学习/深度学习
编解码
vr&ar
迟到的 HRViT | Facebook提出多尺度高分辨率ViT，这才是原汁原味的HRNet思想（一）
迟到的 HRViT | Facebook提出多尺度高分辨率ViT，这才是原汁原味的HRNet思想（一）
252
0
0
|
机器学习/深度学习
编解码
PyTorch
热门文章
最新文章
1
手把手教你用Python实践深度学习
2
Maven之多模块打包成一个jar包及assembly
3
MS SQL 锁与事务
4
3D立方体图片切换动画
5
冒泡排序
6
应用的生命周期
7
11gR2 RAC ASM启动揭秘
8
Windows 8实用窍门系列：13.windows 8的文件.文件夹管理---2.文件以及文件夹操作
9
矿藏估价
10
如何查询全国各地公司有哪些股东（2017版）
1
「Mac畅玩鸿蒙与硬件43」UI互动应用篇20 - 闪烁按钮效果
41
2
转载：【AI系统】AI的领域、场景与行业应用
43
3
记录一次holo视图与物化视图的区别
36
4
Selenium IDE：Web自动化测试的得力助手
42
5
活动实践 | 西游再现，函数计算一键部署 Flux 超写实文生图模型部署
43
6
【实践】体验RDS通用云盘核心能力
24
7
活动实践 | 告别资源瓶颈，函数计算驱动多媒体文件处理测评
30
8
产品测评 | ECS的健康保障新助手——云服务诊断
35
9
如何构建媲美通义千问在线接口的qwen-max智能体
37
10
R中单细胞RNA-seq分析教程 (5)
29