一文读懂transformer(CV专享)

简介: transformer在这两年大火,CV界广泛应用transformer模型,充分吸收其idea到自己的领域。考虑到transformer本是应用于NLP的论文,其中很多内容都形成了共识,因此在论文中并未提及,就好像CV中论文提到图像预处理使用center crop , color jitter,但不会详细介绍这两个,这就是CV领域的共识,其他领域的人看到这两个将会很困惑,作为CV中人读transformer会被很多共识内容所折磨,包括很多介绍transformer的博客知乎,都是站在NLP领域的角度写的,因此共识部分都是一笔带过,本文的出发点是要让CV人读得懂。

(注:本文是本人在内部分享会上的做的ppt,要转换成文章太费时间,这里直接使用ppt图片,原ppt很多内容都是口头讲的,且很多都是原论文引文,这里为了介绍清楚,在其基础上加入了很多口头上讲的东西,并将英文改成了中文,希望读者能谅解)


d0d4e40e21614a51e09132ee4cc2ceef.png

2a75b7fc87adcaad93bce5e73276cc79.png

bb2ba1389c4d1634a33381b31978a7a5.png

c977c621fa147ec854215a58376ec921.png

73526638d41429f5cc9899354d899ccd.png

d0988c74085603c047932f65584bd469.png

4c1241ff90635f5ae15fe1fdacffc59f.png

1d48e063b2ba2303a7e67eab950ae08c.png

2d20d7f87e8f6ce6b80637c7906855c9.png

953a429b98fdd073f66958c045c82370.png

37f4fcd6b1cf6d6e00f2e731904c368c.png

078f6adb1595a275042ed7e9c4e3f669.png

4046dd42fe2a4858f3103c2c6a621876.png

a95557495909a80cbc1b1e3a902ac7c0.png

cccb610c8980cecf57495f4ea6dcb784.png

43db999bda83170a3815893324df922e.png

cdf1de100db22236f1be807b42cdb979.png

d6159adc435e93d30393d8c6004da47f.png

f200ddfca3446b12f2b102cf57df0e4e.png


相关文章
|
8月前
|
编解码 数据可视化 固态存储
CV目标检测 Task02: 练死劲儿-网络设计 打卡笔记
CV目标检测 Task02: 练死劲儿-网络设计 打卡笔记
57 0
|
8月前
|
机器学习/深度学习 编解码 自然语言处理
【VIT】小白入门篇:从各个角度认识Vision Transformer
【VIT】小白入门篇:从各个角度认识Vision Transformer
496 0
【VIT】小白入门篇:从各个角度认识Vision Transformer
|
达摩院 并行计算 TensorFlow
|
机器学习/深度学习 自然语言处理 固态存储
CVPR2021全新Backbone | ReXNet在CV全任务以超低FLOPs达到SOTA水平(文末下载论文和源码)(二)
CVPR2021全新Backbone | ReXNet在CV全任务以超低FLOPs达到SOTA水平(文末下载论文和源码)(二)
165 0
CVPR2021全新Backbone | ReXNet在CV全任务以超低FLOPs达到SOTA水平(文末下载论文和源码)(二)
|
机器学习/深度学习 存储 编解码
CV全新范式 | LSTM在CV领域杀出一条血路,完美超越Swin与ConvNeXt等前沿算法
CV全新范式 | LSTM在CV领域杀出一条血路,完美超越Swin与ConvNeXt等前沿算法
282 0
|
机器学习/深度学习 PyTorch 文件存储
CVPR2021全新Backbone | ReXNet在CV全任务以超低FLOPs达到SOTA水平(文末下载论文和源码)(一)
CVPR2021全新Backbone | ReXNet在CV全任务以超低FLOPs达到SOTA水平(文末下载论文和源码)(一)
108 0
|
机器学习/深度学习
CVPR2021 GAN详细解读 | AdaConv自适应卷积让你的GAN比AdaIN更看重细节(附论文下载)(二)
CVPR2021 GAN详细解读 | AdaConv自适应卷积让你的GAN比AdaIN更看重细节(附论文下载)(二)
170 0
|
机器学习/深度学习 编解码 计算机视觉
CVPR2021 GAN详细解读 | AdaConv自适应卷积让你的GAN比AdaIN更看重细节(附论文下载)(一)
CVPR2021 GAN详细解读 | AdaConv自适应卷积让你的GAN比AdaIN更看重细节(附论文下载)(一)
508 0
|
机器学习/深度学习 人工智能 安全
CVPR‘2023 | MP-Former: 精度高&收敛快-Mask2Former全能图像分割的进阶之路
CVPR‘2023 | MP-Former: 精度高&收敛快-Mask2Former全能图像分割的进阶之路
1375 0
|
机器学习/深度学习 存储 人工智能
CV之后,纯MLP架构又来搞NLP了,性能媲美预训练大模型
CV之后,纯MLP架构又来搞NLP了,性能媲美预训练大模型
189 0