一文读懂transformer(CV专享)

简介: transformer在这两年大火,CV界广泛应用transformer模型,充分吸收其idea到自己的领域。考虑到transformer本是应用于NLP的论文,其中很多内容都形成了共识,因此在论文中并未提及,就好像CV中论文提到图像预处理使用center crop , color jitter,但不会详细介绍这两个,这就是CV领域的共识,其他领域的人看到这两个将会很困惑,作为CV中人读transformer会被很多共识内容所折磨,包括很多介绍transformer的博客知乎,都是站在NLP领域的角度写的,因此共识部分都是一笔带过,本文的出发点是要让CV人读得懂。

(注:本文是本人在内部分享会上的做的ppt,要转换成文章太费时间,这里直接使用ppt图片,原ppt很多内容都是口头讲的,且很多都是原论文引文,这里为了介绍清楚,在其基础上加入了很多口头上讲的东西,并将英文改成了中文,希望读者能谅解)


d0d4e40e21614a51e09132ee4cc2ceef.png

2a75b7fc87adcaad93bce5e73276cc79.png

bb2ba1389c4d1634a33381b31978a7a5.png

c977c621fa147ec854215a58376ec921.png

73526638d41429f5cc9899354d899ccd.png

d0988c74085603c047932f65584bd469.png

4c1241ff90635f5ae15fe1fdacffc59f.png

1d48e063b2ba2303a7e67eab950ae08c.png

2d20d7f87e8f6ce6b80637c7906855c9.png

953a429b98fdd073f66958c045c82370.png

37f4fcd6b1cf6d6e00f2e731904c368c.png

078f6adb1595a275042ed7e9c4e3f669.png

4046dd42fe2a4858f3103c2c6a621876.png

a95557495909a80cbc1b1e3a902ac7c0.png

cccb610c8980cecf57495f4ea6dcb784.png

43db999bda83170a3815893324df922e.png

cdf1de100db22236f1be807b42cdb979.png

d6159adc435e93d30393d8c6004da47f.png

f200ddfca3446b12f2b102cf57df0e4e.png


相关文章
|
7月前
|
编解码 数据可视化 固态存储
CV目标检测 Task02: 练死劲儿-网络设计 打卡笔记
CV目标检测 Task02: 练死劲儿-网络设计 打卡笔记
40 0
|
7月前
|
机器学习/深度学习 编解码 自然语言处理
【VIT】小白入门篇:从各个角度认识Vision Transformer
【VIT】小白入门篇:从各个角度认识Vision Transformer
407 0
【VIT】小白入门篇:从各个角度认识Vision Transformer
|
达摩院 并行计算 TensorFlow
|
机器学习/深度学习 存储 人工智能
CV之后,纯MLP架构又来搞NLP了,性能媲美预训练大模型
CV之后,纯MLP架构又来搞NLP了,性能媲美预训练大模型
180 0
|
机器学习/深度学习 人工智能 安全
CVPR‘2023 | MP-Former: 精度高&收敛快-Mask2Former全能图像分割的进阶之路
CVPR‘2023 | MP-Former: 精度高&收敛快-Mask2Former全能图像分割的进阶之路
1315 0
|
机器学习/深度学习 编解码 算法
DL之DeepLabv3:DeepLab v3和DeepLab v3+算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略
DL之DeepLabv3:DeepLab v3和DeepLab v3+算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略
DL之DeepLabv3:DeepLab v3和DeepLab v3+算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略
|
机器学习/深度学习 前端开发 PyTorch
Datawhale 零基础入门CV赛事-Task4 模型训练与验证
Datawhale 零基础入门CV赛事-Task4 模型训练与验证
167 0
|
机器学习/深度学习 存储 网络架构
ScaledYOLOv4实践:手把手教物体检测——ScaleYOLOv4-large
ScaledYOLOv4实践:手把手教物体检测——ScaleYOLOv4-large
209 0
ScaledYOLOv4实践:手把手教物体检测——ScaleYOLOv4-large
|
算法 计算机视觉
CV之FR:计算机视觉之人脸识别(Face Recognition)方向的简介、使用方法、案例应用之详细攻略
CV之FR:计算机视觉之人脸识别(Face Recognition)方向的简介、使用方法、案例应用之详细攻略
CV之FR:计算机视觉之人脸识别(Face Recognition)方向的简介、使用方法、案例应用之详细攻略
|
机器学习/深度学习 人工智能 算法
CV之IC:计算机视觉之图像分类(Image Classification)方向的简介、使用方法、案例应用之详细攻略
CV之IC:计算机视觉之图像分类(Image Classification)方向的简介、使用方法、案例应用之详细攻略
CV之IC:计算机视觉之图像分类(Image Classification)方向的简介、使用方法、案例应用之详细攻略