前言
DeepVit是一种基于基于VIT进行拓展的模型，因为ViT在本质上与cnn不同与cnn在很大程度上依赖于自我关注机制。本篇博客将详细介绍DeepVit模型是如何进行深度拓展性以及相应的基本原理和特点，希望对读者深入了解深度学习技术以及图像与语言任务有所帮助。
实践结论
transformer blocks模块
如图所示，随着transformer blocks数量的增加，模型性能并没有相应提高。在每个表单具有32个transformer blocks的ViT模型甚至比具有24块的ViT模型更差。这意味着在CNN中直接堆叠更多的transformer blocks在增强ViT模型时效率低下。然后，我们将深入研究这一现象的原因。我们通过经验观察到，随着vit深度的增加，用于聚合每个变形块特征的注意图在某些层之后往往过于相似，这使得表征在某些层之后停止进化。我们把这种特殊的问题称为注意力崩溃。这在图中表明，随着ViT的深入，自注意机制对于生成不同的注意以捕获丰富的表示变得不那么有效。
贡献
- 我们深入研究了视觉变压器的行为，并观察到它们不能像cnn那样通过堆叠更多层而持续受益。我们进一步确定了这种反直觉现象背后的潜在原因，并首次将其归结为注意力崩溃。
- 我们提出了一种简单而有效的注意力机制，它考虑了不同注意力头之间的信息交换。
- 替换了自我注意力并实现了新的注意力机制
改进注意力
RE-Attention注意力机制联通示意图
(a)具有N个转换前块的原始ViT与(b)我们提出的DeepViT模型的比较。与ViT不同的是，DeepViT用提出的重新注意(Re-attention)取代了变压器块中的自注意层，从而有效地解决了注意力崩溃问题，并能够训练更深层次的ViT。
相似度
（图a）生成的自注意图在不同层间的相似度。可视化是基于在ImageNet上预训练的32个块的ViT模型。为了可视化，我们在方程中绘制了具有相似性的标记级注意力向量的比率。（2）大于最近 k 个transformer blocks内的平均相似性。可以看出，块的相似性比大于90%在第 17 个之后。(图b)随着ViT模型深度的增加，相似块占总块数的比例增加。（图c）同一块内不同头部的注意力图的相似性。块内不同头部之间的相似性就是全部低于30%，它们呈现出足够的多样性。
vit的注意图与特征的跨层相似度研究。黑色虚线表示最后一个块和前面每个块的特征映射之间的余弦相似度。红色虚线表示相邻块的相似注意图的比例。可视化基于在ImageNet-1k上预训练的32块ViT模型。(右):原始ViT模型和我们的模型的特征图跨层余弦相似度。可以看出，用Re-attention代替原有的self-attention可以显著降低feature map的相似度
相似块VS嵌入维度
嵌入维数对生成的跨层自注意图相似度的影响。可以看出，相似注意图的数量随着嵌入维数的增加而减少。然而，模型的大小也迅速增加
代码构建释义
Residual
我们可以构建一个残差相加的类用来计算，这个类的作用是实现残差网络中的加法残差结构。输入x会先经过计算函数fn，然后将结果与输入x相加形成残差块的输出。
ruby
复制代码
class Residual(nn.Module): def __init__(self, fn): super().__init__() self.fn = fn def forward(self, x, **kwargs): return self.fn(x, **kwargs) + x
PreNorm
定义一个名为PreNorm的类，这个类中我们主要作用是对输入数据x进行前向传播计算，该方法中先对输入数据x进行层归一化处理，然后再将归一化后的数据输入到计算函数fn中进行计算。最后，将计算函数fn的结果返回。在神经网络的训练和推理过程中使用这个类可以提高网络的稳定性和训练效果，因为它通过层归一化处理来减少内部协变量移位，提高了数据的稳定性，从而更好地进行计算。
ruby
复制代码
class PreNorm(nn.Module): def __init__(self, dim, fn): super().__init__() self.norm = nn.LayerNorm(dim) self.fn = fn def forward(self, x, **kwargs): return self.fn(self.norm(x), **kwargs)
FeedForward
定义了一个前馈神经网络的类FeedForward，用于进行数据处理和特征提取。
scss
复制代码
class FeedForward(nn.Module): def __init__(self, dim, hidden_dim, dropout = 0.): super().__init__() self.net = nn.Sequential( nn.Linear(dim, hidden_dim), nn.GELU(), nn.Dropout(dropout), nn.Linear(hidden_dim, dim), nn.Dropout(dropout) ) def forward(self, x): return self.net(x)
re-attention
定义re-att结构，re-attention机制是为了解决多任务学习时的任务干扰问题而提出的。在多任务学习中，不同任务之间的特征具有不同的重要性，而传统的注意力机制只关注单一任务的特征，难以适应多任务学习的需求。
为了解决这个问题，Deepvit网络中引入了re-attention机制。具体来说，re-attention机制包括两个部分：多头注意力模块和任务注意力模块。
多头注意力模块可以分别对不同的任务进行注意力分配，使得每个任务得到最优的特征表示。该模块首先对输入特征进行线性变换，然后将得到的向量分成多个头。每个头都可以单独计算注意力分数，并将注意力分配到对应的特征上。最后，将多个头计算的注意力融合起来，得到最终的特征表示。
任务注意力模块则用于调整不同任务之间的注意力分配比例。该模块首先对每个任务的特征表示进行维度变换，并计算每个任务的注意力分数。然后，通过softmax函数将注意力分数归一化，得到每个任务的注意力权重。最后，将每个任务的注意力权重与对应的特征表示相乘，得到最终的特征表示。
ini
复制代码
class Attention(nn.Module): def __init__(self, dim, heads = 8, dim_head = 64, dropout = 0.): super().__init__() inner_dim = dim_head * heads self.heads = heads self.scale = dim_head ** -0.5 self.to_qkv = nn.Linear(dim, inner_dim * 3, bias = False) self.dropout = nn.Dropout(dropout) self.reattn_weights = nn.Parameter(torch.randn(heads, heads)) self.reattn_norm = nn.Sequential( Rearrange('b h i j -> b i j h'), nn.LayerNorm(heads), Rearrange('b i j h -> b h i j') ) self.to_out = nn.Sequential( nn.Linear(inner_dim, dim), nn.Dropout(dropout) ) def forward(self, x): b, n, _, h = *x.shape, self.heads qkv = self.to_qkv(x).chunk(3, dim = -1) q, k, v = map(lambda t: rearrange(t, 'b n (h d) -> b h n d', h = h), qkv) # attention dots = einsum('b h i d, b h j d -> b h i j', q, k) * self.scale attn = dots.softmax(dim=-1) attn = self.dropout(attn) # re-attention attn = einsum('b h i j, h g -> b g i j', attn, self.reattn_weights) attn = self.reattn_norm(attn) # aggregate and out out = einsum('b h i j, b h j d -> b h i d', attn, v) out = rearrange(out, 'b h n d -> b n (h d)') out = self.to_out(out) return out
核心模块
ini
复制代码
class Transformer(nn.Module): def __init__(self, dim, depth, heads, dim_head, mlp_dim, dropout = 0.): super().__init__() self.layers = nn.ModuleList([]) for _ in range(depth): self.layers.append(nn.ModuleList([ Residual(PreNorm(dim, Attention(dim, heads = heads, dim_head = dim_head, dropout = dropout))), Residual(PreNorm(dim, FeedForward(dim, mlp_dim, dropout = dropout))) ])) def forward(self, x): for attn, ff in self.layers: x = attn(x) x = ff(x) return x class DeepViT(nn.Module): def __init__(self, *, image_size, patch_size, num_classes, dim, depth, heads, mlp_dim, pool = 'cls', channels = 3, dim_head = 64, dropout = 0., emb_dropout = 0.): super().__init__() assert image_size % patch_size == 0, 'Image dimensions must be divisible by the patch size.' num_patches = (image_size // patch_size) ** 2 patch_dim = channels * patch_size ** 2 assert pool in {'cls', 'mean'}, 'pool type must be either cls (cls token) or mean (mean pooling)' self.to_patch_embedding = nn.Sequential( Rearrange('b c (h p1) (w p2) -> b (h w) (p1 p2 c)', p1 = patch_size, p2 = patch_size), nn.LayerNorm(patch_dim), nn.Linear(patch_dim, dim), nn.LayerNorm(dim) ) self.pos_embedding = nn.Parameter(torch.randn(1, num_patches + 1, dim)) self.cls_token = nn.Parameter(torch.randn(1, 1, dim)) self.dropout = nn.Dropout(emb_dropout) self.transformer = Transformer(dim, depth, heads, dim_head, mlp_dim, dropout) self.pool = pool self.to_latent = nn.Identity() self.mlp_head = nn.Sequential( nn.LayerNorm(dim), nn.Linear(dim, num_classes) ) def forward(self, img): x = self.to_patch_embedding(img) b, n, _ = x.shape cls_tokens = repeat(self.cls_token, '() n d -> b n d', b = b) x = torch.cat((cls_tokens, x), dim=1) x += self.pos_embedding[:, :(n + 1)] x = self.dropout(x) x = self.transformer(x) x = x.mean(dim = 1) if self.pool == 'mean' else x[:, 0] x = self.to_latent(x) print(x.shape) return self.mlp_head(x)
测试使用
ini
复制代码
v = DeepViT( image_size = 256, patch_size = 32, num_classes = 1000, dim = 1024, depth = 6, heads = 16, mlp_dim = 2048, dropout = 0.1, emb_dropout = 0.1 ) img = torch.randn(1, 3, 256, 256) preds = v(img) # (1, 1000)
