PyTorch FlexAttention技术实践:基于BlockMask实现因果注意力与变长序列处理

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
实时数仓Hologres,5000CU*H 100GB 3个月
简介: 本文介绍了如何使用PyTorch 2.5及以上版本中的FlexAttention和BlockMask功能,实现因果注意力机制与填充输入的处理。通过attention-gym仓库安装相关工具,并详细展示了MultiheadFlexAttention类的实现,包括前向传播函数、因果掩码和填充掩码的生成方法。实验设置部分演示了如何组合这两种掩码并应用于多头注意力模块,最终通过可视化工具验证了实现的正确性。该方法适用于处理变长序列和屏蔽未来信息的任务。

本文介绍了如何利用torch 2.5及以上版本中新引入的FlexAttention和BlockMask功能来实现因果注意力机制与填充输入的处理。

鉴于目前网络上缺乏关于FlexAttention处理填充输入序列的完整代码示例和技术讨论,本文将详细阐述一种实现方法,该方法同时涵盖了因果注意力机制的实现。

本文不会详细讨论FlexAttention的理论基础,如需了解更多技术细节,建议参考PyTorch官方博客。

环境配置

 git clone https://github.com/pytorch-labs/attention-gym.git  
 cd attention-gym  
 pip install .  
 cd ../

我们通过attention-gym仓库进行安装,这样可以确保组件间的兼容性,同时获取其可视化工具的使用权限。

MultiheadFlexAttention实现

为了在transformer架构中有效地使用flex_attention,需要在多头注意力模块中进行实现。

     class MultiheadFlexAttention(nn.Module):  
         def __init__(self, d_in, d_out, n_heads, bias=False):  
             """  
             描述:实现基于flex_attention的多头自注意力机制的PyTorch模块
             参数:
                 d_in: int, 输入张量维度
                 d_out: int, 输出张量维度
                 n_heads: int, 注意力头数
                 bias: bool, 是否在query、key和value计算中使用偏置项
             """  
             super().__init__()  
             assert d_out % n_heads == 0, "d_out must be divisible by n_heads"  

             self.n_heads = n_heads  
             self.d_head = d_out // n_heads  
             self.d_out = d_out  

             self.in_proj = nn.Linear(d_in, 3 * d_out, bias=bias)  
             self.out_proj = nn.Linear(d_out, d_out)

此处定义了模型的核心参数,包括输入输出维度及线性变换层。

 def forward(self, x, block_mask):  
             """  
             描述:多头自注意力模块的前向计算过程
             参数:
                 x: torch.Tensor, 输入张量,维度为(batch_size, max_seq_len, d_in)
                 block_mask: torch.Tensor, flex_attention使用的块状掩码
             """  
             batch_size, max_seq_len, d_in = x.shape  


             # 通过线性变换生成query、key、value的组合表示
             qkv = self.in_proj(x)  

             # 将qkv分解并重组为多头形式
             qkv = qkv.view(batch_size, max_seq_len, 3, self.n_heads, self.d_head)  

             # 调整张量维度以适配flex_attention的输入要求
             qkv = qkv.permute(2, 0, 3, 1, 4)  

             # 解析得到query、key、value张量
             queries, keys, values = qkv   

             # 利用flex_attention计算注意力权重
             attn = flex_attention(queries, keys, values, block_mask=block_mask)  

             # 合并多头注意力的输出
             attn = attn.transpose(1, 2).contiguous().view(batch_size, max_seq_len, self.d_out)  

             # 执行输出映射
             attn = self.out_proj(attn)  

             return attn, queries, keys

该前向传播函数的实现与PyTorch标准的MultiheadAttention类相似,主要区别在于引入了block_mask参数并采用flex_attention函数进行注意力计算。

mask_mod函数实现

FlexAttention的核心优势在于能够高效地实现和使用自定义注意力掩码,而无需编写特定的CUDA核心代码。

要使用此功能,需要将掩码定义为布尔类型张量。首先实现一个因果掩码,这是FlexAttention开发者在其官方博客中提供的基础示例。

因果掩码

 def causal(b, h, q_idx, kv_idx):  
     return q_idx >= kv_idx

这里的参数说明:

  • b:批次大小
  • h:注意力头数
  • q_idx:query位置索引
  • kv_idx:key/value位置索引

例如,对于序列长度为

5

的输入,

q_idx

表示为

torch.Tensor([0,1,2,3,4])

q_idx >= kv_idx

返回一个因果布尔掩码,确保注意力计算只考虑当前位置及其之前的token。

接下来将实现填充掩码来处理变长序列的填充部分。

填充掩码实现

填充掩码与因果掩码的主要区别在于其批次依赖性,即掩码值取决于每个序列中填充token的具体位置。实现时需要通过填充标记表来识别序列中应被忽略的填充token。

 def create_padding_mask(pads):  
     def padding(b, h, q_idx, kv_idx):  
         return ~pads[b, q_idx] & ~pads[b, kv_idx]  
     return padding
pads

是一个形状为

(batch_size, max_seq_len)

的布尔张量,填充位置标记为True,有效token位置标记为False。此

padding

mask_mod函数生成填充掩码,仅当query和key/value位置均为非填充token时才允许注意力计算。

实验设置与数据准备

在组合掩码并应用到MultiheadFlexAttention之前,需要先设置相关参数并准备实验数据。

 # 多头注意力参数配置
 d_in = 64  
 d_out = 64  
 n_heads = 8  

 # 初始化多头注意力模块
 mhfa = MultiheadFlexAttention(d_in, d_out, n_heads).to(device)  

 # 数据维度设置
 batch_size = 1 # 支持任意批次大小
 max_seq_len = 10  

 # 生成随机输入数据
 input_data = torch.randn(batch_size, max_seq_len, d_in).to(device)

接下来,对

input_data

进行修改,添加随机的末尾零填充。

 # 添加随机零填充
 pad = torch.zeros(1, d_in).to(device)  
 pad_idxs = [(b, range(torch.randint(max_seq_len//2, max_seq_len + 1, (1,)).item(), max_seq_len)) for b in range(batch_size)]  
 for b, idxs in pad_idxs:  
     input_data[b, idxs] = pad

现在需要为

padding

mask_mod函数构建填充标记表。

 # 构建填充标记掩码
 collapsed_input = input_data[:, :, 0] # (batch_size, max_seq_len)  
 pads = torch.eq(collapsed_input, 0).to(device)

注意,mask_mod函数不需要考虑

input_data

的嵌入维度,因此在创建填充标记表(

pads

)时可以将该维度压缩。

组合因果掩码和填充掩码

此时我们已具备创建综合注意力掩码所需的全部组件。

 # 构建组合掩码
 causal_mask = causal  
 padding_mask = create_padding_mask(pads)  
 masks = [causal, padding_mask]  
 combined_mask = and_masks(*masks)  
 causal_padding_mask = create_block_mask(combined_mask, B=batch_size, H=None, Q_LEN=max_seq_len, KV_LEN=max_seq_len, _compile=True)

在这里,我们通过torch.flex_attention提供的

and_masks

函数将

causal

padding

mask_mod函数进行组合,从而生成统一的BlockMask。

说明:开发团队建议启用

_compile_

参数可显著提升BlockMasks的生成效率,这对于批次相关的掩码处理尤其重要。

现在可以利用MultiheadFlexAttention类对

input_data

执行注意力计算,同时应用编译后的自定义注意力掩码。

 # 执行前向计算
 attn_output, query, key = mhfa(input_data, causal_padding_mask)

使用attention-gym提供的可视化工具来分析注意力分布。

 # 可视化第一个序列的注意力分布
 visualize_attention_scores(  
     query,  
     key,  
     mask_mod=combined_mask,  
     device=device,  
     name="causal_padding_mask",  
     path=Path("./causal_padding_mask.png"),  
 )

上图展示了包含三个填充token的序列的掩码后因果注意力分布。

从可视化结果可以观察到,填充token和未来token的注意力权重都被有效地屏蔽,验证了实现的正确性。

https://avoid.overfit.cn/post/96d77c0f872c43dd8c752b687af7babf

作者:Lucas Gomez

目录
相关文章
|
4月前
|
机器学习/深度学习 PyTorch 算法框架/工具
CNN中的注意力机制综合指南:从理论到Pytorch代码实现
注意力机制已成为深度学习模型的关键组件,尤其在卷积神经网络(CNN)中发挥了重要作用。通过使模型关注输入数据中最相关的部分,注意力机制显著提升了CNN在图像分类、目标检测和语义分割等任务中的表现。本文将详细介绍CNN中的注意力机制,包括其基本概念、不同类型(如通道注意力、空间注意力和混合注意力)以及实际实现方法。此外,还将探讨注意力机制在多个计算机视觉任务中的应用效果及其面临的挑战。无论是图像分类还是医学图像分析,注意力机制都能显著提升模型性能,并在不断发展的深度学习领域中扮演重要角色。
139 10
|
2月前
|
机器学习/深度学习 监控 PyTorch
深度学习工程实践:PyTorch Lightning与Ignite框架的技术特性对比分析
在深度学习框架的选择上,PyTorch Lightning和Ignite代表了两种不同的技术路线。本文将从技术实现的角度,深入分析这两个框架在实际应用中的差异,为开发者提供客观的技术参考。
53 7
|
3月前
|
机器学习/深度学习 自然语言处理 数据建模
三种Transformer模型中的注意力机制介绍及Pytorch实现:从自注意力到因果自注意力
本文深入探讨了Transformer模型中的三种关键注意力机制:自注意力、交叉注意力和因果自注意力,这些机制是GPT-4、Llama等大型语言模型的核心。文章不仅讲解了理论概念,还通过Python和PyTorch从零开始实现这些机制,帮助读者深入理解其内部工作原理。自注意力机制通过整合上下文信息增强了输入嵌入,多头注意力则通过多个并行的注意力头捕捉不同类型的依赖关系。交叉注意力则允许模型在两个不同输入序列间传递信息,适用于机器翻译和图像描述等任务。因果自注意力确保模型在生成文本时仅考虑先前的上下文,适用于解码器风格的模型。通过本文的详细解析和代码实现,读者可以全面掌握这些机制的应用潜力。
174 3
三种Transformer模型中的注意力机制介绍及Pytorch实现:从自注意力到因果自注意力
|
3月前
|
机器学习/深度学习 PyTorch 算法框架/工具
聊一聊计算机视觉中常用的注意力机制以及Pytorch代码实现
本文介绍了几种常用的计算机视觉注意力机制及其PyTorch实现,包括SENet、CBAM、BAM、ECA-Net、SA-Net、Polarized Self-Attention、Spatial Group-wise Enhance和Coordinate Attention等,每种方法都附有详细的网络结构说明和实验结果分析。通过这些注意力机制的应用,可以有效提升模型在目标检测任务上的性能。此外,作者还提供了实验数据集的基本情况及baseline模型的选择与实验结果,方便读者理解和复现。
112 0
聊一聊计算机视觉中常用的注意力机制以及Pytorch代码实现
|
3月前
|
机器学习/深度学习 算法 数据可视化
如果你的PyTorch优化器效果欠佳,试试这4种深度学习中的高级优化技术吧
在深度学习领域,优化器的选择对模型性能至关重要。尽管PyTorch中的标准优化器如SGD、Adam和AdamW被广泛应用,但在某些复杂优化问题中,这些方法未必是最优选择。本文介绍了四种高级优化技术:序列最小二乘规划(SLSQP)、粒子群优化(PSO)、协方差矩阵自适应进化策略(CMA-ES)和模拟退火(SA)。这些方法具备无梯度优化、仅需前向传播及全局优化能力等优点,尤其适合非可微操作和参数数量较少的情况。通过实验对比发现,对于特定问题,非传统优化方法可能比标准梯度下降算法表现更好。文章详细描述了这些优化技术的实现过程及结果分析,并提出了未来的研究方向。
43 1
|
6月前
|
机器学习/深度学习 数据采集 自然语言处理
注意力机制中三种掩码技术详解和Pytorch实现
**注意力机制中的掩码在深度学习中至关重要,如Transformer模型所用。掩码类型包括:填充掩码(忽略填充数据)、序列掩码(控制信息流)和前瞻掩码(自回归模型防止窥视未来信息)。通过创建不同掩码,如上三角矩阵,模型能正确处理变长序列并保持序列依赖性。在注意力计算中,掩码修改得分,确保模型学习的有效性。这些技术在现代NLP和序列任务中是核心组件。**
285 12
|
5月前
|
机器学习/深度学习 数据采集 自然语言处理
PyTorch 在自然语言处理中的应用实践
【8月更文第29天】随着深度学习技术的发展,自然语言处理(NLP)领域取得了显著的进步。PyTorch 作为一款强大的深度学习框架,因其灵活性和易用性而被广泛采用。本文将介绍如何利用 PyTorch 构建文本分类模型,并以情感分析为例进行详细介绍。
75 0
|
6月前
|
机器学习/深度学习 数据采集 PyTorch
使用 PyTorch 创建的多步时间序列预测的 Encoder-Decoder 模型
本文提供了一个用于解决 Kaggle 时间序列预测任务的 encoder-decoder 模型,并介绍了获得前 10% 结果所涉及的步骤。
86 0
|
6月前
|
机器学习/深度学习 PyTorch TensorFlow
在深度学习中,数据增强是一种常用的技术,用于通过增加训练数据的多样性来提高模型的泛化能力。`albumentations`是一个强大的Python库,用于图像增强,支持多种图像变换操作,并且可以与深度学习框架(如PyTorch、TensorFlow等)无缝集成。
在深度学习中,数据增强是一种常用的技术,用于通过增加训练数据的多样性来提高模型的泛化能力。`albumentations`是一个强大的Python库,用于图像增强,支持多种图像变换操作,并且可以与深度学习框架(如PyTorch、TensorFlow等)无缝集成。
|
7月前
|
机器学习/深度学习 算法 PyTorch
【从零开始学习深度学习】45. Pytorch迁移学习微调方法实战:使用微调技术进行2分类图片热狗识别模型训练【含源码与数据集】
【从零开始学习深度学习】45. Pytorch迁移学习微调方法实战:使用微调技术进行2分类图片热狗识别模型训练【含源码与数据集】