随笔：注意力机制Attention
2023-02-22
160
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
随笔：注意力机制Attention
目录
相关文章
|
3月前
|
机器学习/深度学习
计算机视觉
【YOLOv10改进-注意力机制】 MSDA：多尺度空洞注意力 (论文笔记+引入代码)
YOLO目标检测专栏探讨了ViT的改进，提出DilateFormer，它结合多尺度扩张注意力（MSDA）来平衡计算效率和关注域大小。MSDA利用局部稀疏交互减少冗余，通过不同头部的扩张率捕获多尺度特征。DilateFormer在保持高性能的同时，计算成本降低70%，在ImageNet-1K、COCO和ADE20K任务上取得领先结果。YOLOv8引入了MultiDilatelocalAttention模块，用于实现膨胀注意力。更多详情及配置见相关链接。
87
2
2
|
4月前
|
机器学习/深度学习
编解码
算法
【YOLOv8改进】Polarized Self-Attention: 极化自注意力 (论文笔记+引入代码)
该专栏专注于YOLO目标检测算法的创新改进和实战应用，包括卷积、主干网络、注意力机制和检测头的改进。作者提出了一种名为极化自注意（PSA）块，结合极化过滤和增强功能，提高像素级回归任务的性能，如关键点估计和分割。PSA通过保持高分辨率和利用通道及空间注意力，减少了信息损失并适应非线性输出分布。实验证明，PSA能提升标准基线和最新技术1-4个百分点。代码示例展示了如何在YOLOv8中实现PSA模块。更多详细信息和配置可在提供的链接中找到。
232
2
2
|
4月前
|
机器学习/深度学习
编解码
计算机视觉
【YOLOv8改进】D-LKA Attention：可变形大核注意力 (论文笔记+引入代码)
YOLO目标检测专栏探讨了Transformer在医学图像分割的进展，但计算需求限制了模型的深度和分辨率。为此，提出了可变形大核注意力（D-LKA Attention），它使用大卷积核捕捉上下文信息，通过可变形卷积适应数据模式变化。D-LKA Net结合2D和3D版本的D-LKA Attention，提升了医学分割性能。YOLOv8引入了可变形卷积层以增强目标检测的准确性。相关代码和任务配置可在作者博客找到。
126
2
2
|
4月前
|
机器学习/深度学习
编解码
PyTorch
【YOLOv8改进】HAT(Hybrid Attention Transformer,)混合注意力机制 (论文笔记+引入代码)
YOLO目标检测专栏介绍了YOLO系列的改进方法和实战应用，包括卷积、主干网络、注意力机制和检测头的创新。提出的Hybrid Attention Transformer (HAT)结合通道注意力和窗口自注意力，激活更多像素以提升图像超分辨率效果。通过交叉窗口信息聚合和同任务预训练策略，HAT优化了Transformer在低级视觉任务中的性能。实验显示，HAT在图像超分辨率任务上显著优于现有方法。模型结构包含浅层和深层特征提取以及图像重建阶段。此外，提供了HAT模型的PyTorch实现代码。更多详细配置和任务说明可参考相关链接。
163
2
2
|
5月前
|
机器学习/深度学习
自然语言处理
并行计算
|
5月前
|
机器学习/深度学习
|
5月前
|
机器学习/深度学习
算法
计算机视觉
YOLOv8改进 | 注意力机制 | 添加全局注意力机制 GcNet【附代码+小白必备】
本文介绍了如何在YOLOv8中集成GcNet，以增强网络对全局上下文的捕获能力。GcNet通过全局上下文模块、通道和空间注意力机制提升CNN对全局信息的利用。教程详细阐述了GcNet的原理，并提供了将GcNet添加到YOLOv8的代码实现步骤，包括创建ContextBlock类、修改init.py、task.py以及配置yaml文件。此外，还提供了训练和运行示例代码。完整代码和更多进阶内容可在作者的博客中找到。
207
0
0
|
5月前
|
机器学习/深度学习
注意力机制（三）（不同注意力机制对比）
主要介绍了注意力机制的基本思想，以及注意力机制中一个常见的类型——自注意力机制。前面两篇文章为了帮助大家理解注意力机制的思想用了非常多的类比，以及联系生活实际。
然而，不管类比和联系多么恰当，这些做法多多少少都会让事物本身的特性被类比、联系后的事物所掩盖。
137
0
0
|
10月前
|
机器学习/深度学习
存储
人工智能
|
机器学习/深度学习
人工智能
自然语言处理