CLEAR:新加坡国立大学推出线性注意力机制,使8K图像的生成速度提升6.3倍,显著减少了计算量和时间延迟

本文涉及的产品
视觉智能开放平台,视频资源包5000点
视觉智能开放平台,分割抠图1万点
视觉智能开放平台,图像资源包5000点
简介: 新加坡国立大学推出的CLEAR线性注意力机制,通过局部注意力窗口设计,显著提升了预训练扩散变换器生成高分辨率图像的效率,生成8K图像时提速6.3倍。

❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日跟你分享最新的 AI 资讯和开源应用,也会不定期分享自己的想法和开源实例,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦


🚀 快速阅读

  1. 线性复杂度:通过局部注意力机制将预训练DiTs的复杂度从二次降低到线性。
  2. 效率提升:显著减少计算量和时间延迟,加速高分辨率图像生成。
  3. 跨模型泛化:CLEAR支持零样本泛化到其他模型和插件,无需额外适配。

正文(附运行示例)

CLEAR 是什么

公众号: 蚝油菜花 - CLEAR

CLEAR是新加坡国立大学推出的一种新型线性注意力机制,旨在提升预训练扩散变换器(DiTs)生成高分辨率图像的效率。通过将每个查询的注意力限制在局部窗口内,CLEAR实现了对图像分辨率的线性复杂度,从而降低了计算成本。实验表明,CLEAR在10K次迭代微调后,能在保持与原始模型相似性能的同时,减少99.5%的注意力计算,并在生成8K图像时提速6.3倍。

CLEAR不仅支持跨模型和插件的零样本泛化,还支持多GPU并行推理,增强了模型的适用性和扩展性。

CLEAR 的主要功能

  • 线性复杂度:通过局部注意力机制将预训练DiTs的复杂度从二次降低到线性,适用于高分辨率图像生成。
  • 效率提升:在生成高分辨率图像时,显著减少计算量和时间延迟,加速图像生成过程。
  • 知识转移:通过少量的微调,能有效地从预训练模型转移知识到学生模型,保持生成质量。
  • 跨分辨率泛化:CLEAR展现出良好的跨分辨率泛化能力,能处理不同尺寸的图像生成任务。
  • 跨模型/插件泛化:CLEAR训练得到的注意力层能零样本泛化到其他模型和插件,无需额外适配。
  • 多GPU并行推理:CLEAR支持多GPU并行推理,优化大规模图像生成的效率和扩展性。

CLEAR 的技术原理

  • 局部注意力窗口:将每个查询(query)的限制在局部窗口内,仅与窗口内的键值(key-value)进行交互,实现线性复杂度。
  • 圆形窗口设计:与传统的正方形滑动窗口不同,CLEAR采用圆形窗口,考虑每个查询的欧几里得距离内的所有键值。
  • 知识蒸馏:在微调过程中,CLEAR用知识蒸馏目标,基于流匹配损失和预测/注意力输出一致性损失,减少线性化模型与原始模型之间的差异。
  • 多GPU并行推理优化:CLEAR基于局部注意力的局部性,减少多GPU并行推理时的通信开销,提高大规模图像生成的效率。
  • 保持原始功能:尽管每个查询仅访问局部信息,但通过堆叠多个Transformer块,每个令牌(token)能逐步捕获整体信息,类似于卷积神经网络的操作。
  • 稀疏注意力实现:作为一种稀疏注意力机制,能在GPU上高效实现,并利用底层优化。

如何运行 CLEAR

安装环境

CLEAR需要torch>=2.5.0diffusers>=0.31.0,以及其他依赖包。可以通过以下命令设置环境:

conda create -n CLEAR python=3.12
conda activate CLEAR
pip install -r requirements.txt
AI 代码解读

克隆仓库

git clone https://github.com/Huage001/CLEAR.git
AI 代码解读

下载模型

CLEAR提供了多个版本的模型,支持不同的局部窗口大小。可以通过以下命令下载模型:

mkdir ckpt
wget https://huggingface.co/Huage001/CLEAR/resolve/main/clear_local_8_down_4.safetensors
AI 代码解读

运行推理

如果想要比较线性化的FLUX模型与原始模型,可以运行inference_t2i.ipynb。如果需要高分辨率加速,可以运行inference_t2i_highres.ipynb

资源


❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日跟你分享最新的 AI 资讯和开源应用,也会不定期分享自己的想法和开源实例,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦

目录
打赏
0
15
17
0
321
分享
相关文章
处理不平衡数据的过采样技术对比总结
在不平衡数据上训练的分类算法往往导致预测质量差。模型严重偏向多数类,忽略了对许多用例至关重要的少数例子。这使得模型对于涉及罕见但高优先级事件的现实问题来说不切实际。
315 0
STAR: 利用时空注意力机制和动态频率损失的视频超分辨率增强框架
STAR提出了一种创新的视频超分辨率解决方案,基于文本到视频(T2V)扩散模型架构,解决现有模型过度平滑和时间一致性不足的问题。通过引入局部信息增强模块(LIEM)和动态频率(DF)损失函数,STAR有效提升了空间细节重建能力和保真度。实验表明,STAR在合成数据集和真实场景数据集上均优于现有最先进的方法,展现出优秀的细节重建、时间和空间一致性。
26 9
STAR: 利用时空注意力机制和动态频率损失的视频超分辨率增强框架
无问芯穹提出混合稀疏注意力方案MoA,加速长文本生成,实现最高8倍吞吐率提升
无问芯穹团队提出Mixture of Attention(MoA)方案,通过自动调整不同注意力头和层的稀疏注意力配置,解决大型语言模型(LLM)处理长文本时的内存和吞吐量需求问题。MoA能够显著增加有效上下文长度,提升检索准确性和解码吞吐量,减少GPU内存使用。实验结果表明,MoA在多个模型上表现出色,但构建和探索搜索空间仍需大量计算资源。
72 14
【YOLOv8改进 - 卷积Conv】SPConv:去除特征图中的冗余,大幅减少参数数量 | 小目标
YOLO目标检测专栏探讨了模型优化,提出SPConv,一种新卷积操作,减少特征冗余,提升效率。SPConv将特征分为代表性和不确定部分,分别处理,再融合。实验显示,SPConv在速度和准确性上超越现有基准,减少FLOPs和参数。论文和PyTorch代码已公开。更多详情及实战案例见CSDN博客链接。
KV cache复用与投机采样问题之优化投机采样中的采样流程如何解决
KV cache复用与投机采样问题之优化投机采样中的采样流程如何解决
106 0
Flash Attention稳定吗?Meta、哈佛发现其模型权重偏差呈现数量级波动
【5月更文挑战第23天】Meta和哈佛的研究发现Flash Attention,一种用于加速Transformer模型的优化技术,可能导致数值偏差,影响模型权重稳定性。实验显示Flash Attention在BF16精度下的偏差是基线的10倍,权重偏差是低精度训练的2-5倍。虽然能提升效率,但其引入的不稳定性对训练过程构成挑战。该研究提出新方法评估数值偏差对训练稳定性的影响,为未来优化技术的研究提供了方向。[论文链接:https://arxiv.org/pdf/2405.02803]
141 2
|
9月前
LabVIEW连续采样与有限采样模式
LabVIEW连续采样与有限采样模式
314 0
【OctaveConv】下降一个八度:用八度卷积减少卷积神经网络中的空间冗余
【OctaveConv】下降一个八度:用八度卷积减少卷积神经网络中的空间冗余
222 0
【OctaveConv】下降一个八度:用八度卷积减少卷积神经网络中的空间冗余
YOLOv5改进 | Conv篇 | 利用轻量化PartialConv提出一种全新的结构CSPPC (参数量下降约42W)
YOLOv5改进 | Conv篇 | 利用轻量化PartialConv提出一种全新的结构CSPPC (参数量下降约42W)
404 4
快7倍 | SpirDet基于降采样正交重参化+稀疏解码器有效减少延迟,同时提升小目标检测精度
快7倍 | SpirDet基于降采样正交重参化+稀疏解码器有效减少延迟,同时提升小目标检测精度
153 0

热门文章

最新文章