CLEAR:新加坡国立大学推出线性注意力机制,使8K图像的生成速度提升6.3倍,显著减少了计算量和时间延迟

简介: 新加坡国立大学推出的CLEAR线性注意力机制,通过局部注意力窗口设计,显著提升了预训练扩散变换器生成高分辨率图像的效率,生成8K图像时提速6.3倍。

❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日跟你分享最新的 AI 资讯和开源应用,也会不定期分享自己的想法和开源实例,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦


🚀 快速阅读

  1. 线性复杂度:通过局部注意力机制将预训练DiTs的复杂度从二次降低到线性。
  2. 效率提升:显著减少计算量和时间延迟,加速高分辨率图像生成。
  3. 跨模型泛化:CLEAR支持零样本泛化到其他模型和插件,无需额外适配。

正文(附运行示例)

CLEAR 是什么

公众号: 蚝油菜花 - CLEAR

CLEAR是新加坡国立大学推出的一种新型线性注意力机制,旨在提升预训练扩散变换器(DiTs)生成高分辨率图像的效率。通过将每个查询的注意力限制在局部窗口内,CLEAR实现了对图像分辨率的线性复杂度,从而降低了计算成本。实验表明,CLEAR在10K次迭代微调后,能在保持与原始模型相似性能的同时,减少99.5%的注意力计算,并在生成8K图像时提速6.3倍。

CLEAR不仅支持跨模型和插件的零样本泛化,还支持多GPU并行推理,增强了模型的适用性和扩展性。

CLEAR 的主要功能

  • 线性复杂度:通过局部注意力机制将预训练DiTs的复杂度从二次降低到线性,适用于高分辨率图像生成。
  • 效率提升:在生成高分辨率图像时,显著减少计算量和时间延迟,加速图像生成过程。
  • 知识转移:通过少量的微调,能有效地从预训练模型转移知识到学生模型,保持生成质量。
  • 跨分辨率泛化:CLEAR展现出良好的跨分辨率泛化能力,能处理不同尺寸的图像生成任务。
  • 跨模型/插件泛化:CLEAR训练得到的注意力层能零样本泛化到其他模型和插件,无需额外适配。
  • 多GPU并行推理:CLEAR支持多GPU并行推理,优化大规模图像生成的效率和扩展性。

CLEAR 的技术原理

  • 局部注意力窗口:将每个查询(query)的限制在局部窗口内,仅与窗口内的键值(key-value)进行交互,实现线性复杂度。
  • 圆形窗口设计:与传统的正方形滑动窗口不同,CLEAR采用圆形窗口,考虑每个查询的欧几里得距离内的所有键值。
  • 知识蒸馏:在微调过程中,CLEAR用知识蒸馏目标,基于流匹配损失和预测/注意力输出一致性损失,减少线性化模型与原始模型之间的差异。
  • 多GPU并行推理优化:CLEAR基于局部注意力的局部性,减少多GPU并行推理时的通信开销,提高大规模图像生成的效率。
  • 保持原始功能:尽管每个查询仅访问局部信息,但通过堆叠多个Transformer块,每个令牌(token)能逐步捕获整体信息,类似于卷积神经网络的操作。
  • 稀疏注意力实现:作为一种稀疏注意力机制,能在GPU上高效实现,并利用底层优化。

如何运行 CLEAR

安装环境

CLEAR需要torch>=2.5.0和diffusers>=0.31.0,以及其他依赖包。可以通过以下命令设置环境:

conda create -n CLEAR python=3.12
conda activate CLEAR
pip install -r requirements.txt

克隆仓库

git clone https://github.com/Huage001/CLEAR.git

下载模型

CLEAR提供了多个版本的模型,支持不同的局部窗口大小。可以通过以下命令下载模型:

mkdir ckpt
wget https://huggingface.co/Huage001/CLEAR/resolve/main/clear_local_8_down_4.safetensors

运行推理

如果想要比较线性化的FLUX模型与原始模型,可以运行inference_t2i.ipynb。如果需要高分辨率加速,可以运行inference_t2i_highres.ipynb。

资源


❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日跟你分享最新的 AI 资讯和开源应用,也会不定期分享自己的想法和开源实例,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦

相关文章
|
开发框架 人工智能 运维
蓝鲸自动化运维平台
蓝鲸自动化运维平台 1.蓝鲸简介 官网:https://bk.tencent.com/docs/ 腾讯蓝鲸智云,简称蓝鲸,是腾讯互动娱乐事业群(Interactive Entertainment Group,简称 IEG)自研自用的一套用于构建企业研发运营一体化体系的 PaaS 开发框架,提供了 aPaaS(DevOps 流水线、运行环境托管、前后台框架)和 iPaaS(持续集成、CMDB、作业平台、容器管理、数据平台、AI 等原子平台)等模块,帮助企业技术人员快速构建基础运营 PaaS。
3667 0
蓝鲸自动化运维平台
|
11月前
|
人工智能 智能设计 算法
2026 GEO生成搜索优化技术白皮书:章节详解与案例深度分析
周有贵,GEO专家,深耕AI时代流量入口变革,倡导从SEO到GEO(生成式引擎优化)的认知重构,聚焦“被发现-被理解-被推荐”三层框架,推动企业通过结构化内容、信任资产与平台适配,实现AI信源卡位。
|
存储 负载均衡 NoSQL
【赵渝强老师】Redis Cluster分布式集群
Redis Cluster是Redis的分布式存储解决方案,通过哈希槽(slot)实现数据分片,支持水平扩展,具备高可用性和负载均衡能力,适用于大规模数据场景。
984 2
|
缓存 Java 测试技术
谷粒商城笔记+踩坑(11)——性能压测和调优,JMeter压力测试+jvisualvm监控性能+资源动静分离+修改堆内存
使用JMeter对项目各个接口进行压力测试,并对前端进行动静分离优化,优化三级分类查询接口的性能
1305 10
谷粒商城笔记+踩坑(11)——性能压测和调优,JMeter压力测试+jvisualvm监控性能+资源动静分离+修改堆内存
|
关系型数据库 分布式数据库 数据库
PostgreSQL+Citus分布式数据库
PostgreSQL+Citus分布式数据库
835 15
|
人工智能 算法 数据可视化
智慧停车场车位引导及反向寻车解决方案
智慧停车场导航系统结合了先进的室内定位技术和导航算法,旨在解决大型公共场所停车难、找车难等问题。系统不仅提供精准的停车引导、反向寻车及停车场内导航服务,还通过大数据分析优化停车场管理和用户体验,是提升现代城市智能化水平的重要组成部分。
2336 19
|
开发框架 移动开发 JavaScript
SpringCloud微服务实战——搭建企业级开发框架(四十六):【移动开发】整合uni-app搭建移动端快速开发框架-环境搭建
正如优秀的软件设计一样,uni-app把一些移动端常用的功能做成了独立的服务或者插件,我们在使用的时候只需要选择使用即可。但是在使用这些服务或者插件时一定要区分其提供的各种服务和插件的使用场景,例如其提供的【uni-starter快速开发项目模版】几乎集成了移动端所需的所有基础功能,使用非常方便,但是其许可协议只允许对接其uniCloud的JS开发服务端,不允许对接自己的php、java等其他后台系统。
1077 61
|
监控 数据可视化 iOS开发
这几款Wifi分析工具,请低调收藏!
这几款Wifi分析工具,请低调收藏!
2667 1
|
传感器 人工智能 数据挖掘
柔性电子器件:未来可穿戴技术的趋势
【9月更文挑战第30天】柔性电子器件是一种将电子元件集成在柔性基板上的新兴技术,具备出色的灵活性和适应性。本文探讨了其定义、发展历程及关键技术,并展望了其在可穿戴设备中的应用前景。柔性电子器件不仅能够实时监测生理信号,还能实现自然图像显示和持久能量供应,推动医疗健康、智能手表等领域的发展。尽管面临制造成本和耐久性等挑战,其市场潜力巨大,预计到2025年将达到340亿美元,引领智能穿戴技术的新时代。
1264 2
|
机器学习/深度学习 算法 测试技术
【深度学习】手写数字识别Tensorflow2实验报告
文章介绍了使用TensorFlow 2进行手写数字识别的实验报告,包括实验目的、采用全连接神经网络模型进行训练的过程、以及如何使用交叉熵作为损失函数来识别MNIST数据集的手写数字。
825 0

热门文章

最新文章