CLEAR:新加坡国立大学推出线性注意力机制,使8K图像的生成速度提升6.3倍,显著减少了计算量和时间延迟

本文涉及的产品
视觉智能开放平台,视频通用资源包5000点
视觉智能开放平台,分割抠图1万点
视觉智能开放平台,图像通用资源包5000点
简介: 新加坡国立大学推出的CLEAR线性注意力机制,通过局部注意力窗口设计,显著提升了预训练扩散变换器生成高分辨率图像的效率,生成8K图像时提速6.3倍。

❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日跟你分享最新的 AI 资讯和开源应用,也会不定期分享自己的想法和开源实例,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦


🚀 快速阅读

  1. 线性复杂度:通过局部注意力机制将预训练DiTs的复杂度从二次降低到线性。
  2. 效率提升:显著减少计算量和时间延迟,加速高分辨率图像生成。
  3. 跨模型泛化:CLEAR支持零样本泛化到其他模型和插件,无需额外适配。

正文(附运行示例)

CLEAR 是什么

公众号: 蚝油菜花 - CLEAR

CLEAR是新加坡国立大学推出的一种新型线性注意力机制,旨在提升预训练扩散变换器(DiTs)生成高分辨率图像的效率。通过将每个查询的注意力限制在局部窗口内,CLEAR实现了对图像分辨率的线性复杂度,从而降低了计算成本。实验表明,CLEAR在10K次迭代微调后,能在保持与原始模型相似性能的同时,减少99.5%的注意力计算,并在生成8K图像时提速6.3倍。

CLEAR不仅支持跨模型和插件的零样本泛化,还支持多GPU并行推理,增强了模型的适用性和扩展性。

CLEAR 的主要功能

  • 线性复杂度:通过局部注意力机制将预训练DiTs的复杂度从二次降低到线性,适用于高分辨率图像生成。
  • 效率提升:在生成高分辨率图像时,显著减少计算量和时间延迟,加速图像生成过程。
  • 知识转移:通过少量的微调,能有效地从预训练模型转移知识到学生模型,保持生成质量。
  • 跨分辨率泛化:CLEAR展现出良好的跨分辨率泛化能力,能处理不同尺寸的图像生成任务。
  • 跨模型/插件泛化:CLEAR训练得到的注意力层能零样本泛化到其他模型和插件,无需额外适配。
  • 多GPU并行推理:CLEAR支持多GPU并行推理,优化大规模图像生成的效率和扩展性。

CLEAR 的技术原理

  • 局部注意力窗口:将每个查询(query)的限制在局部窗口内,仅与窗口内的键值(key-value)进行交互,实现线性复杂度。
  • 圆形窗口设计:与传统的正方形滑动窗口不同,CLEAR采用圆形窗口,考虑每个查询的欧几里得距离内的所有键值。
  • 知识蒸馏:在微调过程中,CLEAR用知识蒸馏目标,基于流匹配损失和预测/注意力输出一致性损失,减少线性化模型与原始模型之间的差异。
  • 多GPU并行推理优化:CLEAR基于局部注意力的局部性,减少多GPU并行推理时的通信开销,提高大规模图像生成的效率。
  • 保持原始功能:尽管每个查询仅访问局部信息,但通过堆叠多个Transformer块,每个令牌(token)能逐步捕获整体信息,类似于卷积神经网络的操作。
  • 稀疏注意力实现:作为一种稀疏注意力机制,能在GPU上高效实现,并利用底层优化。

如何运行 CLEAR

安装环境

CLEAR需要torch>=2.5.0diffusers>=0.31.0,以及其他依赖包。可以通过以下命令设置环境:

conda create -n CLEAR python=3.12
conda activate CLEAR
pip install -r requirements.txt

克隆仓库

git clone https://github.com/Huage001/CLEAR.git

下载模型

CLEAR提供了多个版本的模型,支持不同的局部窗口大小。可以通过以下命令下载模型:

mkdir ckpt
wget https://huggingface.co/Huage001/CLEAR/resolve/main/clear_local_8_down_4.safetensors

运行推理

如果想要比较线性化的FLUX模型与原始模型,可以运行inference_t2i.ipynb。如果需要高分辨率加速,可以运行inference_t2i_highres.ipynb

资源


❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日跟你分享最新的 AI 资讯和开源应用,也会不定期分享自己的想法和开源实例,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦

相关文章
社区活动礼品兑换攻略
社区活动礼品兑换攻略
13962 1
Kali 换源(国内优质镜像源地址)2023最新
Kali 换源(国内优质镜像源地址)2023最新
4847 0
|
4月前
|
人工智能 供应链 安全
MCP Server的五种主流架构与Nacos的选择
本文深入探讨了Model Context Protocol (MCP) 在企业级环境中的部署与管理挑战,详细解析了五种主流MCP架构模式(直连远程、代理连接远程、直连本地、本地代理连接本地、混合模式)的优缺点及适用场景,并结合Nacos服务治理框架,提供了实用的企业级MCP部署指南。通过Nacos MCP Router,实现MCP服务的统一管理和智能路由,助力金融、互联网、制造等行业根据数据安全、性能需求和扩展性要求选择合适架构。文章还展望了MCP在企业落地的关键方向,包括中心化注册、软件供应链控制和安全访问等完整解决方案。
2577 150
MCP Server的五种主流架构与Nacos的选择
|
9月前
|
人工智能 异构计算
DisPose:清华北大等多所高校联合推出基于人物图像增强视频生成技术,实现对人物动画的准确控制和一致性
DisPose是由北京大学、中国科学技术大学、清华大学和香港科技大学联合推出的增强人物图像控制动画质量的技术。该技术通过从骨骼姿态和参考图像中提取控制信号,生成密集运动场,并保持对不同体型的泛化能力,显著提升了人物图像动画的质量和一致性。
250 14
DisPose:清华北大等多所高校联合推出基于人物图像增强视频生成技术,实现对人物动画的准确控制和一致性
|
10月前
|
机器学习/深度学习 自然语言处理 语音技术
揭秘深度学习中的注意力机制:兼容性函数的深度解析
揭秘深度学习中的注意力机制:兼容性函数的深度解析
|
9月前
|
人工智能 自然语言处理 PyTorch
Bamba-9B:基于 Mamba2 架构的仅解码语言模型,旨在提高大型语言模型在推理时的效率
Bamba-9B 是由 IBM、普林斯顿大学、卡内基梅隆大学和伊利诺伊大学香槟分校联合推出的基于 Mamba2 架构的仅解码语言模型。该模型在开放数据集上训练,旨在提高大型语言模型的推理效率,特别是在处理长文本时的内存带宽瓶颈。Bamba-9B 在推理时相较于标准变换器模型展现出 2.5 倍的吞吐量提升和 2 倍的延迟加速。
204 12
Bamba-9B:基于 Mamba2 架构的仅解码语言模型,旨在提高大型语言模型在推理时的效率
|
弹性计算 数据可视化 Ubuntu
云服务器使用docker安装portainer容器可视化管理工具
Portainer 将管理容器的复杂性隐藏在易于使用的 UI 后面,使部署应用程序和解决问题变得如此简单,通过使用界面化来完成容器的部署操作。
1559 1
云服务器使用docker安装portainer容器可视化管理工具
|
3月前
|
安全 网络协议 Linux
F5 BIG-IP 17.5 LTS - 多云安全和应用交付
F5 BIG-IP 17.5 LTS - 多云安全和应用交付
140 3
F5 BIG-IP 17.5 LTS - 多云安全和应用交付
|
4月前
|
数据采集 机器学习/深度学习 自然语言处理
NLP助力非结构化文本抽取:实体关系提取实战
本文介绍了一套基于微博热帖的中文非结构化文本分析系统,通过爬虫代理采集数据,结合NLP技术实现实体识别、关系抽取及情感分析。核心技术包括爬虫模块、请求配置、页面采集和中文NLP处理,最终将数据结构化并保存为CSV文件或生成图谱。代码示例从基础正则规则到高级深度学习模型(如BERT-BiLSTM-CRF)逐步演进,适合初学者与进阶用户调试与扩展,展现了中文NLP在实际场景中的应用价值。
291 3
NLP助力非结构化文本抽取:实体关系提取实战
|
3月前
|
边缘计算 弹性计算 API

热门文章

最新文章