FreeScale:无需微调即可提升模型的图像生成能力,生成 8K 分辨率的高质量图像

简介: FreeScale是一个无需微调的推理框架,旨在提升扩散模型生成高分辨率图像和视频的能力。该框架通过处理和融合不同尺度的信息,首次实现了8K分辨率图像的生成,显著提高了生成内容的质量和保真度,同时减少了推理时间。

❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日跟你分享最新的 AI 资讯和开源应用,也会不定期分享自己的想法和开源实例,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦


🚀 快速阅读

  1. 无需微调:FreeScale不需要对预训练模型进行额外的调整或训练,即可实现高分辨率输出。
  2. 高分辨率生成:FreeScale能生成高达8K分辨率的高质量图像和视频,扩展了视觉扩散模型在高分辨率生成方面的能力。
  3. 多尺度信息融合:通过结合不同感受野尺度的信息,FreeScale优化了局部和全局细节的生成,提升了视觉内容的整体质量。

正文(附运行示例)

FreeScale 是什么

公众号: 蚝油菜花 - FreeScale

FreeScale是由南洋理工大学、阿里巴巴集团和复旦大学联合推出的无需微调的推理框架,旨在提升预训练扩散模型生成高分辨率图像和视频的能力。该框架通过处理和融合不同尺度的信息,有效解决了模型在生成超训练分辨率内容时出现的高频信息增加导致的重复模式问题。

FreeScale首次实现了8K分辨率图像的生成,不仅提高了生成内容的质量与保真度,还减少了推理时间,显著超越了现有方法。

FreeScale 的主要功能

  • 高分辨率视觉生成:FreeScale能生成高达8K分辨率的高质量图像和视频,扩展了视觉扩散模型在高分辨率生成方面的能力。
  • 无需微调:与传统需要微调的方法不同,FreeScale不要求对预训练模型进行额外的调整或训练,即可实现高分辨率输出。
  • 处理高频信息:FreeScale通过提取和融合不同尺度的信息,有效管理高频信息,减少生成内容中的重复模式和伪影。
  • 多尺度信息融合:基于结合不同感受野尺度的信息,FreeScale优化了局部和全局细节的生成,提升了视觉内容的整体质量。
  • 灵活控制细节级别:用户能根据需要调整不同区域的细节级别,实现更精细的视觉效果控制。

FreeScale 的技术原理

  • 定制自级联上采样:从纯高斯噪声开始,逐步去噪,用训练分辨率生成图像,基于上采样获得更高分辨率的图像。
  • 受约束的膨胀卷积:为扩大卷积的感受野并减少局部重复问题,FreeScale在特定的网络层中使用膨胀卷积。
  • 尺度融合:在去噪过程中,调整自注意力层,使其同时具有全局和局部注意力结构,基于高斯模糊融合自全局注意力的高频细节和来自局部注意力的低频语义。
  • 频率成分提取与融合:基于提取所需的频率成分并进行融合,优化高分辨率生成质量,减少高频信息引发的重复模式问题。
  • 细节级别控制:调整生成细节的级别,基于缩放余弦衰减因子控制新生成细节的级别,实现对不同语义区域的细节进行差异化处理。

如何运行 FreeScale

1. 高分辨率文本到图像生成

  1. 从Hugging Face下载预训练的SDXL检查点。
  2. 修改run_freescale.py文件,并在终端中输入以下命令:
    ```bash
    python run_freescale.py

resolutions_list: 每个阶段自级联上采样的分辨率。

cosine_scale: 细节比例,通常为1.0 ~ 2.0。对于8K图像生成,建议cosine_scale <= 1.0。


### 2. 灵活控制细节级别
1. 下载预训练的SDXL检查点。
2. 修改`run_sdxl.py`文件,生成原始分辨率的基准图像:
```bash
python run_sdxl.py
  1. 将生成的图像放入imgen_intermediates文件夹。
  2. (可选)使用其他分割模型(如Segment Anything)生成掩码,并将其放入imgen_intermediates文件夹。
  3. 修改run_freescale_imgen.py文件,生成最终的高分辨率图像:
    ```bash
    python run_freescale_imgen.py

resolutions_list: 每个阶段自级联上采样的分辨率。

cosine_scale: 前景细节比例,通常为2.0 ~ 3.0。

cosine_scale_bg: 背景细节比例,通常为0.5 ~ 1.0。

```

资源


❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日跟你分享最新的 AI 资讯和开源应用,也会不定期分享自己的想法和开源实例,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦

相关文章
|
XML C# 数据格式
WPF技术之xmlns
在WPF中,xmlns是XML命名空间(XML Namespace)的缩写,用于引入不同的XML命名空间,以便在XAML文件中使用特定的命名空间中的元素、属性和类型。
1136 1
|
存储 数据采集 安全
通过filebeat、logstash、rsyslog采集nginx日志的几种方式
由于nginx功能强大,性能突出,越来越多的web应用采用nginx作为http和反向代理的web服务器。而nginx的访问日志不管是做用户行为分析还是安全分析都是非常重要的数据源之一。如何有效便捷的采集nginx的日志进行有效的分析成为大家关注的问题。本文通过几个实例来介绍如何通过filebeat、logstash、rsyslog采集nginx的访问日志和错误日志。
1489 0
|
11月前
|
前端开发 vr&ar
南京观海微电子----MOS管的放大电路分析-运用模电的理论计算验证
本文介绍功率MOS管在放大电路中的应用,通过三电阻偏置电路分析其静态工作点与动态小信号模型。结合Multisim仿真,验证MOS管是否工作在饱和区,并计算跨导、电流及电压增益,结果与理论相符,体现模电理论在实际设计中的指导作用。(239字)
|
存储 人工智能 自然语言处理
游戏云,市场份额第一
国际数据公司(IDC)发布最新《中国游戏云市场跟踪》报告,阿里云稳居中国游戏云整体市场份额第一。其中,阿里云在中国游戏云基础设施(IaaS)+云解决方案(Cloud Solution)的份额已提升至41%。同时,阿里云游戏云基础设施(IaaS)收入同比增长15.3%。自2021年以来,阿里云持续稳居中国游戏云整体市场份额第一。
|
自然语言处理
部落冲突脚本,小蜜脚本,赛尔号脚本开源代码
部落冲突模块包含资源自动收集和智能进攻系统,支持自定义兵种投放坐标 赛尔号模块实现精灵自动更换和战斗循环,包含颜色检测战斗状态机制
|
数据采集 人工智能 安全
数据治理的实践与挑战:大型案例解析
在当今数字化时代,数据已成为企业运营和决策的核心资源。然而,随着数据量的爆炸性增长和数据来源的多样化,数据治理成为了企业面临的重要挑战之一。本文将通过几个大型案例,探讨数据治理的实践、成效以及面临的挑战。
2244 4
数据治理的实践与挑战:大型案例解析
|
网络安全 开发工具 git
在GitLab CI中同步HTTPS仓库地址的yaml配置
最后,提交并推送 `.gitlab-ci.yml`文件到您的GitLab仓库。GitLab CI/CD将自动识别这个文件,并在每次推送到 `master`分支时执行定义的同步任务。
671 16
|
人工智能 并行计算 语音技术
Open-LLM-VTuber:宅男福音!开源AI老婆离线版上线,实时语音+Live2D互动还会脸红心跳
Open-LLM-VTuber 是一个开源的跨平台语音交互 AI 伴侣项目,支持实时语音对话、视觉感知和生动的 Live2D 动态形象,完全离线运行,保护用户隐私。
3487 10
Open-LLM-VTuber:宅男福音!开源AI老婆离线版上线,实时语音+Live2D互动还会脸红心跳
|
机器学习/深度学习 人工智能 自然语言处理
MarS:微软开源金融市场模拟预测引擎,支持策略测试、风险管理和市场分析
MarS 是微软亚洲研究院推出的金融市场模拟预测引擎,基于生成型基础模型 LMM,支持无风险环境下的交易策略测试、风险管理和市场分析。
927 8
MarS:微软开源金融市场模拟预测引擎,支持策略测试、风险管理和市场分析
|
存储 算法 Android开发
AVB校验微观版本:android avb(Android Verified Boot)验证
AVB校验微观版本:android avb(Android Verified Boot)验证
3313 0

热门文章

最新文章