开源文生图模型再进化,Stable Diffusion XL 1.0登场,出图效果不输Midjourney

简介: 开源文生图模型再进化,Stable Diffusion XL 1.0登场,出图效果不输Midjourney

Stable Diffusion XL 1.0 闪亮登场,给你不一样的色彩体验。


在大模型开启的 AIGC 时代,由明星 AI 初创公司 Stability AI 打造的文本到图像生成模型 Stable Diffusion 可谓风靡全球。

虽然从文本到图像的生成模型并不少,但 Stable Diffusion 是最受欢迎的开源模型。各路开发者也基于 Stable Diffusion 模型进行二创,推出各种各样、花式繁多的 AIGC 应用。

刚刚,Stability AI 正式推出了 Stable Diffusion XL(SDXL)1.0。文本到图像生成模型,又完成了进化过程中的一次重要迭代。

这是 Stability AI 最新的旗舰图像模型,也是当前图像生成领域最好的开源模型。

在 SDXL 1.0 版本发布之前,Stability AI 在六月份推出的 SDXL 0.9 仅作研究用途。但从今天起,SDXL 1.0 将通过 Stability AI 的 API 开源开放给开发者,普通人也可以通过消费级应用 Clipdrop 和 DreamStudio 访问。

如何马上体验到 SDXL 1.0?目前有几种渠道:


此外,鉴于与亚马逊的密切合作关系,SDXL 1.0 已经登陆亚马逊云科技的基础模型托管服务 Amazon Bedrock,而且还会登陆 Amazon SageMaker JumpStart。

SDXL 1.0,什么进化了?
1. 生成概念与风格更具挑战的作品
SDXL 1.0 几乎能够生成任何艺术风格的高质量图像,并且是实现逼真效果的最佳开源模型。用户可以在没有任何特定的「灵感」的情况下进行提示,确保风格的绝对自由,生成各具特色的图像。SDXL 1.0 在色彩的鲜艳度和准确度方面做了很好的调整,对比度、光线和阴影都比上一代更好,并全部采用原生 1024x1024 分辨率。

除此之外,SDXL 1.0 可以生成图像模型难以渲染的概念,例如手、文本以及空间的排列。

图源:Stability AI 官网

图源:Stability AI 官网
2. 语言更简洁、更智能

SDXL 1.0 只需几句话就能创建复杂、细致、美观的图像。用户不再需要用华丽的辞藻进行修饰就能够获得想要的高质量图像。

它甚至能够区分「The Red Square」(红场,一个著名景点)和「red square」(红色正方形)。

3. 微调和高级控制
有了 SDXL 1.0 ,根据自定义数据对模型进行微调比以往任何时候都要容易。可生成自定义 LoRA 或检查点,减少数据处理的需要。Stability AI 正在利用专门用于 SDXL 的 T2I / ControlNet 构建下一代任务特定结构、样式和组成控制。这些功能目前处于测试预览阶段,可以随时关注微调的更新。SDXL 1.0 上的图像控制也即将推出。

自 4 月 13 日发布 SDXL beta 版本以来,ClipDrop 用户已经使用该模型生成超过 3500 万张图片,而 Stability AI 的 Discord 社区平均每天生成 2 万张图片。

看看用户使用 SDXL 1.0 的效果吧。

推特:@pratzlowcode
从网友的图片生成效果来看,SDXL 1.0 在光线上把握更加精准,光线效果、色彩对比更加真实。

推特:@foxtrotfrog
可以看到,在色彩的运用上,SDXL 1.0 更加大胆,饱和度较高的情况下光线与阴影的细节依然在线。

推特:@ai_for_success
在这张图片中可以看到,景深较为合适,主体突出,色彩之间的过渡,甚至真实度都十分优秀。

推特:@sizubito
网友制作了 SDXL 0.9 与 SDXL 1.0 的对比图,左边为 SDXL 0.9 生成图像,右边为 SDXL 1.0 生成图像。可以明显看出二者对于色彩运用的差距。SDXL 1.0 的色彩更加丰富且真实,光效表现也更加出色。

也有网友在 SDXL 1.0 中使用 Midjourney 中的旧 prompt,评论中纷纷感叹,它的效果不比 Midjourney 差,甚至有些出乎意料的优秀。

SDXL 1.0 细节:Base 和 Refiner 模型
Stability AI 将 SDXL 1.0 与各种模型进行了对比测试:与 Stable Diffusion1.5/2.1、SDXL 0.9 等模型相比,人们更喜欢由 SDXL 1.0 生成的图像。

SDXL 1.0 也是所有开放式图像模型中参数量最多的模型之一,它建立在一个创新的新架构上,由一个 35 亿参数的基础模型和一个 66 亿参数的细化模型组成。

完整模型包括一个用于潜在扩散的专家混合管道:第一步,基础模型生成(噪声)潜在变量,然后用专门用于最终去噪步骤的细化模型对其进行进一步处理。

基础模型也可以作为独立模块使用。细化模型为基础模型的输出添加更精确的颜色、更高的对比度和更精细的细节。

这种两阶段架构可确保图像生成的稳健性,而且不会影响速度或需要过多的计算资源。SDXL 1.0 可在配备 8GB VRAM 的消费级 GPU 或随时可用的云实例上有效运行。


参考链接:https://stability.ai/blog/stable-diffusion-sdxl-1-announcement

相关文章
|
28天前
|
编解码 物联网 API
"揭秘SD文生图的神秘面纱:从选择模型到生成图像,一键解锁你的创意图像世界,你敢来挑战吗?"
【10月更文挑战第14天】Stable Diffusion(SD)文生图功能让用户通过文字描述生成复杂图像。过程包括:选择合适的SD模型(如二次元、2.5D、写实等),编写精准的提示词(正向和反向提示词),设置参数(迭代步数、采样方法、分辨率等),并调用API生成图像。示例代码展示了如何使用Python实现这一过程。
60 4
|
2月前
|
人工智能 自然语言处理 计算机视觉
比Stable Diffusion便宜118倍!1890美元训出11.6亿参数高质量文生图模型
【9月更文挑战第6天】最近,一篇论文在AI领域引起广泛关注,展示了如何以极低成本训练高质量文本生成图像(T2I)模型。研究者通过随机遮蔽图像中75%的patch并采用延迟遮蔽策略,大幅降低计算成本,同时结合Mixture-of-Experts(MoE)层提升性能。最终,他们仅用1890美元就训练出了一个拥有11.6亿参数的模型,在COCO数据集上取得12.7的FID分数。这一成果比Stable Diffusion成本低118倍,为资源有限的研究人员提供了新途径。尽管如此,该方法在其他数据集上的表现及进一步降低成本的可行性仍需验证。
52 1
|
3月前
|
人工智能 自然语言处理 API
阿里云百炼上线FLUX文生图模型中文优化版,可免费调用!
阿里云百炼上线FLUX文生图模型中文优化版,可免费调用!
408 6
|
3月前
|
人工智能 自然语言处理 API
阿里云百炼平台上线首个最新文生图模型FLUX中文优化版
由Stable Diffusion团队推出的开源文生图模型FLUX风靡全球,其生成质量媲美Midjourney,被誉为“开源王者”。阿里云百炼平台首发FLUX中文优化版,提升了中文指令的理解与执行能力。开发者可直接在平台上体验并调用FLUX模型,且享有1000张图像的免费生成额度,有效期180天。无需额外部署,即可轻松利用这一先进模型创造高质量图像。
|
3月前
|
机器学习/深度学习 人工智能 PyTorch
"揭秘AI绘画魔法:一键生成梦幻图像,稳定扩散模型带你开启视觉奇迹之旅!"
【8月更文挑战第21天】稳定扩散(Stable Diffusion)是基于深度学习的模型,能根据文本生成高质量图像,在AI领域备受瞩目,革新了创意产业。本文介绍稳定扩散模型原理及使用步骤:环境搭建需Python与PyTorch;获取并加载预训练模型;定义文本描述后编码成向量输入模型生成图像。此外,还可调整参数定制图像风格,或使用特定数据集进行微调。掌握这项技术将极大提升创意表现力。
54 0
|
3月前
|
机器学习/深度学习 人工智能 编解码
AI文生图模型
8月更文挑战第16天
|
3月前
|
人工智能 编解码 自然语言处理
AI文生图模型DALL·E 3
8月更文挑战第15天
|
3月前
|
机器学习/深度学习 人工智能 编解码
|
4月前
|
人工智能
AI绘画,Stable Diffusion如何使用中文简体包,黑色页面切换参数http://127.0.0.1:7860/?__theme=dark 两个__,中文包下载和安装
AI绘画,Stable Diffusion如何使用中文简体包,黑色页面切换参数http://127.0.0.1:7860/?__theme=dark 两个__,中文包下载和安装
|
6月前
|
机器学习/深度学习 自然语言处理
文生图模型-Stable Diffusion | AIGC
所谓的生成式模型就是通过文本或者随机采样的方式来得到一张图或者一段话的模型,比如文生图,顾名思义通过文本描述来生成图像的过程。当前流行的文生图模型,如DALE-2, midjourney以及今天要介绍的Stable Diffusion,这3种都是基于Diffusion扩散模型【1月更文挑战第6天】
834 0