Stable Diffusion——外挂VAE模型

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
云原生网关 MSE Higress,422元/月
注册配置 MSE Nacos/ZooKeeper,118元/月
简介: Stable Diffusion——外挂VAE模型

stablediffusion种的vae作用是什么?

Stable Diffusion 是一种基于变分自编码器(VAE)的深度学习模型,其作用主要是用于文本生成图像。

具体来说,VAE是一种生成模型,可以学习到数据的潜在表示空间,并将其用于生成新的数据样本。Stable Diffusion 的 VAE 模型在训练过程中会学习到一组潜在变量,这些潜在变量可以捕捉到图像中丰富的语义和结构信息。在生成新的图像时,VAE 可以将输入的文本表示转化为潜在变量,然后再从潜在表示空间中生成新的图像。这种基于文本生成的图像具有很高的稳定性和可复现性,因此得名“Stable Diffusion”。

总的来说,Stable Diffusion VAE 模型的作用是通过学习潜在表示空间,将文本表示转化为图像,从而实现高质量、稳定且可复现的文本生成图像任务。

我们平时主要应用的是:Vae-ft-mse-840000-ema-pruned. Safetensors 因为它是最能接近实际拍摄的效果的。

测试模型:

chilloutmix_NiPrunedFp32Fix.safetensors [fc2511737a]

测试AVE模型:

vae-ft-mse-560000-ema-pruned.safetensors

vae-ft-mse-840000-ema-pruned.safetensors

正向提示词:

1 girl,minneapolis \(wild huntress schoolgirl\) \(azur lane\),

反向提示词:

(semi-realistic, cgi, 3d, render, sketch, cartoon, drawing, anime:1.4),text,close up,cropped,out of frame,worst quality,low quality,jpeg artifacts,pgly,duplicate,morbid,mutilated,extra fingers,mutated hands,poorly drawn hands,poorly drawn face,mutation,deformed,blurry,dehydrated,bad anatomy,bad proportions,extra limbs,cloned face,disfigured,gross proportions,malformed limbs,missing arms,missing legs,extra arms,extra legs,fused fingers,too many fingers,long neck,

迭代步数:

20Steps

采样方法:

DPM++ 2M Karras

高度*宽度

512x512

随机种子

1993120101

vae-ft-mse-560000-ema-pruned.safetensors效果

vae-ft-mse-840000-ema-pruned.safetensors效果

560000与840000对比效果

两者的训练基数不同,更大的训练资源反馈的结果当然更好一些,所以我们可以默认选择使用比较高的版本,因为最接近实际的拍摄。

其它的vae

ClearVAE-NansLessTest.safetensors

madebyollin-sdxl-vae-fp16-fix.safetensors

对应的还有vae-ft-mse-840000-ema-pruned.ckpt版本。

相关实践学习
基于MSE实现微服务的全链路灰度
通过本场景的实验操作,您将了解并实现在线业务的微服务全链路灰度能力。
相关文章
|
7月前
|
机器学习/深度学习 自然语言处理
文生图模型-Stable Diffusion | AIGC
所谓的生成式模型就是通过文本或者随机采样的方式来得到一张图或者一段话的模型,比如文生图,顾名思义通过文本描述来生成图像的过程。当前流行的文生图模型,如DALE-2, midjourney以及今天要介绍的Stable Diffusion,这3种都是基于Diffusion扩散模型【1月更文挑战第6天】
882 0
|
人工智能 编解码
AI 绘画Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装(2)
AI 绘画Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装
341 0
|
人工智能 编解码 C++
AI 绘画Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装(1)
AI 绘画Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装
235 0
|
5月前
|
Python
Diffusion模型
Diffusion模型
|
6月前
|
弹性计算 运维 监控
函数计算产品使用问题之如何在阿里云端stable-diffusion训练lora
函数计算产品作为一种事件驱动的全托管计算服务,让用户能够专注于业务逻辑的编写,而无需关心底层服务器的管理与运维。你可以有效地利用函数计算产品来支撑各类应用场景,从简单的数据处理到复杂的业务逻辑,实现快速、高效、低成本的云上部署与运维。以下是一些关于使用函数计算产品的合集和要点,帮助你更好地理解和应用这一服务。
|
7月前
|
机器人 Linux Docker
【LLM】基于Stable-Diffusion模型构建可以生成图像的聊天机器人
【4月更文挑战第13天】基于Stable-Diffusion模型构建可以生成图像的聊天机器人
104 0
|
7月前
|
数据可视化 图形学 C++
【Stable Diffusion】——ipDESIGN3D_v20模型使用
【Stable Diffusion】——ipDESIGN3D_v20模型使用
65 0
|
7月前
|
传感器 自动驾驶 机器人
【Stable Diffusion】通过ControlNet修复手臂
【Stable Diffusion】通过ControlNet修复手臂
103 0
|
7月前
|
机器学习/深度学习 算法 安全
Stable Diffusion使用窍门
Stable Diffusion使用窍门
521 1
|
人工智能 文件存储 对象存储
Stable Diffusion 模型库,AIGC 画风任你选
Stable Diffusion(简称 SD)模型库包含写实、国漫、科技等几十种风格。可以让用户一键转存到自己的存储空间,而后直接挂载到 PAl 或 FC 下进行推理和训练。无需复杂漫长的下载和上传步骤,即可获得多种模型的使用体验,实现云上 AIGC 的快速搭建。
51808 22
Stable Diffusion 模型库,AIGC 画风任你选