Stable Diffusion——外挂VAE模型

简介: Stable Diffusion——外挂VAE模型

stablediffusion种的vae作用是什么?

Stable Diffusion 是一种基于变分自编码器(VAE)的深度学习模型,其作用主要是用于文本生成图像。

具体来说,VAE是一种生成模型,可以学习到数据的潜在表示空间,并将其用于生成新的数据样本。Stable Diffusion 的 VAE 模型在训练过程中会学习到一组潜在变量,这些潜在变量可以捕捉到图像中丰富的语义和结构信息。在生成新的图像时,VAE 可以将输入的文本表示转化为潜在变量,然后再从潜在表示空间中生成新的图像。这种基于文本生成的图像具有很高的稳定性和可复现性,因此得名“Stable Diffusion”。

总的来说,Stable Diffusion VAE 模型的作用是通过学习潜在表示空间,将文本表示转化为图像,从而实现高质量、稳定且可复现的文本生成图像任务。

我们平时主要应用的是:Vae-ft-mse-840000-ema-pruned. Safetensors 因为它是最能接近实际拍摄的效果的。

测试模型:

chilloutmix_NiPrunedFp32Fix.safetensors [fc2511737a]

测试AVE模型:

vae-ft-mse-560000-ema-pruned.safetensors

vae-ft-mse-840000-ema-pruned.safetensors

正向提示词:

1 girl,minneapolis \(wild huntress schoolgirl\) \(azur lane\),

反向提示词:

(semi-realistic, cgi, 3d, render, sketch, cartoon, drawing, anime:1.4),text,close up,cropped,out of frame,worst quality,low quality,jpeg artifacts,pgly,duplicate,morbid,mutilated,extra fingers,mutated hands,poorly drawn hands,poorly drawn face,mutation,deformed,blurry,dehydrated,bad anatomy,bad proportions,extra limbs,cloned face,disfigured,gross proportions,malformed limbs,missing arms,missing legs,extra arms,extra legs,fused fingers,too many fingers,long neck,

迭代步数:

20Steps

采样方法:

DPM++ 2M Karras

高度*宽度

512x512

随机种子

1993120101

vae-ft-mse-560000-ema-pruned.safetensors效果

vae-ft-mse-840000-ema-pruned.safetensors效果

560000与840000对比效果

两者的训练基数不同,更大的训练资源反馈的结果当然更好一些,所以我们可以默认选择使用比较高的版本,因为最接近实际的拍摄。

其它的vae

ClearVAE-NansLessTest.safetensors

madebyollin-sdxl-vae-fp16-fix.safetensors

对应的还有vae-ft-mse-840000-ema-pruned.ckpt版本。

相关文章
|
安全 程序员 编译器
Python有多少个版本?不同Python版本之间有什么区别?我应该选择哪一个?
Python有多少个版本?不同Python版本之间有什么区别?我应该选择哪一个?
6071 0
Python有多少个版本?不同Python版本之间有什么区别?我应该选择哪一个?
|
人工智能 编解码
AI 绘画Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装(2)
AI 绘画Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装
1467 0
|
并行计算 Docker 容器
Mamba 环境安装:causal-conv1d和mamba-ssm报错解决办法
Mamba 环境安装:causal-conv1d和mamba-ssm报错解决办法
6906 0
|
7月前
|
人工智能 搜索推荐 机器人
打造你的赛博女友/男友 —— AstrBot 完全指南
AstrBot 是开源全能AI聊天机器人框架,支持本地部署、多平台(微信/QQ等)、大模型接入及深度定制。主打极致隐私、人格化陪伴、情感亲密度与Agent能力,助你打造专属赛博伴侣。
6788 3
|
编解码 人工智能 Linux
SD中的VAE,你不能不懂
要想生成一幅美丽的图片,没有VAE可不行
SD中的VAE,你不能不懂
|
人工智能 Serverless API
AI 绘画平台难开发,难变现?试试 Stable Diffusion API Serverless 版解决方案
AI 绘画平台难开发,难变现?试试 Stable Diffusion API Serverless 版解决方案
|
存储 前端开发 JavaScript
使用JavaScript实现复杂功能——一个交互式音乐播放器
使用JavaScript实现复杂功能——一个交互式音乐播放器
|
编解码 图形学 开发者
【unity小技巧】使用三种方式实现瞄准瞄具放大变焦效果
【unity小技巧】使用三种方式实现瞄准瞄具放大变焦效果
1499 0
|
设计模式 JSON 数据可视化
如何设计一个灵活的审批流程
如何设计一个灵活的审批流程
1434 0