AI 绘画Stable Diffusion 研究(四)sd文生图功能详解(上)

简介: AI 绘画Stable Diffusion 研究(四)sd文生图功能详解(上)

大家好,我是风雨无阻。


通过前面几篇AI 绘画Stable Diffusion 研究系列的介绍,我们完成了Stable Diffusion整合包的安装、模型ControlNet1.1 安装、模型种类介绍与安装,相信看过教程的朋友们,手上已经有可以操作实践的Stable Diffusion 环境了。


那么本篇文章将给大家带来 Stable Diffusion 最重要也是使用最多的文生图功能介绍,由于内容比较多,这里会分成上、下两篇文章进行介绍。


今天为大家带来的是 AI 绘画Stable Diffusion 研究(四)sd文生图功能详解(上)。


大家进入到web ui 页面后,首先看到的是下面这个界面。



上图一目了然的标注了文生图界面大致的功能。

接下来,就详细讲解一下每个功能的使用方法和注意事项。


1、模型选择区域

模型对于 SD 绘图来说非常重要,不同的模型类型、质量会很大程度的决定最终的出图效果。


2、功能栏

包括了常见的 文生图、图生图、后期处理等常用功能。不同的功能页面也不同,在这里,我们先针对经常使用的文生图模块页面来进行讲解。


3、正向提示词

正向提示词prompt &tag**: 如果大家使用过 ChatGPT 就应该知道 Prompt 是什么。说的直白点就是我们想让 SD 帮忙生成什么样的图的描述,比如角色或场景等,**需要使用英文进行描述


正向Prompt &Tag 改善画质用的 Tag ,适用于二次元风格,可以考虑搭配不同的模型使用:

(masterpiece:1.2), best quality, masterpiece, highres, original, extremely detailed wallpaper.oerfect lighting,(extremely detailed CG:1.2), drawing, paintbrush


4、反向提示词

反向提示词 Prompt&Tag : 就是告诉SD 生成图里 ,不想出现的内容, 需要使用英文进行描述。


通用反面 Tag,保底不出古神用的 Tag,适用于二次元风格,可以考虑搭配不同的模型使用:

NSFW, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality,(monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, (ugly:1.331),duplicate:1.331), (morbid:1.21), (mutilated:1.21), (tranny:l.331), mutated hands, (poorly drawnands:1.5), blurry, (bad anatomy:1.21), (bad proportions:1.331), extra limbs, (disfigured:1.331),missing arms:1.331), (extra legs:1.331), (fused fingers:1.61051), (too many fingers:1.61051),unclear eyes:1.331), lowers, bad hands, missing fingers, extra digit,bad hands, missing fingers.((extra arms and legs)))


5、生成按钮

调整完其他设置后,点击生成,开始生成图片,也可以不做调整。


6、采样迭代步数

AI 绘画的过程是将纯噪点图,变为高清图的一个过程,采样迭代步数,就是这个过程需要的步数,随着步数的增加,图片的细节也不断增多。


采样迭代步数不能设置太小,也不能设置太大。设置太小,图片效果就不好;设置太大, 生成图花的时间就越长,如果超过40 步以后,那么画面的变化是基本看不出来。


采样迭代步数,推荐 20-30 之间,通常28是一个不错的值。


7、采样方法

采用什么样的绘画方式算法,以及“画多少笔” 来绘图,一定程度上决定出图的质量。

以下是 每个采样方法,对应生成步数的效果。


如图:





综合以上参考,根据出图质量、采样步数的对比,对于新手朋友来说 推荐无脑使用:DPM adaptive 采样方法。


8、出图显示区域

9、出图大小

出图大小 :默认 512**512 像素 ,因为模型训练时,都是使用这个尺寸,因此效果最好,所以一般保持默认即可,当然如果要出 3:2 的图,也可以设置为: 512* 768 , 768*512 。

根据自己的需要进行调整,也可以不用调整。出图越大,对于显卡要求越高。


10、出图数量

出图数量=总批次数x每批数量。

每批的数量越多:需要的显存越大。

总批次越多:根据实际经验,生成的图片质量要好一些,但是花的时间越长。

可根据自己的需求和电脑配置进行选择。


11、出图存储目录

可以查找历史出图


12、随机种子

模仿别人的图,需要进行调整,一般不用调整。


13、面部修复

面部修复,首先需要在设置中,按如下选项进行设置 :



然后依次点击:保存设置,重载前端,让其生效:


14、高分辨率修复

因为我们出图是512*512, 如果要放大,比如1024x1024 ,就需要勾选高分辨率修复功能。


A、放大算法选择推荐

真实风格推荐选择:R-ESRGAN 4x+


动漫风格推荐选择:R-ESRGAN 4x+ Anim


B、放大倍数

根据电脑配置进行选择

显卡显存高 选择 2-3倍

显卡显存不高,选择1.5-2倍


15、提示词引导系数(CFD Scale):

提示词引导系数,是控制提示词与生成的图像相关性 ,可以理解为 “越小AI越自由发挥” ,一般推荐数值为5-15之间,默认为 7 。

如果数值太大,会出现锐化、线条变粗的效果;

如果太小AI就自由发挥了,不看 Tag, 同时图像的饱和度也会偏低。


参考以下对比图:



16、随机种子:

随机种子是生成过程中所有随机性的源头, 每个种子都是一幅不一样的画。

默认的 -1 是代表每次都换一个随机种子,生成的每张图就不同。由随机种子,生成了随机的噪声图,再交给AI进行画出来。

使用固定的随机种子 ,可控制生成图与之前的图更相似。


17、保存

针对部署到本地的,意义不大。

如果针对部署到服务器上的,点击保存后,就可以下载。


18、打包下载

生成多张图的时候,图片会打包到压缩包内,就可以下载,本地基本用不到。


19、发送到图生图、发送到重绘、发送到后期处理,这三个功能,这里就先不做介绍。后边介绍图生图功能的时候再做详细说明。


20、图标功能介绍


图标1: 箭头 从提示词或上次生成的图片中,读取生成参数。

图标2: 清空提示词

图标3: 快捷显示隐藏扩展模型

图标4: 预设样式,保存反向提示词。


21、Tag 加权、减权用法简单说明

大家可能会经常看到别人发的 Tag 里面会有一些符号?比如大小括号等等。这些属于进阶用法,这里仅仅简单提及一下。

这里以 Tree 这个 Tag 作为例子进行说明。

(Tree) : 加权重,这是1.1倍。

((Tree)) :括号叠加,这是 1.1*1.1=1.21倍。

[Tree] :减权重,一般用的少。减权重也一般就用下面的指定倍数。

(Tree:1.5) 指定倍数,这里是1.5倍的权重,还可以 (Tree:0.9) 达到减权重的效果。


好了,今天的内容就到这里,下一篇将给大家详细讲解提示词的规则和写作技巧,敬请期待!



相关文章
|
机器学习/深度学习 人工智能 算法
Stable Virtual Camera:2D秒变3D电影!Stability AI黑科技解锁无限运镜,自定义轨迹一键生成
Stable Virtual Camera 是 Stability AI 推出的 AI 模型,能够将 2D 图像转换为具有真实深度和透视感的 3D 视频,支持自定义相机轨迹和多种动态路径,生成高质量且时间平滑的视频。
1308 0
Stable Virtual Camera:2D秒变3D电影!Stability AI黑科技解锁无限运镜,自定义轨迹一键生成
|
编解码 物联网 API
"揭秘SD文生图的神秘面纱:从选择模型到生成图像,一键解锁你的创意图像世界,你敢来挑战吗?"
【10月更文挑战第14天】Stable Diffusion(SD)文生图功能让用户通过文字描述生成复杂图像。过程包括:选择合适的SD模型(如二次元、2.5D、写实等),编写精准的提示词(正向和反向提示词),设置参数(迭代步数、采样方法、分辨率等),并调用API生成图像。示例代码展示了如何使用Python实现这一过程。
990 4
|
人工智能 Serverless
AI助理精准匹配------助力快速搭建Stable Difussion图像生成应用
【10月更文挑战第7天】过去在阿里云社区搭建Stable Diffusion图像生成应用需查阅在线实验室或官方文档,耗时且不便。现阿里云AI助理提供精准匹配服务,直接在首页询问AI助理即可获取详细部署步骤,简化了操作流程,提高了效率。用户可按AI助理提供的步骤快速完成应用创建、参数设置、应用部署及资源释放等操作,轻松体验Stable Diffusion图像生成功能。
|
数据采集 机器学习/深度学习 人工智能
Datawhale AI夏令营第四期魔搭-AIGC文生图方向Task1笔记
这段内容介绍了一个使用Stable Diffusion与LoRA技术创建定制化二次元图像生成模型的全流程。首先,通过安装必要的软件包如Data-Juicer和DiffSynth-Studio准备开发环境。接着,下载并处理二次元图像数据集,利用Data-Juicer进行数据清洗和筛选,确保图像质量和尺寸的一致性。随后,训练一个针对二次元风格优化的LoRA模型,并调整参数以控制模型复杂度。完成训练后,加载模型并通过精心设计的提示词(prompt)生成一系列高质量的二次元图像,展示模型对细节和艺术风格的理解与再现能力。整个过程展示了从数据准备到模型训练及结果生成的完整步骤,为定制化图像提供了方向。
|
人工智能 Serverless
AI助理精准匹配,为您推荐方案——如何添加一个Stable Difussion图像生成应用
介绍了一种利用AI助手快速获取并搭建Stable Diffusion图像生成应用的方法。用户只需在阿里云官网向AI助手提出需求,即可获得详细的实施方案。随后,按照AI助手提供的方案,通过函数计算部署应用,并进行测试。此过程显著提升了开发效率。
1270 2
AI助理精准匹配,为您推荐方案——如何添加一个Stable Difussion图像生成应用
|
机器学习/深度学习 人工智能 编解码
深入探索AI文生语音技术的奥秘:从文本输入到逼真语音输出的全链条语音合成过程解析
【9月更文挑战第2天】深入探索AI文生语音技术的奥秘:从文本输入到逼真语音输出的全链条语音合成过程解析
 深入探索AI文生语音技术的奥秘:从文本输入到逼真语音输出的全链条语音合成过程解析
|
存储 人工智能 Serverless
搭建文生图AI系统
随着人工智能的发展,**文本生成图像(文生图)**技术在广告创意、视觉设计、内容营销等领域应用广泛。阿里云通义千问作为先进的大语言模型,不仅具备强大的文本理解能力,还能与图像生成技术结合,实现根据文本描述自动生成高质量图像。 本博客将展示如何使用通义千问与阿里云的其他产品(如函数计算、API 网关、对象存储 OSS)搭建一个简单的文生图系统,实现用户输入文本并生成相应图像的功能。
1430 6
|
人工智能
在stable diffussion中完美修复AI图片
无论您的提示和模型有多好,一次性获得完美图像的情况很少见。修复小缺陷的不可或缺的方法是图像修复(inpainting)
在stable diffussion中完美修复AI图片
|
人工智能 自然语言处理 安全
【通义】AI视界|Adobe推出文生视频AI模型,迎战OpenAI和Meta
本文精选了过去24小时内的重要科技新闻,包括微软人工智能副总裁跳槽至OpenAI、Adobe推出文本生成视频的AI模型、Meta取消高端头显转而开发超轻量设备、谷歌与核能公司合作为数据中心供电,以及英伟达股价创下新高,市值接近3.4万亿美元。这些动态展示了科技行业的快速发展和激烈竞争。点击链接或扫描二维码获取更多资讯。
|
人工智能
添加一个Stable Difussion图像生成应用,通过向AI助手简单的提问,即可快速搭建Stable Diffusion应用至自己的网站中,大幅提升开发效率。
添加一个Stable Difussion图像生成应用,通过向AI助手简单的提问,即可快速搭建Stable Diffusion应用至自己的网站中,大幅提升开发效率。