最新版本 Stable Diffusion 开源 AI 绘画工具之图生图进阶篇

简介: 学好图生图,AI 即将取代打工人

🎈 图生图基本参数

  • 图生图功能主要包括六大类:图生图 / img2img涂鸦绘制 / sketch局部绘制 / inpaint局部绘制之涂鸦蒙版 / inpaint sketch局部绘制之上传蒙版 / inpaint upload批量处理 / batch
  • 而图生图的基本参数包括但不限于以下几种:
  • Resize mode:缩放模式,包括 拉伸/Just resize裁剪/crop and resize填充/resize and fill仅调整大小(潜空间放大/just resize (latent ipscale) ,缩放模式指的是当原图和要生成的图的宽和高不一致的时候,选择的缩放模式,一般选择裁剪,如果原图和生成图的宽高一致的时候,选择任意均可
  • Mask blur:蒙版模糊度,在 0-64 之间调节,就是将我们涂抹区域,从边缘向中间透明过渡。数值较小的时候,边缘越锐利,所以一个合适的值会让图片看起来更真实,数值一般默认即可
  • Masked content:蒙版蒙住的内容,包括 填充/fill原图/original潜在噪声/latent noise无潜在空间/latent nothing。这是一种预处理的步骤,其中填充是指使用蒙版边缘图像的颜色填充,不过颜色已经被高度模糊;原图则是同原图一样不改变任何细节;而潜在噪声则是使用噪点进行填充;而无潜在空间就是噪点值为0的状态,可以看到只有原图保留了原来的画面,所以一般选择原图即可
  • Mask transparency:蒙版的透明度,一般默认为0,即不透明,因为透明度越高,AI发挥的空间越小,基本上当透明度大于60,预处理就会失去作用
  • Mask mode:蒙版模式,包括 绘制蒙版内容/inpaint masked绘制非蒙版内容/inpaint not masked,这个很好理解,选择第一个就是只在蒙版区域重绘,另一种则相反,正常一般默认第一个即可
  • Inpaint area:绘制区域,包括 全图/whole picture仅蒙版/only masked。全图重绘是指在原图大小的基础下绘制蒙版区域,优点就是内容与原图融合的更好,缺点是不够细节;而蒙版重绘是只处理的时候将蒙版区域进行放大到原图的尺寸,画完之后再缩小放到原图的相应的位置,优点就是细节更好,缺点也是细节太多,与原图融合的不够好
  • Denoising strength:重绘强度,默认0.75,低强度就是基本不重绘,越高重绘越强,融合越不好,所以默认即可
  • 虽然图生图的参数比较多,但大多数的时候,我们选择默认即可,因为很多时候,只需要正确的选择而非过多的选择,个人也仅仅设置一下缩放模式、采样器、采样步骤和宽高进行出图

0.png


🎈 图生图(img2img)

  • 可以根据你上传的图片生成一张在原图基础上创作的新图片
  • 可以通过修改 Prompt 去自定义想要的结果图片,比如白色头发,红色眼睛等等

1.png


🎈 涂鸦绘制(Sketch)

  • 在原图基础上涂鸦后,进行二次创作,这是最基础的用法,当然也可以进行线稿的上色
  • 模型要选择好,如果想要生成二次元的,记得选择二次元模型,下图测试选择的是真人模型
  • 在进行线稿上色的时候,设置 缩放模式为裁剪 ▶ 采样器是 DPM++ 2M Karras ▶ 采样步骤设置的是30 ▶ 脚本 Script 中选择是图像迭代 Loopback ▶ 迭代次数设置成多少生成的图片就是多少张,一般设置2-4,防止显卡撑不住 ▶ 最终的重绘强度 Final denoising strenght 设置成了 0.88 ▶ 重绘曲线选择 Linear ▶ 迭代中反推提示词选择 DeepBooru,生成的最终图片效果还是很棒的

2.png


🎈 局部绘制(Inpaint)

  • 在局部绘制中,我们只需要将需要重绘的地方圈出来,然后加上 Prompt 提示词即可
  • 其中蒙版的黑色画笔并不是一种真的颜色,它是一片代表透明(不可见)属性的区域
  • 比如,将图片中的女生头发换成一头白发,只需要将图片上的头发区域涂上蒙版,然后在 Prompt 中输入 white hair 提示词即可
  • 当然这里只作为测试,如果想要更好的效果,自己设置更多的 Prompt 进行描述,除了头发,其他任何区域都可以进行重绘

3.png


🎈 涂鸦蒙版(Inpaint sketch)

  • 相比于局部重绘,多了一个蒙版透明度的配置,这是因为这里的蒙版是可以自定义颜色的
  • 在局部绘制中画笔只有黑色,而在涂鸦蒙版中蒙版的颜色会影响到原图,选择什么颜色最终重绘都会往这个颜色上靠
  • 蒙版透明度按照需要颜色的程度调节,最好不要超过40
  • 比如将动漫女生衣服换成红色的旗袍,只需要将衣服用红色的画笔涂抹,然后在 Prompt 中输入中国旗袍的英文解释即可,因为涂鸦蒙版的颜色是会影响到原图的,所以如果是用蓝色涂抹衣服,最终将会生成蓝色的旗袍

4.png


🎈 上传蒙版(Inpaint upload)

  • 跟涂鸦蒙版其实差不多,只是上传的蒙版需要借助其他工具如PS的处理,相比直接手涂肯定是更精确
  • 上传蒙版的蒙版在制作时可以设置部分透明的效果(不同程度的灰),还有边缘的羽化等等。此时需要注意具有相同效果的蒙版模糊的使用
    需要注意的一点是,在上传蒙版中,白色代表重绘,黑色代表不处理。也不用细分,如果弄错了,在蒙版模式中选择重绘非蒙版就可以
  • 为了方便测试,就将图片放到涂鸦蒙版中,用黑白两色把原图进行圈出,截图上传到上传蒙版中了,顺便加了 Prompt 的参数是天空、建筑物、人物等,可以看出 AI 只在白色区域进行了重绘,而圈出的黑色是没有重绘的
  • 还有最后一个批量处理功能,用的不多,也不用讲太细,只要输入图片所在目录路径、图片处理后保存的路径以及蒙版路劲即可批量处理

5.png

相关文章
|
9天前
|
人工智能 自然语言处理 IDE
6 款 AI 工具,助力写出更优质代码
6 款 AI 工具,助力写出更优质代码
116 3
6 款 AI 工具,助力写出更优质代码
|
6天前
|
人工智能 Linux iOS开发
exo:22.1K Star!一个能让任何人利用日常设备构建AI集群的强大工具,组成一个虚拟GPU在多台设备上并行运行模型
exo 是一款由 exo labs 维护的开源项目,能够让你利用家中的日常设备(如 iPhone、iPad、Android、Mac 和 Linux)构建强大的 AI 集群,支持多种大模型和分布式推理。
219 100
|
3天前
|
人工智能 自然语言处理 数据可视化
Data Formulator:微软开源的数据可视化 AI 工具,通过自然语言交互快速创建复杂的数据图表
Data Formulator 是微软研究院推出的开源 AI 数据可视化工具,结合图形化界面和自然语言输入,帮助用户快速创建复杂的可视化图表。
140 9
Data Formulator:微软开源的数据可视化 AI 工具,通过自然语言交互快速创建复杂的数据图表
|
10天前
|
人工智能 自然语言处理 API
OpenDeepResearcher:开源 AI 研究工具,自动完成搜索、评估、提取和生成报告
OpenDeepResearcher 是一款开源 AI 研究工具,支持异步处理、去重功能和 LLM 驱动的决策,帮助用户高效完成复杂的信息查询和分析任务。
146 18
OpenDeepResearcher:开源 AI 研究工具,自动完成搜索、评估、提取和生成报告
|
20天前
|
人工智能 自然语言处理 语音技术
FilmAgent:多智能体共同协作制作电影,哈工大联合清华推出 AI 驱动的自动化电影制作工具
FilmAgent 是由哈工大与清华联合推出的AI电影自动化制作工具,通过多智能体协作实现从剧本生成到虚拟拍摄的全流程自动化。
211 10
FilmAgent:多智能体共同协作制作电影,哈工大联合清华推出 AI 驱动的自动化电影制作工具
|
8天前
|
人工智能 安全 开发工具
Repomix:8.1K Star!轻松将整个代码库打包为AI友好格式的开源工具,使代码库更易于AI理解
Repomix 是一款强大的工具,能够将整个代码库打包成AI友好的单个文件,支持多种输出格式和安全检查。
60 9
|
12天前
|
人工智能 安全 数据库
AiCodeAudit-基于Ai大模型的自动代码审计工具
本文介绍了基于OpenAI大模型的自动化代码安全审计工具AiCodeAudit,通过图结构构建项目依赖关系,提高代码审计准确性。文章涵盖概要、整体架构流程、技术名词解释及效果演示,详细说明了工具的工作原理和使用方法。未来,AI大模型有望成为代码审计的重要工具,助力软件安全。项目地址:[GitHub](https://github.com/xy200303/AiCodeAudit)。
|
9月前
|
机器学习/深度学习 自然语言处理
文生图模型-Stable Diffusion | AIGC
所谓的生成式模型就是通过文本或者随机采样的方式来得到一张图或者一段话的模型,比如文生图,顾名思义通过文本描述来生成图像的过程。当前流行的文生图模型,如DALE-2, midjourney以及今天要介绍的Stable Diffusion,这3种都是基于Diffusion扩散模型【1月更文挑战第6天】
964 0
|
9月前
|
人工智能 开发工具 git
【AI绘画】Stable Diffusion 客户端搭建
【AI绘画】Stable Diffusion 客户端搭建
209 0
【AI绘画】Stable Diffusion 客户端搭建
|
人工智能 物联网
AI 绘画Stable Diffusion 研究(十七)SD lora 详解(上)
AI 绘画Stable Diffusion 研究(十七)SD lora 详解(上)
1585 0