在stable diffussion中完美修复AI图片

简介: 无论您的提示和模型有多好,一次性获得完美图像的情况很少见。修复小缺陷的不可或缺的方法是图像修复(inpainting)

无论您的提示和模型有多好,一次性获得完美图像的情况很少见。

修复小缺陷的不可或缺的方法是图像修复(inpainting)。在这篇文章中,我将通过一些基本示例来介绍如何使用图像修复来修复缺陷。

需要的软件

我们将使用 AUTOMATIC1111 Stable Diffusion GUI 来创建图像。

基本的图像修复设置

在这一部分,我将逐步展示如何使用图像修复来修复小缺陷。

我们先使用下面的提示来创建一张图片:

正向提示词:

masterpiece,best quality,masterpiece,best quality,official art,extremely detailed CG unity 8k wallpaper,a beautiful woman,full body,

负向提示词:

lowers,monochrome,grayscales,skin spots,acnes,skin blemishes,age spot,6 more fingers on one hand,deformity,bad legs,error legs,bad feet,malformed limbs,extra limbs,

我们可以得到下面的图片:

image-20240703201556791

虽然这张图片整体上看起来还不错,但是还是有一些问题。

比如脸部和手部。

那么接下来我们怎么修复呢?

选择对应的模型

如果你经常浏览C站的话,你可以看到对于有些模型会有一种专门给重绘使用的模型,这种模型是专门为图像修复而训练的Stable Diffusion模型。

如果您想获得最佳结果,可以使用它。但通常,使用生成图像的相同模型进行图像修复也是可以的。

我们把对应的模型下载下来,并将其放入文件夹中:

stable-diffusion-webui/models/Stable-diffusion

在AUTOMATIC1111中,点击左上角检查点选择下拉框旁边的刷新图标,就可以看到你刚刚下载的模型了。

创建图像修复遮罩

在AUTOMATIC1111 GUI中,选择img2img标签并选择Inpaint子标签。将图像上传到图像修复画布。

或者在txt2img标签中选择send img to inpaint。

我们将同时修复手部和脸部。使用画笔工具创建一个遮罩。这是您希望Stable Diffusion重新生成图像的区域。

image-20240703202118650

图像修复的设置

图像大小

需要调整图像大小以与原始图像相同。(在这种情况下为768 x 512)。

image-20240703202219551

面部修复

如果您正在修复面部,可以打开restore faces。选择对应的face restoration model:CodeFormer。

image-20240703202529557

有朋友会问了,为什么我的页面上面没有restore faces选项呢?

如果你没有这个选项的话,需要到setttings里面的user interface添加下面的两个设置:

image-20240703202501548

请注意,此选项可能会生成不自然的外观。它也可能生成与模型风格不一致的内容。

遮罩内容

下一个重要设置是Masked Content。

如果您希望结果由原始内容的颜色和形状引导,请选择original。

original通常用于面部图像修复,因为一般形状和解剖结构是正确的。我们只是希望它看起来有点不同。

在大多数情况下,您将使用original并更改去噪强度以实现不同的效果。

如果您想要从原始图像中完全重新生成某些内容,例如移除一个肢体或隐藏一只手,可以使用latent noise或latent nothing。

这些选项使用与原始图像不同的内容初始化遮罩区域。它将产生完全不同的东西。

去噪强度

去噪强度控制与原始图像相比将进行多少变化。当您将其设置为0时,什么都不会改变。当您将其设置为1时,您将获得一个不相关的图像。0.75通常是一个很好的起点。如果您想要更少的变化,请降低它。

批量大小

确保一次生成一些图像,以便您可以选择最好的。将种子设置为-1,以便每个图像都不同。

图像修复结果

以下是一些修复后的图像。

image-20240703204340543

可以看到第四张还是不错的,但是还不够完美。所以我们可以考虑再来一轮修复。

再进行一轮图像修复

把上面生成的最后一张图片再发到inpait中再次修复。

我们可以得到下面的结果:

image-20240703204936210

图像修复是一个迭代过程。您可以根据需要多次应用它来细化图像。

如果一次不行的话,我们可以考虑多来几次。

添加新对象

有时,您可能希望在图像中添加一些新东西。

让我们尝试在图片中添加一把剑。

首先,将图像上传到图像修复画布并在手部的位置添加遮罩。

在原始提示的开头添加“holding a sword”。图像修复的提示是

(holding a sword:1.5),masterpiece,best quality,masterpiece,best quality,official art,extremely detailed CG unity 8k wallpaper,a beautiful woman,full body,

向原始提示中添加新对象确保风格一致。您可以调整关键词权重(上面的1.5)以使宝剑显示。

将遮罩内容设置为潜在噪声。

调整去噪强度和CFG比例以微调修复后的图像。

经过一些实验,我们的任务完成了:

image-20240703210315083

图像修复参数的解释

去噪强度

去噪强度控制最终图像和原始内容的相似度。将其设置为0则什么都不会改变。将其设置为1,则您会得到一个不相关的图像。

如果您想要小的变化,请设置为低值;如果您想要大的变化,请设置为高值。

CFG scale

类似于在文本到图像中的使用,CFG scale是一个参数,用于控制模型和你的提示词的关联度。

1 – 大致忽略您的提示。

3 – 更有创造力。

7 – 在遵循提示和自由之间取得良好的平衡。

15 – 更多地遵循提示。

30 – 严格遵循提示。

遮罩内容

遮罩内容控制遮罩区域是如何初始化的。

fill:用原始图像的高度模糊版本初始化。

Original:未修改。

latent noise:遮罩区域用填充初始化,并在潜在空间中添加随机噪声。

latent nothing:像潜在噪声,只是没有在潜在空间中添加噪声。

图像修复的技巧

成功的图像修复需要耐心和技巧。以下是使用图像修复的一些要点:

  • 一次修复一个小区域。
    • 尝试不同的遮罩内容以查看哪个最有效。
    • 可以多次尝试修复。
    • 如果在AUTOMATIC1111的设置中什么都不起作用,请使用像Photoshop或GIMP这样的图像编辑软件,用您想要的大致形状和颜色绘制感兴趣的区域。上传那张图像并用原始内容进行图像修复。
相关文章
|
12月前
|
人工智能 监控 算法
人群计数、行人检测数据集(9000张图片已划分、已标注) | AI训练适用于目标检测任务
本数据集包含9000张已标注、已划分的行人图像,适用于人群计数与目标检测任务。支持YOLO等主流框架,涵盖街道、商场等多种场景,标注精准,结构清晰,助力AI开发者快速训练高精度模型,应用于智慧安防、人流统计等场景。
人群计数、行人检测数据集(9000张图片已划分、已标注) | AI训练适用于目标检测任务
|
机器学习/深度学习 人工智能 算法
Stable Virtual Camera:2D秒变3D电影!Stability AI黑科技解锁无限运镜,自定义轨迹一键生成
Stable Virtual Camera 是 Stability AI 推出的 AI 模型,能够将 2D 图像转换为具有真实深度和透视感的 3D 视频,支持自定义相机轨迹和多种动态路径,生成高质量且时间平滑的视频。
1308 0
Stable Virtual Camera:2D秒变3D电影!Stability AI黑科技解锁无限运镜,自定义轨迹一键生成
|
12月前
|
机器学习/深度学习 人工智能 算法
用于实验室智能识别的目标检测数据集(2500张图片已划分、已标注) | AI训练适用于目标检测任务
本数据集包含2500张已标注实验室设备图片,涵盖空调、灭火器、显示器等10类常见设备,适用于YOLO等目标检测模型训练。数据多样、标注规范,支持智能巡检、设备管理与科研教学,助力AI赋能智慧实验室建设。
用于实验室智能识别的目标检测数据集(2500张图片已划分、已标注) | AI训练适用于目标检测任务
|
12月前
|
机器学习/深度学习 人工智能 监控
面向智慧牧场的牛行为识别数据集(5000张图片已划分、已标注) | AI训练适用于目标检测任务
本数据集包含5000张已标注牛行为图片,涵盖卧、站立、行走三类,适用于YOLO等目标检测模型训练。数据划分清晰,标注规范,场景多样,助力智慧牧场、健康监测与AI科研。
面向智慧牧场的牛行为识别数据集(5000张图片已划分、已标注) | AI训练适用于目标检测任务
|
存储 人工智能 开发工具
AI助理化繁为简,速取代码参数——使用python SDK 处理OSS存储的图片
只需要通过向AI助理提问的方式输入您的需求,即可瞬间获得核心流程代码及参数,缩短学习路径、提升开发效率。
2020 5
AI助理化繁为简,速取代码参数——使用python SDK 处理OSS存储的图片
|
机器学习/深度学习 人工智能 自动驾驶
交通标识与信号灯数据集(1000张图片已划分、已标注)| AI训练适用于目标检测任务
在智能驾驶与智慧交通的研究中,交通标识与信号灯识别 是最基础且最关键的任务之一。为了方便研究人员和开发者快速上手目标检测模型训练,本数据集提供了 1000张交通场景图片,并且已经按照目标检测任务的需求完成了 数据标注与划分。该数据集可直接应用于 YOLO、Faster R-CNN、SSD 等深度学习模型的训练与测试。
交通标识与信号灯数据集(1000张图片已划分、已标注)| AI训练适用于目标检测任务
|
人工智能 Serverless
AI助理精准匹配------助力快速搭建Stable Difussion图像生成应用
【10月更文挑战第7天】过去在阿里云社区搭建Stable Diffusion图像生成应用需查阅在线实验室或官方文档,耗时且不便。现阿里云AI助理提供精准匹配服务,直接在首页询问AI助理即可获取详细部署步骤,简化了操作流程,提高了效率。用户可按AI助理提供的步骤快速完成应用创建、参数设置、应用部署及资源释放等操作,轻松体验Stable Diffusion图像生成功能。
|
12月前
|
人工智能 编解码 搜索推荐
AI智能换背景,助力电商图片营销升级
电商产品图换背景是提升销量与品牌形象的关键。传统抠图耗时费力,AI技术则实现一键智能换背景,高效精准。本文详解燕雀光年AI全能设计、Canva、Remove.bg等十大AI工具,涵盖功能特点与选型建议,助力商家快速打造高质量、高吸引力的商品图,提升转化率与品牌价值。(238字)
1025 0
|
机器学习/深度学习 人工智能 编解码
AI虫子种类识别数据集(近3000张图片已划分、已标注)|适用于YOLO系列深度学习分类检测任务【数据集分享】
本数据集包含近3000张已划分、标注的虫子图像,适用于YOLO系列模型的目标检测与分类任务。涵盖7类常见虫子,标注采用YOLO格式,结构清晰,适合农业智能化、小样本学习及边缘部署研究。数据来源多样,标注精准,助力AI虫害识别落地应用。