1、先看效果
2、环境搭建
1.安装control_sd15_canny模型
!wget https://huggingface.co/lllyasviel/ControlNet/resolve/main/models/control_sd15_canny.pth -O /content/stable-diffusion-webui/extensions/sd-webui-controlnet/models/control_sd15_canny.pth
3、操作步骤汇总
1.基于原图+prompt生成第一版
2.把第一版的结果作为新的原图进行细节微调，生成第二版
3.把第二版的结果作为新的原图进行细节微调，生成最终结果
通过以上三步完成想要的结果（如果过程不理想可能还需要增加更多步骤）
4、详细操作步骤
4.1、基于原图+prompt生成第一版
参数如下：
Studying girl, best quality, ultra high res, (photorealistic:1.4), stack of books and brown flower pot on table, orange cat on white window ledge Negative prompt: paintings, sketches, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, glans Steps: 28, Sampler: DPM++ SDE Karras, CFG scale: 8, Seed: 3242059520, Size: 1024x560, Model hash: fc2511737a, Model: chilloutmix_NiPrunedFp32Fix, Denoising strength: 0.45
这一步的作用是通过img2img生成图片的整体风格、人、物、关系等主要元素，这里生成的结果一定不是完美的（基本接近了），没关系，这一步就会把90%的图片内容生成了，剩下的10%，我们要调整细节，为了可以快速选出生成质量优秀的图，这里可以把Batch size 调大一点，这样一次可以出来多张图，在里面选一个最优的即可。
效果如下：
Denoising 不能设置的太高，否则就以提示词为准了，与原图有较大差异，我设置的是0.45
我们选一张比较好的保存下来，用于微调，比如这个基本接近原图了，但是右手和左手看着有点“残疾”，需要进行局部微调
我的办法是每次重绘一个地方，左右手分两次重绘（如果两处同时重绘且同时绘制完美的概率低）
4.2、把第一版的结果微调
目标：修复右手
我们借助controlnet进行右手重绘，参数如下：
Studying girl, best quality, ultra high res, (photorealistic:1.4), stack of books and brown flower pot on table, orange cat on white window ledge Negative prompt: paintings, sketches, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, glans Steps: 28, Sampler: Euler a, CFG scale: 8, Seed: 1134728641, Size: 1024x560, Model hash: f93e6a50ac, Model: uberRealisticPornMerge_urpmv13, Denoising strength: 0.25, Mask blur: 4, ControlNet Enabled: True, ControlNet Module: canny, ControlNet Model: control_sd15_canny [fef5e48e], ControlNet Weight: 0.35, ControlNet Guidance Start: 0, ControlNet Guidance End: 1
通过多张图可以看到中间的差异，重点看右手的位置，通过controlnet控制完成了局部重绘
调整后效果如下，这里可以看到右手基本正常了，接下来重绘左手
4.3、第二版微调
目标：修复左手
把调整好右手的图保持下来，当做原图在此上传到系统上，同时借助controlnet进行左手重绘
4.4、第三版微调
目标：提升整体画质（细节）可以使用control_sd15_depth
