序言
最近一个月,快速生图成为文生图领域的热点,其中比较典型的两种方式的代表模型分别为SDXL-turbo 和 LCM-SDXL。
SDXL-turbo模型是SDXL 1.0的蒸馏版本,SDXL-Turbo基于一种称之为对抗扩散蒸馏(ADD)的新颖的训练方法,这种方法在扩散模型采样可以减少到1到4步,而生成高质量图像。ADD的训练方式使用score distillation,利用大规模扩散模型作为教师模型,并将其与对抗性损失相结合,即使在1-2步的采样步骤的低步骤状态下,使用对抗学习的方式,引入discriminator来辅助生成质量的把控,也可以确保高质量图像的保真度。
(图片来自论文:Adversarial Diffusion Distillation)
潜在一致性模型(LCM)受一致性模型(CM)启发,在预训练的LDM上以较少的步骤进行快速推理。LCM-SD系列是在Stable Diffusion的基础上新增Consistency 约束蒸馏的结果,仅通过2-8步的推理即可实现高质量的文本到图片的生成性能。
(图片来自论文:LATENT CONSISTENCY MODELS: SYNTHESIZING HIGH-RESOLUTION IMAGES WITH FEW-STEP INFERENCE)
同时LCM的作者和Diffusers的作者合作,结合开源社区生态的需求,推出了LCM-LoRA,将通过LCM蒸馏获得的LoRA参数用于通用SD模型的加速模块,无需训练既可以结合SD-V1.5,SSD-1B,SDXL 1.0以及他们的LoRA。从而适合社区的各种LoRA生态,成为微调SD模型的通用加速模块。
(图片来自论文:LCM-LORA: A UNIVERSAL STABLE-DIFFUSION ACCELERATION MODULE)
目前,SDXL-turbo 和 LCM-SDXL 均已开源可体验使用,魔搭社区特推出二者秒级生图的推理、微调最佳实践,欢迎围观效果!
环境准备
环境配置与安装
- python 3.8及以上版本
- pytorch 1.12及以上版本,推荐2.0及以上版本
- 建议使用CUDA 11.4及以上
本文主要演示的模型推理代码可在魔搭社区免费实例PAI-DSW的配置下运行(显存24G) :
第一步:点击模型右侧Notebook快速开发按钮,选择GPU环境
第二步:新建Notebook
安装依赖库
pip install diffusers -U
秒级生图模型的魔搭社区最佳实践
SDXL-Turbo最佳实践
文生图推理:
from diffusers import AutoPipelineForText2Image import torch from modelscope import snapshot_download model_dir = snapshot_download("AI-ModelScope/sdxl-turbo") pipe = AutoPipelineForText2Image.from_pretrained(model_dir, torch_dtype=torch.float16, variant="fp16") pipe.to("cuda") prompt = "Beautiful and cute girl, 16 years old, denim jacket, gradient background, soft colors, soft lighting, cinematic edge lighting, light and dark contrast, anime, art station Seraflur, blind box, super detail, 8k" image = pipe(prompt=prompt, num_inference_steps=1, guidance_scale=0.0).images[0] image.save("image.png")
生成图片:
生成速度1秒以内:
图生图推理:
from diffusers import AutoPipelineForImage2Image from diffusers.utils import load_image from modelscope import snapshot_download model_dir = snapshot_download("AI-ModelScope/sdxl-turbo") pipe = AutoPipelineForImage2Image.from_pretrained(model_dir, variant="fp16") init_image = load_image("image.png").resize((512, 512)) prompt = "grey image" image = pipe(prompt, image=init_image, num_inference_steps=2, strength=0.5, guidance_scale=0.0).images[0] image.save("image1.png")
生成灰白质感的图片:
生成速度:12秒
LCM-SDXL最佳实践
文生图推理:
from diffusers import UNet2DConditionModel, DiffusionPipeline, LCMScheduler import torch from modelscope import snapshot_download model_dir_lcm = snapshot_download("AI-ModelScope/lcm-sdxl",revision = "master") model_dir_sdxl = snapshot_download("AI-ModelScope/stable-diffusion-xl-base-1.0",revision = "v1.0.9") unet = UNet2DConditionModel.from_pretrained(model_dir_lcm, torch_dtype=torch.float16, variant="fp16") pipe = DiffusionPipeline.from_pretrained(model_dir_sdxl, unet=unet, torch_dtype=torch.float16, variant="fp16") pipe.scheduler = LCMScheduler.from_config(pipe.scheduler.config) pipe.to("cuda") prompt = "Beautiful and cute girl, 16 years old, denim jacket, gradient background, soft colors, soft lighting, cinematic edge lighting, light and dark contrast, anime, art station Seraflur, blind box, super detail, 8k" image = pipe(prompt, num_inference_steps=4, guidance_scale=8.0).images[0] image.save("image.png")
生成图片:
2步效果欠佳:
4步效果不错:
4步生成速度1秒多:
微调LCM-LoRA在魔搭FaceChain的最佳实践
FaceChain是一个可以用来打造个人数字形象的深度学习模型工具。用户仅需要提供最低一张照片即可获得独属于自己的个人形象数字替身。FaceChain支持在gradio的界面中使用模型训练和推理能力、支持资深开发者使用python脚本进行训练推理,也支持在sd webui中安装插件使用。
GitHub链接:https://github.com/modelscope/facechain
FaceChain SDXL模型结合LCM采样器进行推理加速。推理步数由40步减少至8步,推理时间由40s减少至8s。
运行FaceChain WebUI示例代码:
# Step1: 我的notebook -> PAI-DSW -> GPU环境 # Step2: Entry the Notebook cell,clone FaceChain from github: !GIT_LFS_SKIP_SMUDGE=1 git clone https://github.com/modelscope/facechain.git --depth 1 # Step3: Change the working directory to facechain, and install the dependencies: import os os.chdir('/mnt/workspace/facechain') # You may change to your own path print(os.getcwd()) !pip3 install gradio==3.50.2 !pip3 install controlnet_aux==0.0.6 !pip3 install python-slugify !pip3 install onnxruntime==1.15.1 !pip3 install edge-tts # Step4: Start the app service, click "public URL" or "local URL", upload your images to # train your own model and then generate your digital twin. !python3 app.py
在FaceChain的Web-UI demo中,图片推理时,高级选项中采样器选项选择使用LCM采样器,如下图:
生成效果如下:
小编认为,LCM-LoRA在个人数字形象生成这个场景中,表现不如原版SDXL,有一定的图片受损。
总结
本文使用的模型链接:
SDXL-Turbo:
https://modelscope.cn/models/AI-ModelScope/sdxl-turbo
LCM-SDXL:
https://modelscope.cn/models/AI-ModelScope/lcm-sdxl
LCM-LoRA-SDXL:
https://modelscope.cn/models/AI-ModelScope/lcm-lora-sdxl
模型 |
推理速度 |
达到较稳定效果的步长 |
支持lora |
支持图生图 |
SDXL-Turbo |
很高 |
1 |
否 |
支持 |
LCM-SDXL |
较高 |
4 |
否 |
不支持 |
LCM-LoRA-SDXL |
较高 |
4 |
是 |
不支持 |
相关模型链接:
SDXL 1.0:
https://modelscope.cn/models/AI-ModelScope/stable-diffusion-xl-base-1.0