一、引言
pipeline（管道）是huggingface transformers库中一种极简方式使用大模型推理的抽象，将所有大模型分为音频（Audio）、计算机视觉（Computer vision）、自然语言处理（NLP）、多模态（Multimodal）等4大类，28小类任务（tasks）。共计覆盖32万个模型
今天介绍CV计算机视觉的第四篇，文生图/图生图（text-to-image/image-to-image）。transformers的pipeline只有图生图（image-to-image），没有（text-to-image），在实际应用中，文生图更加主流，通常先进行文生图，再进行图生图。所以本篇文章重点介绍文生图，附带进行图生图的讲解。本篇也未使用transformers的pipeline，而是使用DiffusionPipeline，目前主流的文生图、图生图方法。本文更加注重如何使用代码进行文生图、图生图，如果你的工作不需要部署api服务，推荐您使用AUTOMATIC1111的stable-diffusion-webui。
如果您是windows，建议搜索“秋叶大佬整合包”，一键部署属于你的文生图工作台。
当然，如果您的土豪，推荐您使用midjourney，封装的更加简单易用。
二、文生图/图生图（text-to-image/image-to-image）
2.1 文生图
输入提示词，模型理解提示词，生成图片。
2.2 图生图
图像处理与增强，通过给定的提示词，对源图像进行加工与处理，使其满足清晰度、定制等需求。
2.3 技术原理
我们以Stable Diffusion为例，讲讲文生图/图生图的原理。
2.3.1 Diffusion扩散模型原理
将到扩散模型，一定要了解DDPM: Denoising Diffusion Probabilistic Models（基于概率的降噪扩散模型），主要包含两个过程：
- Diffusion Process (又被称为Forward Process) 扩散过程：对图片进行加噪，每一步都往图片上加入一个高斯分布的噪声，直到图片变为一个基本是纯高斯分布的噪声
- Denoise Process（又被称为Reverse Process）降噪过程：基于UNet对含有噪音的图片进行逐步还原，直到还原至清晰可见的图片。
2.3.2 Stable Diffusion扩散模型原理
主要由AutoEncoder、扩散模型和Condition条件模块三部分组成。具体方法是
- 首先需要训练好一个自编码模型（AutoEncoder，包括一个编码器 E和一个解码器D ）。
- 扩散过程：利用编码器对图片进行压缩，然后在潜在表示空间上做diffusion操作，
- 文本处理：SD采用OpenAI的CLIP（Contrastive Language-Image Pre-Training语言图片对比学习预训练模型）进行文字到图片的处理，具体使用的是clip-vit-large-patch14。对于输入text，送入CLIP text encoder后得到最后的hidden states，其特征维度大小为77x768（77是token的数量），这个细粒度的text embeddings将以cross attention的方式送入UNet中。
- 去噪过程：去噪实际上就是SD文生图模型的推理过程，通过UNet网络对图片/文字的embedding层层去噪，得到最终需要的图片。
2.4 文生图实战
2.4.1 SDXL 1.0
首先要安装扩散diffusers、invisible_watermark、transformers、accelerate、safetensors等依赖库：
pip install diffusers invisible_watermark transformers accelerate safetensors -i https://mirrors.cloud.tencent.com/pypi/simple
其次，引用diffusers库中的DiffusionPipeline类，下载基础模型stabilityai/stable-diffusion-xl-base-1.0和精炼模型stabilityai/stable-diffusion-xl-refiner-1.0。使用基础base（文生图）模型生成（噪声）潜在数据，然后使用专门去噪的refiner（图生图）细化模型进行高分辨率去噪处理。
import os os.environ["HF_ENDPOINT"] = "https://hf-mirror.com" os.environ["CUDA_VISIBLE_DEVICES"] = "2" from diffusers import DiffusionPipeline import torch base = DiffusionPipeline.from_pretrained("stabilityai/stable-diffusion-xl-base-1.0", torch_dtype=torch.float16, use_safetensors=True, variant="fp16") base.to("cuda") refiner = DiffusionPipeline.from_pretrained( "stabilityai/stable-diffusion-xl-refiner-1.0", text_encoder_2=base.text_encoder_2, vae=base.vae, torch_dtype=torch.float16, use_safetensors=True, variant="fp16", ) refiner.to("cuda") # Define how many steps and what % of steps to be run on each experts (80/20) here n_steps = 40 high_noise_frac = 0.8 prompt = "A beautiful sexy girl" # run both experts image = base( prompt=prompt, num_inference_steps=n_steps, denoising_end=high_noise_frac, output_type="latent", ).images image = refiner( prompt=prompt, num_inference_steps=n_steps, denoising_start=high_noise_frac, image=image, ).images[0] image.save("base+refiner.png")
python run_sd_xl_base_1.0+refiner.py运行后：
来看一下针对提示词"A beautiful sexy girl"生成的图片，好棒！
2.4.2 SD 2.0
安装的python库同SDXL 1.0，同样采用diffusers的DiffusionPipeline下载模型
import os os.environ["HF_ENDPOINT"] = "https://hf-mirror.com" os.environ["CUDA_VISIBLE_DEVICES"] = "2" from diffusers import DiffusionPipeline import torch #pipe = DiffusionPipeline.from_pretrained("stabilityai/stable-diffusion-xl-base-1.0", torch_dtype=torch.float16, use_safetensors=True, variant="fp16") pipe = DiffusionPipeline.from_pretrained("stabilityai/stable-diffusion-2", torch_dtype=torch.float16, use_safetensors=True, variant="fp16") pipe.to("cuda") prompt = "a beautiful sexy girl" image = pipe(prompt).images[0] image.save("sd-xl.png")
python run_sd.py运行后
来看一下效果：
对比来看，SDXL 1.0要更强一些，当然在实际的应用中，要花非常多的精力去抽卡、调正反向提示词，前往C站下载并使用别人训练好的lora与embedding。这是一门大学问。
2.5 模型排名
在huggingface上，我们将文生图（text-to-image）模型按下载量从高到低排序：在开源模型领域，stabilityai的stable-diffusion没有对手！闭源领域，独有Midjourney！
三、总结
本文对文生图/图生图（text-to-image/image-to-image）从概述、SD技术原理、SD文生图实战、模型排名等方面进行介绍，读者可以基于DiffusionPipeline使用文中的极简代码进行文生图的初步体验，如果想更加深入的了解，再次推荐您使用stable-diffusion-webui。
