数据缓存系列分享(三)：通过 StableDiffusion 扩展插件实现网红爆款文字光影图-阿里云开发者社区

数据缓存系列分享(三)：通过 StableDiffusion 扩展插件实现网红爆款文字光影图

2023-09-05 342

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

简介： 在文章《23秒完成从零开始搭建StableDiffusion》中我们详细讲解了通过ECI的数据缓存快速搭建StableDiffusion应用，用户通过模型网站选择好自己需要的模型，然后创建ECI数据缓存，即可快速部署自己的StableDiffusion应用。本文将基于StableDiffusion + 扩展插件 ControlNet 来完成实现网红爆款文字光影图

背景

最近网上流行各种文字光影图，即在图片中非常巧妙的融入一些自定义的文字，非常炫酷，本来将分享如何通过StableDiffusion + 扩展插件的方式量产这种类型的图片。

StableDiffusion 扩展插件

在文章 23秒完成从零开始搭建StableDiffusion 中我们详细讲解了通过ECI的数据缓存快速搭建StableDiffusion应用，用户通过模型网站选择好自己需要的模型，然后创建ECI数据缓存，即可快速部署自己的StableDiffusion应用。

其实StableDiffusion的应用还支持扩展插件的方式来丰富绘图功能：

前面提到的这些网络上流传的炫酷的文字图都是基于StableDiffusion + 扩展插件 ControlNet来完成的。

ECI提供的StableDiffusion标准镜像已经集成了ControlNet插件，用户无需再手动通过webui安装、下载新模型、重启应用等复杂流程，直接可以开箱即用。

StableDiffusion 模型选择

StableDiffusion模型与StableDiffusion应用是解耦的，可以自由选择任何标准的绘图模型。本文继续使用前文中使用的模型，即 hanafuusen2001/BeautyProMix，其他绘图模型也可以，比如比较常用的模型有：

casque/beautifulRealistic_v60

XpucT/Deliberate

Lykon/DreamShaper

cyberdelia/CyberRealistic

hanafuusen2001/ReVAnimated

digiplay/MeinaMix_v11

等，更多模型可以在 https://huggingface.co/ 和 https://civitai.com/ 上了解。

ControlNet 模型选择

同样，ControlNet模型与ControlNet 也是解耦的，本样例的光影文字效果会选择用模型 ioclab/ioc-controlnet

准备模型

分别创建前面提到的两个模型缓存，移步控制台

hanafuusen2001/BeautyProMix：(前文已经创建过，可以无需创建)

bucket: huggingFace-model

bucket path: /models/huggingface-model/hanafuusen2001/BeautyProMix

repoId: hanafuusen2001/BeautyProMix

repoSource: HuggingFace/Model

ioclab/ioc-controlnet：

bucket: huggingFace-model

bucket path: /models/huggingface-model/ioclab/ioc-controlnet

repoId: ioclab/ioc-controlnet

repoSource: HuggingFace/Model

k8s AP：https://help.aliyun.com/document_detail/2412299.html

部署ECI

1、使用ECI已经制作好的镜像：registry.cn-hangzhou.aliyuncs.com/eci_open/stable-diffusion:1.0.1

2、hanafuusen2001/BeautyProMix 模型挂载到/stable-diffusion-webui/models/Stable-diffusion/目录，ioclab/ioc-controlnet 模型挂载到/stable-diffusion-webui/extensions/sd-webui-controlnet/models/目录，如果想替换成其他模型也只需挂载进对应的目录即可。

k8s api 参考：

{
"metadata": {
"annotations": {
"k8s.aliyun.com/eci-image-cache": "true",
"k8s.aliyun.com/eci-with-eip": "true",
"k8s.aliyun.com/eci-use-specs": "ecs.gn7i-c8g1.2xlarge",
"k8s.aliyun.com/eci-data-cache-bucket": "huggingFace-model",
        },
"name": "sd-webui",
"namespace": "default"    },
"spec": {
"containers": [
            {
"args": [
"-c",
"python3 launch.py --listen --skip-torch-cuda-test --port 8888 --no-half"                ],
"command": [
"/bin/sh"                ],
"image": "registry.cn-hangzhou.aliyuncs.com/eci_open/stable-diffusion:1.0.1",
"imagePullPolicy": "IfNotPresent",
"name": "sd-webui",
"resources": {
"requests": {
"nvidia.com/gpu": "1"                    }
                },
"volumeMounts": [
                    {
"mountPath": "/stable-diffusion-webui/models/Stable-diffusion/",
"name": "model"                    },
                    {
"mountPath": "/stable-diffusion-webui/extensions/sd-webui-controlnet/models/",
"name": "model2"                    }
                ]
            }
        ],
"restartPolicy": "Never",
"volumes": [
            {
"hostPath": {
"path": "/models/huggingFace-model/hanafuusen2001/BeautyProMix"                },
"name": "model"            },
            {
"hostPath": {
"path": "/models/huggingFace-model/ioclab/ioc-controlnet"                },
"name": "model2"            }
        ]
    }

阿里云openAPI 参考：

publicclassEciApi {
privateCreateContainerGroupResponsecreateEci() throwsClientException {
CreateContainerGroupRequestrequest=newCreateContainerGroupRequest();
request.setRegionId(RG);
request.setSecurityGroupId(getSg());
request.setVSwitchId(getVsw());
request.setContainerGroupName("sd-webui");
request.setInstanceType("ecs.gn7i-c8g1.2xlarge");
request.setAutoCreateEip(true);
request.setDataCacheBucket("huggingFace-model");
CreateContainerGroupRequest.Containercontainer=newCreateContainerGroupRequest.Container();
container.setName("sd-webui");
container.setImage("registry.cn-hangzhou.aliyuncs.com/eci_open/stable-diffusion:1.0.1");
container.setGpu(1);
container.setCommands(Arrays.asList("/bin/sh"));
container.setArgs(Arrays.asList("-c", "python3 launch.py --listen --skip-torch-cuda-test --port 8888 --no-half"));
CreateContainerGroupRequest.Container.VolumeMountvolumeMount=newCreateContainerGroupRequest.Container.VolumeMount();
volumeMount.setName("model");
volumeMount.setMountPath("/stable-diffusion-webui/models/Stable-diffusion/");
CreateContainerGroupRequest.Container.VolumeMountvolumeMount2=newCreateContainerGroupRequest.Container.VolumeMount();
volumeMount2.setName("model2");
volumeMount2.setMountPath("/stable-diffusion-webui/extensions/sd-webui-controlnet/models/");
container.setVolumeMounts(Arrays.asList(volumeMount, volumeMount2));
request.setContainers(Arrays.asList(container));
CreateContainerGroupRequest.Volumevolume=newCreateContainerGroupRequest.Volume();
volume.setName("model");
volume.setType("HostPathVolume");
volume.setHostPathVolumePath("/models/huggingFace-model/hanafuusen2001/BeautyProMix");
CreateContainerGroupRequest.Volumevolume2=newCreateContainerGroupRequest.Volume();
volume2.setName("model2");
volume2.setType("HostPathVolume");
volume2.setHostPathVolumePath("/models/huggingFace-model/ioclab/ioc-controlnet");
request.setVolumes(Arrays.asList(volume, volume2));
returnPopHelper.getAcsResponse(client, request);
    }
}

SDK版本：

<!-- https://mvnrepository.com/artifact/com.aliyun/aliyun-java-sdk-eci --><dependency><groupId>com.aliyun</groupId><artifactId>aliyun-java-sdk-eci</artifactId><version>1.4.4</version></dependency>