玩转 AI 绘图,基于函数计算部署 Stable Diffusion可自定义模型

本文涉及的产品
Serverless 应用引擎 SAE,800核*时 1600GiB*时
可观测链路 OpenTelemetry 版,每月50GB免费额度
性能测试 PTS,5000VUM额度
简介: 本文主要将带大家通过使用阿里云产品函数计算 FC 和文件存储 NAS ,快速使用 Stable Diffusion 实现更高质量的图像生成,本方案内置模型库+常用插件+ControlNet ,用户可根据自己的需要更换需要的模型、Lora、增加插件。

1.实验准备


1.1实验介绍

本次实验将带大家通过使用阿里云产品函数计算 FC 和文件存储 NAS 快速使用 Stable Diffusion 实现更高质量的图像生成,本方案内置模型库+常用插件+ControlNet ,用户可根据自己的需要更换需要的模型、Lora、增加插件。

1.2领取试用额度(首次开通产品)

函数计算提供价值180元试用额度,试用额度的有效期为3个月,阿里云账户与RAM用户共享此试用额度。从开通服务的时间算起,超出试用额度的部分均会计入按量付费,如果想节省成本可以购买资源包

  • GPU使用量:100万GB*秒GPU使用量
  • vCPU使用量:50万vCPU*秒vCPU使用量
  • 内存使用量:200万GB*秒内存使用量
  • 函数调用次数:800万次函数调用次数
  • 公网出流量 :100 GB/月的CDT公网流量,共3个月

更多计费详情

首次开通文件存储 NAS的用户可0元领取NAS试用资源,本实验将默认开启性能型NAS ,免费额度为 9.15GB。

文件存储NAS提供通用型NAS资源包50 GiB ,使用期限3个月。本实验使用性能型NAS,性能型NAS 5.47 50 GiB通用型基准容量能抵扣50 ÷ 5.47 = 9.15 GiB 性能型NAS使用量,更多计费详情

1.3开通产品

  • 函数计算 FC

函数计算是一款 Serverless 计算产品,可以为您提供 Stable Diffusion 必需的 CPU/GPU 计算资源。领取试用额度后,如果您没有开通,可以点击 https://common-buy.aliyun.com/package?spm=5176.137990.J_5253785160.3.36551608ZVgFea&planCode=package_freetierfc_cn

  • 文件存储 NAS

如果您需要自定义模型,还需要借助 NAS 产品的存储能力来存储您的模型文件。开通 文件存储NAS


由于 Stable DiffusionStable Diffusion Webui 是开源项目,我们无法针对 Stable Diffusion 自身存在的问题给出标准解答。这可能需要您在遇到问题时请前往相关社区寻求帮助。当然,如果我们对您遇到的问题有所了解,在力所能及的范围内,也会协助您更好地使用 Stable Diffusion。您在使用函数计算的过程中遇到问题,可以前往钉钉群 29290019867 寻求帮助.


2.入门-部署 Stable Diffusion WebUI


2.1创建Stable Diffusion 应用-生成第一张画作

进入函数计算控制台 - 应用中心, 进入 函数计算 3.0(如右上角“返回函数计算 2.0”即为进入了函数计算3.0控制台


点击“创建应用”进入应用应用中心,选择 人工智能分类-AI 数字绘画 Stable Diffusion ,点击立即创建

image.png

如果您是首次创建请进行角色名授权,点击 前往授权 - 同意授权

截屏2024-02-23 21.37.05.png

地域选择可以选择距离自己较近的区域。

7fb4aa68a3e4928dc1ec145ddba2affa.png

绘图类型选择“动漫风格

如果您没有特殊需要,其他选项保持默认值即可。

点击创建应用,仔细阅读活动应用创建提醒,点击 同意并继续部署,等待应用部署完成大约 1分钟

部署完成,直接点击 WebUI 域名,开始体验 Stable Diffusion WebUI 图片生成。请注意保护域名的安全,不要泄露给其他人,防止产生额外费用。

请注意:***.devsapp.net 域名是 CNCF SandBox 项目 Serverless Devs 社区所提供,仅供学习和测试使用,不可用于任何生产使用;但是社区会对该域名进行不定期地拨测,并在域名下发 30 天后进行回收.建议您后续绑定自定义域名以获得更好的使用体验或者重新部署一次 应用,重新挂载 NAS就可以了

首次打开 Stable Diffusion Web UI,遇到无法访问此网站情况,无需刷新 等待30秒即可进入

以默认提示词,点击 生成 ,制作自己的第一张图。第一张图的出图时间大概需要 15秒,后续出图时间大概3秒左右


你可以自己定义 提示词(prompt),推荐使用通义千问等大语言模型直接翻译成英文提示词,提高效率。您可以通过调整采样步数采样器、高分辨率修复、图像生成种子等参数生成自己喜欢的图片

例如:我希望生成一张春天相关的图片

正向提示词:Spring, flowers,willows, little birds, distant green mountains, 1 boys are climbing up the mountains, smiles,Picture highlight, rich details

反向提示词:nsfw,logo,text,badhandv4,EasyNegative,mutated hands and fingers,poorly drawn face,extra limb,missing limb,disconnected limbs,malformed hands,ugly


3.进阶-创建自己的模型库,并自定义模型


你可以通过使用 NAS 文件存储产品,创建模型库进行上传模型、管理模型、进行自定义模型更换等更加灵活的操作。注意:您的模型文件会存储在文件存储 NAS 产品中,只要存储模型即会消耗 NAS产品资源,付费详情请参


回到应用管理页面,点击 初始化模型管理 ,开始实现模型管理功能。

了解上述创建资源的目的以及部分资源可能产生的费用,晓对应的计费规则,并决定继续部署该应用

如果您未创建过 NAS,可以直接选择自动配置-确认,我们将为您一键处理好所有配置,如果您希望其他人不能随意上传文件到您的 NAS 中,可以填写“模型管理密钥”,不填写即为不进行鉴权

如果您是曾经创建过NAS,并且希望进行挂载,也可以选择手动配置,您至少需要有一个挂载点的 FC 目录是 /mnt/auto,stable diffusion 仅支持该目录

等待模型初始化后,出现 模型管理域名 点击进入模型管理器进行模型管理

lQLPJxQ6grtYAb3NA9LNChyw7FSVU5Z7O0sF9-jUriHlAA_2588_978.png

为了给您提供更好的服务,当您在右上角看到更新提醒时,请点击更新至最新版

3.1如何上传模型

在文件管理页面,我们可以从本地或其他网站,上传自定义的模型。

如我们希望上传一个 LoRA 模型,可以通过 LoRA 目录快速进入对应目录,点击右侧的上传按钮


选择好自己希望的模型后,点击开始上传

稍等片刻,即可在目录内看到我们新上传的文件

(上传依赖于您的网络稳定程度,如果网络不稳定可能会导致上传失败或文件损坏)

为了帮助您更好地快速部署模型,我们提供了内置模型仓库(模型仓库由 阿里云 OSS 提供,文件均来源于第三方)。

选择自己喜欢的模型,点击下载模型

确认文件存储地址后,点击 下载选中的模型


下载进度可以在传输列表看到

上传完成后,刷新 StableDiffusion 模型列表,即可看到新的模型


4.释放资源


您部署Stable Diffusion 使用函数计算 NAS 产品,您创建模型管理器使用了 文件存储NAS产品。如果您后续不再使用 Stable Diffusion 可以删除以下两个部分,函数计算不调用不会计费,文件存储NAS只要有模型存储即会付费,因此请您注意删除相关资源。

4.1删除Stable Diffusion 使用的 FC

返回函数计算应用列表

4.2删除模型管理器使用的NAS

进入文件存储 NAS控制中心,选择 文件系统列表-选择地域- -删除

移除挂载点及生效策略,删除文件系统

相关实践学习
【文生图】一键部署Stable Diffusion基于函数计算
本实验教你如何在函数计算FC上从零开始部署Stable Diffusion来进行AI绘画创作,开启AIGC盲盒。函数计算提供一定的免费额度供用户使用。本实验答疑钉钉群:29290019867
建立 Serverless 思维
本课程包括: Serverless 应用引擎的概念, 为开发者带来的实际价值, 以及让您了解常见的 Serverless 架构模式
相关文章
|
2天前
|
人工智能 边缘计算 自然语言处理
谷歌微型AI模型“Gemma 2 2B”正出人意料地挑战科技巨头
谷歌微型AI模型“Gemma 2 2B”正出人意料地挑战科技巨头
谷歌微型AI模型“Gemma 2 2B”正出人意料地挑战科技巨头
|
2天前
|
人工智能
多模态AI单词助记模型体验
一文带你了解多模态AI单词助记模型的优与劣
130 1
|
2天前
|
机器学习/深度学习 人工智能 自然语言处理
【模型微调】AI Native应用中模型微调概述、应用及案例分析
在AI Native应用中,模型微调是一个关键步骤,它允许开发者使用特定领域的数据对预训练模型进行二次训练过程,从而使其更好地适应特定任务或数据集。模型微调通过调整模型的参数,使模型在特定任务上达到更高的性能。这种技术广泛应用于自然语言处理、图像识别、语音识别等领域
8 1
|
1天前
|
人工智能 自然语言处理 搜索推荐
最强AI写作助手,内置4o模型,引领AI智能问答的新纪元
随着人工智能技术的飞速进步,BKAI凭借其强大的GPT-4o模型,正在重新定义智能问答的标准。其中表现最强的AI助手神器:BKAI
|
5天前
|
人工智能 算法
通义语音AI技术问题之预训练语言模型句子嵌入存在的各向异性问题如何解决
通义语音AI技术问题之预训练语言模型句子嵌入存在的各向异性问题如何解决
14 5
|
3天前
|
机器学习/深度学习 人工智能 算法
解密巴黎奥运会中的阿里云AI技术
2024年巴黎奥运会圆满结束,中国代表团金牌数与美国并列第一,展现了卓越实力。阿里云作为官方云服务合作伙伴,通过先进的AI技术深度融入奥运的各项环节,实现了大规模的云上转播,超越传统卫星转播,为全球观众提供流畅、高清的观赛体验。其中,“子弹时间”回放技术在多个场馆的应用,让观众享受到了电影般的多角度精彩瞬间。此外,8K超高清直播、AI智能解说和通义APP等创新,极大地提升了赛事观赏性和互动性。能耗宝(Energy Expert)的部署则助力实现了赛事的可持续发展目标。巴黎奥运会的成功举办标志着体育赛事正式进入AI时代,开启了体育与科技融合的新篇章。
解密巴黎奥运会中的阿里云AI技术
|
5天前
|
人工智能 数据处理 语音技术
通义语音AI技术问题之查看KAN-TTS在ModelScope上的模型列表如何解决
通义语音AI技术问题之查看KAN-TTS在ModelScope上的模型列表如何解决
22 10
|
5天前
|
人工智能 语音技术
通义语音AI技术问题之semantic 的 residualquantizer 模块的作用如何解决
通义语音AI技术问题之semantic 的 residualquantizer 模块的作用如何解决
22 9
|
5天前
|
人工智能 语音技术
通义语音AI技术问题之服务端对于音频数据如何解决
通义语音AI技术问题之服务端对于音频数据如何解决
19 7
|
5天前
|
存储 人工智能 语音技术
通义语音AI技术问题之动态加权采样策略的工作原理如何解决
通义语音AI技术问题之动态加权采样策略的工作原理如何解决
18 5

相关产品

  • 函数计算