基于函数计算一键部署 Stable Diffusion

本文涉及的产品
模型训练 PAI-DLC,5000CU*H 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
交互式建模 PAI-DSW,每月250计算时 3个月
简介: 基于函数计算一键部署 Stable Diffusion

一、资源方式介绍

本实验支持开通免费试用、个人账户资源两种实验资源方式。

  • 建议首次开通函数计算用户选择开通免费试用
  • 函数计算老用户选择个人账户资源

在实验开始前,请您选择其中一种实验资源,单击确认开启实验

二、选择开通免费试用(函数计算首次开通用户)

1.领取函数计算FC试用额度

新客户0元试用资源额度如下:

2023年04月06日20:00之后开通函数计算的用户,可0元享老客户专享套餐,有效期3个月,总价值150元。套餐限购1次,内含四个试用包:50万vCPU*秒 + 100万GB*秒 + 400万次函数调用 + 10万GB*秒GPU。请注意:试用额度不支持抵扣公网出流量和磁盘使用量的费用。如您未购买相关资源包,公网出流量使用量和超出512 MB的磁盘使用量将计入按量付费。本体验涉及使用少量公网出流量和磁盘使用量,为了避免停机风险,请您确保账号中有至少1元余额”,具体计费情况请参考计费概述

1.1 在本实验页面下方卡片会展示本实验支持的试用规格,选择函数计算FC并单击立即试用

1.2 首次开通函数计算的新客户,可以在函数计算新客首购套餐页面,单击立即购买

2.领取文件存储NAS试用额度。

文件存储 NAS 0元试用资源额度如下:

文件存储 NAS 提供通用型 NAS资源包50GiB ,使用期限3个月。本实验使用性能型NAS,性能型NAS 5.47 50 GiB 通用型基准容量能抵扣50 ÷ 5.47 = 9.15 GiB 性能型 NAS 使用量。

2.1 在本实验页面下方卡片会展示本实验支持的试用规格,选择文件存储 NAS,并单击立即试用

2.2 在文件存储NAS页面,单击立即购买

二、选择个人账户资源(无免费试用资格或函数计算老客户)

如果您没有免费试用资格或者在4月6日20:00前已开通函数计算服务,请您选择个人账户资源进行实验。

函数计算FC老客户

您有两种付费方式:

  • 方式一:您可以直接使用函数计算后付费开始实验,计费标准详情请参考计费概述请您仔细阅读计费标准,防止有意料之外的付费。
  • 方式二:本实验推荐您购买函数计算老客户专享套餐包,进行实验。额度如下:

2023年04月06日20:00之前开通函数计算的用户,可9.9元享老客户专享套餐,有效期3个月,总价值150元。套餐限购1次,内含四个试用包:50万vCPU*秒 + 100万GB*秒 + 400万次函数调用 + 10万GB*秒GPU。请注意:试用额度不支持抵扣公网出流量和磁盘使用量的费用。如您未购买相关资源包,公网出流量使用量和超出512 MB的磁盘使用量将计入按量付费。本体验涉及使用少量公网出流量和磁盘使用量,为了避免停机风险,请您确保账号中有至少1元余额”,具体计费情况请参考计费概述

具体操作为:

3.1 前往 函数计算产品详情页 。单击老客户专享套餐

3.2 在函数计算老客首购套餐页面,单击立即购买

文件存储NAS老客户

文件存储NAS老用户,可按量付费或购买NAS资源包进行体验,可参考计费概述

\2. 创建应用&安装模型

再次提醒本实验可领用下方卡片中的函数计算免费额度;首次开通函数计算的新客户,可以购买新客首购套餐;如您是函数计算老客户,可购买老客户专享套餐包(所有套餐包购买请查看第一步骤描述信息)。

请注意领用/购买套餐包进行实验,如选择后付费形式进行实验,请注意账户扣费。计费情况详情请参考计费概述

  1. 前往函数计算控制台
  2. 在左侧导航栏中,单击应用

注意:如果您之前使用过应用中心,在单击应用之后出现类似于下面的页面,此时您可以单击创建应用继续流程。

  1. 在单击应用/创建应用之后,您可以看到应用列表

  1. 在应用页面,人工智能分类,选择“AI数字绘画stable-diffusion自定义模型版”,单击立即创建

  1. 在创建应用页面,了解自动创建的资源,并且选择距离您最近的 地域

\6. 根据实际需要,可以选择不同的绘图风格。内置模型仅供参考,后续如有需要,您可以上传自己的模型。

\7. 此时还需要关注页面上角色名称部分,如果角色名检查缺失云产品的操作权限,请根据引导添加所需的权限

此时需要单击前往授权进行授权,授权完成可能会提示:

说明:如果您的角色名称已有相关权限,可忽略此步骤。

本次实验提供的镜像由Serverless Devs开源项目贡献者贡献,仅供您体验使用。您也可以使用自己的构建的镜像,构建方法详情请参见项目代码内的 README 文档。

\8. 确认以上信息无误后,点击创建应用

\9. 仔细阅读应用创建提醒,确认并勾选已经知晓函数计算收费项目,阅读重要提醒。勾选“我已经了解上面内容,并同意上述描述”,点击“同意并继续部署”开始进行应用部署

10.等待 Stable Diffusion 项目部署,整个过程大概需要2分钟左右

\11. 部署完成后,您可以获得 Stable Diffusion 的访问域名,注意:由于未进行“初始化模型管理”此时您的 Stable Diffusion只能使用内置模型,不能自主换模型,如需自己更换模型请查看第 13步

\12. 点击该域名,您便可以进入 Stable Diffusion 页面。点击生成,可以得到您的第一张图片。(启动后的第一张图需要加载模型,相对后续出图速度相对较慢)

\13. 我们为您内置了一些常用的插件包括“ adetailer\roop\deforum\llul\all in one 等等。为了提升启动加载速度及出图速度这些插件默认关闭,您可以根据需要启用(勾选插件并点击 Apply and quit)插件。插件具体作用及使用方式请根据插件名检索相关的文档和教程。

\14. 如果您需要上传自己的模型,可以在控制台点击 “初始化模型管理”

\15. 存储模型需要使用阿里云另外一款产品,文件储存NAS 为另一款云产品,会产生额外的存储费用。NAS 新用户请务必先领用免费赠送资源后再创建。资源包默认赠送 9GiB 性能型 NAS (三个月免费资源包的 50GiB 需要除以 5.47 倍抵扣系数)。请阅读并了解可能产生的费用,并点击确认

\16. 挂载 NAS 存储

如果您从未创建过 NAS或者首次部署,可选择自动配置,来授权我们自动为您创建 NAS 文件系统。

如果您之前已有 NAS,可以选择“手动配置”,把您想要挂载的 NAS 放进去

\17. 点击确认,等待模型管理初始化完成,大约需要 30秒-2分钟左右

\18. 挂载NAS完成后,您可以在 应用详情——模型管理域名,进入模型管理工具界面,进行模型管理

您也可以在在模型管理标签页进行模型管理,您可以快速跳转到 Stable Diffusion 特定目录,并且通过上传文件按钮传入您自定义的模型

\19. 在管理工具页面,您可以查看函数基本信息、使用集成的 Stable Diffusion 页面、操作文件、通过内置的模型库快速下载模型、查看常见问题的解答

\20. 上传模型(支持压缩文件上传和解压,具体操作可参考“ ControlNet 使用部分)

通过本地上传,您可以将电脑中已有的文件上传云端,通过离线上传,您可以将特定链接的文件上传至云端(位于海外的文件链接可能会由于网络波动导致传输失败)

上传完成后,您可以点击Stable Diffusion 模型旁边的按钮刷看到您上传的文件,并在选择后使用新的模型

\3. 使用模型库

使用模型库

为了方便大家快速下载和使用模型,我们集成了一些热门模型,您可以根据需要进行下载。

模型库使用说明

模型库功能由阿里云 OSS 提供,模型/数据集/文件均来源于第三方,不保证合规性,请您在使用前慎重考虑。这些模型均遵循creativeml-openrail-m或cc-by-nc-sa-4.0许可,请您也遵守该许可的约定。您还应严格遵守法律法规、第三方要求等,特别是不得利用本服务从事违法违规行为(如上传/输入/生成/下载/使用违法或不良信息等)。如您发现任何模型/数据集/文件等有问题,请及时联系我们处理。

相关模型介绍

  1. 选择合适的模型,点击 下载模型 ,点击 下载选中的模型

注意:模型将会被下载至您的 文件管理(NAS) 中,这会产生一定的文件存储费用,具体计费见 阿里云文件存储 NAS

  1. 开始下载,大概3秒左右即可下载完毕

您也可以在传输列表观观察下载进度

  1. 模型下载完毕,文件管理 /mnt/auto/sd/models/Stable-diffusion 已经保存的文件

  1. 重启 Stable Diffusion 即可使用模型

\4. 使用文字生成图片

使用文字生成图片

生成图片的操作方式非常简单,只需要在左侧的Prompt输入框中填入提示词,之后单击右侧的Generate按钮即可。

提示词就是生成图片的依据,既可以是描述需要生成内容的词,如:girl, sunset, forest 等;也可以是用于是描述图像属性的词,如:best quality, beautiful, masterpiece 等。我们甚至可以通过提示词选择图片生成的视角、光线、画风;人物的姿势、着装、表情;背景的内容等。

我们建议您加上画风描述词,让您的图片更加美观,如:Cyberpunk(赛博朋克),shinkai makoto(新海诚),Ghibli Studio(吉卜力),Paul Gauguin(梵高)等等

在图片生成的过程中,我们可以在页面上看到生成过程的中间图片逐渐变得清晰。同时,也可以通过进度条直观的了解图片生成的进度和预估剩余时间。

示例:

  1. Prompt输入框中,填入如下提示词,然后单击Generate

In a cyberpunk city, a girl is on the street, raining, light effect, Simon Stalenhag, Ian McQue, Ghibli Studio, Beeple, Kaino University

  1. 您可以组合各类模型、Lara等玩法,解锁 AI生图的更多乐趣

\5. 释放资源

释放资源

在实验完成之后,如果您需要长期使用,请忽略此步骤。如果您不需要长期使用,请按照如下步骤对资源进行释放。

  1. 释放函数计算。

1.1 在应用页面,找到您部署的应用,单击右侧操作列下的删除

1.2 在删除应用对话框中,选择我一确定资源删除的风险,依旧要删除上面已选择的资源,然后单击删除应用及所选资源

  1. 释放文件存储NAS。请注意这是个高危操作,因为可能会导您的数据丢失。 请您谨慎选择。

2.1 登录文件存储控制台,在文件系统列表页面,找Alibab-Fc开头到目标文件系统,在操作列,选择>删除

2.2 移除挂载点及生效策略,然后单击删除

\6. 计费参考

计费参考

本实验设计到两个产品的付费:阿里云函数计算,阿里云文件存储 NAS

1. 函数计算费用

1.1 流量费用(小额)

请您根据实际情况进行评估,更多计费详情,请请参考计费概述

磁盘使用量 和 公网出流量不包含在函数计算试用额度内, 只要使用SD必会产生小额费用,如果小明生成100张图,须付的费用为:

  • 公网出流量:5MB/每张图 * 100张图 = 500MB, 0.25元(0.50元/GB)
  • 磁盘使用量:0.0000017510GB5s生成一张图耗时100张图 = 0.008元(使用量>512 MB:超出部分0.00000175元/GB

1.2 函数计算资源费用

小明使用函数计算部署了 Stable Diffusion 大约要消耗多少函数计算资源呢?

函数计算配置:GPU 16 GB、vCPU 8 核、内存 32 GB

一、首次生成一张图所耗费的资源(冷启动):

GPU费用 >>> 16*(60+5) = 1040 GB-S

CPU费用 >>> 8*(60+5) = 520

内存费用>>> 32*(60+5) = 2080 GB-S

其中:60秒冷启动,5秒生成一张图。

二、后续生成一张图所耗费的资源(热启动):

GPU费用 >>> 16*(5) = 80 GB-S

CPU费用 >>> 8*5 = 40

内存费用 >>> 32*5 = 160 GB-S

其中:5s秒生成一张图。

三、假如小明0元购买了免费试用包,或老客专享资源包

资源包额度为:

vCPU试用额度:前50万vCPU*秒vCPU资源使用免费。

内存试用额度:前100万GB*秒内存资源使用免费。

函数调用试用额度:前400万次函数调用免费。

GPU试用额度:前10万GB*秒GPU资源使用免费。

那么小明可以生成的图片数量估计为:

GPU试用额度可生成图片数量:>>> 100000/80 = 1250张

CPU试用额度可生成图片数量:>>> 500000/40 = 12500张

内存试用额度可生成图片数量:>>> 1000000/160 = 6250张

最终小明在免费使用额度,可以免费生成1250张图。

  • 注意1:当小明领取了新人函数计算资源包后,可以免费使用104分钟sd-webui,超出104分钟后将开始付费
  • 注意2:**当小明无须SD-WEBUI生成图片时,请及时关闭SD-WEBUI使用界面!!!**进入SD-WEBUI使用界面就会产生计费,无论是否生成图片。

二、文件存储 NAS

小假如小明0元购买了文件存储 NAS 资源包,可上传多少个基础大模型或lora 模型呢?

文件存储NAS提供通用型 NAS资源包50GiB ,使用期限3个月。本实验使用性能型 NAS,性能型NAS 5.47 50 GiB通用型基准容量能抵扣50 ÷ 5.47 = 9.15 GiB性能型NAS使用量

假如基础大模型3.97G,Lora模型400MB,那么小明使用免费额度可以存储2个大模型,3个Lora模型。

\7. Lora 模型使用

我们看到其他人做的很漂亮的图,其实很大一部分是使用了lora模型构建的,在这里介绍一下如何安装使用。

我们可以从https://www.liblibai.com/#/下载lora模型到本地,然后把它上传到/mnt/auto/sd/models/Lora/ 目录。

  1. 前往https://www.liblibai.com/#/,进行基础模型的筛选。

  1. 切换到lora。

  1. 选择其中的一个模型并进行下载。

  1. 下载完毕后可以更改一下名称,然后上传至mnt/auto/sd/models/lora。

  1. 接下来前往WebUI,选择右上角小图标,可以看到您安装的lora模型文件。

  1. 回到liblibai,复制一下图片生成信息。

  1. 然后就是调参,先选中LoRA,此时正向提示词有相应的变化。

  1. 接下来按照我们复制下来的参数进行输入,注意复制参数的lora部分需要去掉,因为我们修改了名字。参数调好开始静待生成。

  1. 生成类似下图。

\8. ControlNet 使用

ControlNet 包含插件和模型两部分。为了降低费用消耗,建议先下载到本地后,通过 admin 上传至 NAS。

  1. ControlNet 插件地址

项目地址:https://github.com/Mikubill/sd-webui-controlnet

进入页面后,点击右侧绿色的 Code 按钮,并选择 Download ZIP 下载插件代码

(Github 为境外网站,连接可能不稳定,遇到问题可以尝试重试解决)

  1. 下载完成后,通过管理工具上传您的下载的 zip 包

  1. 刷新下当前目录内容,并将 controlnet 解压到当前目录。

  1. 等待解压完成后会自动刷新,此时可以看到解压好的目录

  1. 进入目录后,将其中的内容剪切或复制至上一层

  1. 在上一层目录粘贴

  1. 最终形式如下(此时可以删掉刚才上传的 zip 包以及随机名称的文件夹)

  1. 回到 Stable Diffusion,重新加载 WebUI,而后刷新页面

  1. 确保扩展插件目录已存在 sd-webui-controlnet,应用并重启用户页面

  1. 此时可以看到您的页面上已经有了 ControlNet 配置项

接下来需要下载 SD 需要的模型,进入 HuggingFace,可以看到 ControlNet 官方模型列表

https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main

  1. 这里我们以 OpenPose 为例,右键 下载按钮,点击复制链接

  1. 进入 ControlNet 目录,将上面的文件离线上传。由于 HuggingFace 为境外网站,您可能需要多等待一会时间。也可以先下载到本地后再进行上传。

需要注意的是,OpenPose 还需要一些预处理器,为了提升出图效率并降低费用,建议这些也手动下载

对应地址

下载地址 存放目录
https://huggingface.co/lllyasviel/Annotators/resolve/main/body_pose_model.pth /mnt/auto/sd/extensions/sd-webui-controlnet-main/annotator/downloads/openpose/body_pose_model.pth
https://huggingface.co/lllyasviel/Annotators/resolve/main/hand_pose_model.pth /mnt/auto/sd/extensions/sd-webui-controlnet-main/annotator/downloads/openpose/hand_pose_model.pth
https://huggingface.co/lllyasviel/Annotators/resolve/main/facenet.pth /mnt/auto/sd/extensions/sd-webui-controlnet-main/annotator/downloads/openpose/facenet.pth

除此之外,如果您需要编辑姿势,还需要安装姿势编辑器插件

插件的地址为 https://github.com/huchenlei/sd-webui-openpose-editor

插件安装完成后,在 Release 列表,您还需要下载并上传解压 dist.zip 到 sd-webui-openpose-editor 目录

重载 WebUI 后,您就可以正常使用 OpenPose 功能了

如下图,您需要先上传一张图片,勾选“启用”和“Allow Preview”,选择 “预处理” 为 “openpose_full” 和 “模型” 为 “control_v11p_sd15_openpose”

而后点击他们中间的按钮,即可生成姿势

通过姿势右下角的 edit,您可以自由修改姿势关键节点,并在文生图过程中得到满足姿势的图片

相关实践学习
【文生图】一键部署Stable Diffusion基于函数计算
本实验教你如何在函数计算FC上从零开始部署Stable Diffusion来进行AI绘画创作,开启AIGC盲盒。函数计算提供一定的免费额度供用户使用。本实验答疑钉钉群:29290019867
建立 Serverless 思维
本课程包括: Serverless 应用引擎的概念, 为开发者带来的实际价值, 以及让您了解常见的 Serverless 架构模式
相关文章
|
23天前
|
弹性计算 人工智能 自然语言处理
魔搭社区与函数计算:高效部署开源大模型的文本生成服务体验
在数字化时代,人工智能技术迅速发展,开源大模型成为重要成果。魔搭社区(ModelScope)作为开源大模型的聚集地,结合阿里云函数计算,提供了一种高效、便捷的部署方式。通过按需付费和弹性伸缩,开发者可以快速部署和使用大模型,享受云计算的便利。本文介绍了魔搭社区与函数计算的结合使用体验,包括环境准备、部署应用、体验使用和资源清理等步骤,并提出了改进建议。
|
27天前
|
缓存 前端开发 JavaScript
前端serverless探索之组件单独部署时,利用rxjs实现业务状态与vue-react-angular等框架的响应式状态映射
本文深入探讨了如何将RxJS与Vue、React、Angular三大前端框架进行集成,通过抽象出辅助方法`useRx`和`pushPipe`,实现跨框架的状态管理。具体介绍了各框架的响应式机制,展示了如何将RxJS的Observable对象转化为框架的响应式数据,并通过示例代码演示了使用方法。此外,还讨论了全局状态源与WebComponent的部署优化,以及一些实践中的改进点。这些方法不仅简化了异步编程,还提升了代码的可读性和可维护性。
|
28天前
|
Serverless 数据安全/隐私保护 前端开发
大模型代码能力体验报告之贪吃蛇小游戏《一》:Claude.ai篇 - 生成、预览和快速部署的serverless一条龙
本文介绍了通过Claude.ai生成并优化Web版贪吃蛇游戏的过程,展示了其强大的代码生成功能及用户友好的界面设计。从初始版本的快速生成到根据用户反馈调整游戏速度,再到提供多种实用工具如文件管理、版本控制和一键部署,Claude.ai不仅是一个代码助手,更像是一个全面的serverless开发平台。文中还呼吁国内厂商关注此类技术的发展。
|
1月前
|
人工智能 弹性计算 自然语言处理
《触手可及,函数计算玩转 AI 大模型》解决方案体验与部署评测
在AI技术快速发展的背景下,大模型正推动各行业的智能化转型。企业为抓住机遇,纷纷寻求部署AI大模型以满足特定业务需求。阿里云函数计算凭借按量付费、卓越弹性和快速交付等优势,为企业提供了高效、安全的AI大模型部署方案。本文将详细介绍阿里云函数计算的技术解决方案及其在文生文、图像生成和语音生成等领域的应用实例,展示其在降低成本、提高效率和增强灵活性方面的显著优势。
|
1月前
|
弹性计算 Serverless API
海量大模型如何一键部署上云,函数计算 x ModelScope 社区给出答案
得益于阿里云函数计算的产品能力,魔搭 SwingDeploy 后的模型推理 API 服务默认具备极致弹性伸缩(缩零能力)、GPU 虚拟化(最小 1GB 显存粒度)、异步调用能力、按用付费、闲置计费等能力,这些能力帮助算法工程师大大加快了魔搭开源模型投入生产的生命周期。
|
2月前
|
存储 人工智能 弹性计算
函数计算部署 AI 大模型解决方案测评
函数计算部署 AI 大模型解决方案测评
|
2月前
|
JSON Serverless 数据格式
体验函数计算一键部署 Flux 超写实文生图模型部署
体验函数计算一键部署 Flux 超写实文生图模型部署
|
2月前
|
人工智能 自然语言处理 Serverless
阿里云函数计算 x NVIDIA 加速企业 AI 应用落地
阿里云函数计算与 NVIDIA TensorRT/TensorRT-LLM 展开合作,通过结合阿里云的无缝计算体验和 NVIDIA 的高性能推理库,开发者能够以更低的成本、更高的效率完成复杂的 AI 任务,加速技术落地和应用创新。
152 13
|
3月前
|
Serverless API 异构计算
函数计算产品使用问题之修改SD模版应用的运行环境
函数计算产品作为一种事件驱动的全托管计算服务,让用户能够专注于业务逻辑的编写,而无需关心底层服务器的管理与运维。你可以有效地利用函数计算产品来支撑各类应用场景,从简单的数据处理到复杂的业务逻辑,实现快速、高效、低成本的云上部署与运维。以下是一些关于使用函数计算产品的合集和要点,帮助你更好地理解和应用这一服务。
|
3月前
|
运维 Serverless 网络安全
函数计算产品使用问题之通过仓库导入应用时无法配置域名外网访问,该如何排查
函数计算产品作为一种事件驱动的全托管计算服务,让用户能够专注于业务逻辑的编写,而无需关心底层服务器的管理与运维。你可以有效地利用函数计算产品来支撑各类应用场景,从简单的数据处理到复杂的业务逻辑,实现快速、高效、低成本的云上部署与运维。以下是一些关于使用函数计算产品的合集和要点,帮助你更好地理解和应用这一服务。

热门文章

最新文章

下一篇
无影云桌面