热门Stable Diffusion模型库快速转存至个人NAS与加载训练

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 本实验介绍如何使用阿里云在线迁移服务,将热门模型库从国内镜像站点转存到个人文件存储NAS中,并且可将NAS里的模型挂载到FC函数计算或PAI平台进行推理和训练。

热门Stable Diffusion模型库快速转存至个人NAS与加载训练


1. 实验说明

在实验开始前,请您务必阅读如下说明再进行实验,以保证实验流畅。


实验资源介绍:

云起实验室支持领取免费试用额度个人账户资源两种实验资源方式。

• 如您是某产品新用户,可单击领取免费试用额度,在下方卡片领取某产品的免费资源,领用步骤可参考下方说明。

• 如您是老用户,两款产品都无试用资格,您可直接单击个人账号资源,单击确认开启实验即可开始实验,按照第二章指引开始实验步骤。其中创建的资源归属于您个人,请注意费用。


领用步骤:

在实验开始前,请您选择领取免费试用额度

如您有NAS试用资格,请开通文件存储NAS免费试用。

2.1 在弹出的卡片中,选择文件存储NAS,单击立即试用

2.2 在文件存储NAS面板,选中服务协议,然后单击立即试用,如弹出新的页面,您可先忽略。

如您有PAI-EAS试用资格,请开通模型在线服务PAI-EAS免费试用。

3.1 在弹出的卡片中,选择PAI-EAS,单击立即试用

3.2 在模型在线服务PAI-EAS面板,勾选服务协议后,单击立即试用,如弹出新的页面,您可先忽略。

领取完免费试用后,返回资源领取界面,无论您是否领取相应产品的免费试用,都可单击我已开通,进入实验,并按照第二章指引开始实验步骤。未领取免费试用的产品将使用您个人的资源,请注意费用。


2. 创建NAS

您需要一个NAS,若您还未创建NAS,以下步骤将引导您创建NAS。若您已有NAS,可以跳过本章节指南。

登录https://vpcnext.console.aliyun.com/overview,进入专有网络控制台。

点击专有网络,选择地域,此处示例选择杭州,点击创建专有网络。

在创建界面,您可以自定义名称,IPV4网段可选择提示中的网段,如192.168.0.0/16

资源组选中默认资源组,交换机名称可自定义,可用区可按需选择。选择完成后点击确定。

如下所示,创建成功。

进入nas控制台:https://nasnext.console.aliyun.com/overview

点击文件系统列表,选择地域,此处选择杭州,点击创建文件系统。

弹出如下所示框,点击创建通用型nas。

本例子中选择杭州,容量型存储规格(不同可用区有不同的规格,本例子选了可用区F,您可按需选择有容量型的可用区),协议类型选择NFS。

其它配置可保持默认。

此处选择之前步骤创建的专有网络和虚拟交换机。勾选服务协议,并点击购买。

创建成功后,如下所示:

在nas控制台中可看见文件系统:


3. 将镜像站模型库转存到个人NAS

登录https://mgw.console.aliyun.com/?spm=a2c4g.98544.0.0.16b920a0sQiXVx#/source?_k=qa7hkf,进入旧版数据迁移服务控制台。

为在线迁移创建源端数据地址和目的端数据地址,如下所示,单击数据地址>创建数据地址

如下所示,数据类型为OSS,您可自定义数据名称,并选择数据所在区域,示例为杭州。Endpoint请选择带有internal的地址,此地址可以用内网传输,免去流量费用。

输入以下参数:

镜像站的Access Key Id:xxxxxx

镜像站的Access Key Secret:xxxxxx

输入对应Region的存储桶名称,您可在下方参考镜像站bucket名称,本示例地域为杭州,因此选择sdmodel-hangzhou。

OSS Prefix中请输入data-oss。

输入完成后单击确定

镜像站bucket名称:

模型库镜像站下载

bucket名称

域名信息

华东1(杭州)

sdmodel-hangzhou

http://oss-cn-hangzhou-internal.aliyuncs.com

华东2(上海)

sdmodel-shanghai

http://oss-cn-shanghai-internal.aliyuncs.com

华北1(青岛)

sdmodel-qingdao

http://oss-cn-qingdao-internal.aliyuncs.com

华北2(北京)

sdmodel-beijing

http://oss-cn-beijing-internal.aliyuncs.com

华北3(张家口)

sdmodel-zhangjiakou

http://oss-cn-zhangjiakou-internal.aliyuncs.com

华北5(呼和浩特)

sdmodel-huhehaote

http://oss-cn-huhehaote.aliyuncs.com

华北6(乌兰察布)

sdmodel-wulanchabu

http://oss-cn-wulanchabu.aliyuncs.com

华南1(深圳)

sdmodel-shenzhen

http://oss-cn-shenzhen-internal.aliyuncs.com

华南2(河源)

sdmodel-heyuan

http://oss-cn-heyuan.aliyuncs.com

华南3(广州)

sdmodel-guangzhou

http://oss-cn-guangzhou-internal.aliyuncs.com

西南1(成都)

sdmodel-chengdu

http://oss-cn-chengdu.aliyuncs.com

如下所示,创建成功。

再次单击创建数据地址,数据源选择nas,若弹出如下所示框,单击去授权

单击同意授权

授权完成后请再次单击创建数据地址数据源选择nas

如下所示,您可自定义名称,区域选择与oss同地域,文件系统和挂载点您可直接下拉选择,为前面步骤创建的nas文件系统和挂载点。单击确定

等待一定时间后,如下所示创建成功。

通过迁移任务,实现模型库转存。在迁移任务中单击创建迁移任务。

弹出如下界面,勾选条款,并单击下一步

单击确认,继续创建。由于使用内网地址传输,因此不会造成流量费,但会产生少许oss请求费,此费用较低。

如下所示,您可自定义任务名称,源地址选择刚才oss创建的地址,目的地址选择刚才nas创建的地址。指定目录选择包含,并输入 models 。

其它默认,单击下一步

如下所示,您需要评估待迁移存储量和待迁移文件个数。待迁移存储量请填写70GB,待迁移文件个数请填写50个。为保证您的业务不受影响,您可按需选择限流时间段和最大流量,此处仅示例。

选择完成后单击创建

如下所示,任务已创建,您可刷新页面查看任务状态,当任务显示迁移中,您可在管理中查看迁移详情,等待10-15分钟后,下图的任务状态变已完成,表示迁移已完成。

至此,您已经拥有了个人模型库空间,后续可以挂载到不同的服务进行推理。


4. 将个人NAS挂载并部署PAI 服务

  1. 进入如下网址:https://pai.console.aliyun.com/?regionId=cn-hangzhou&spm=5176.14066474.J_5834642020.4.2bfc426aLoMCbS&workspaceId=73265#/eas

选择模型在线服务(EAS),选择地域,本示例选择杭州,单击部署服务。

  1. 在如下所示界面中,设置PAI挂载NAS。

您可自定义服务名称,其它设置跟下图保持一致。

  1. 如下所示,再进行模型配置,选择NAS挂载,NAS挂载点选择之前创建的NAS,NAS源路径选择 / ,挂载路径填写 /code/stable-diffusion-webui/data-oss ,运行命令填写 ./webui.sh --listen --port=8000 --skip-version-check --no-hashing --no-download-sd-model --skip-install --api --filebrowser --blade --data-dir /code/stable-diffusion-webui/data-oss 。

  1. 如您领取了免费试用,选择如下规格:

如您选择自己创建资源,选择如下:

  1. 关闭服务隋开随停。

  1. 单击部署。

  1. 等待几分钟,可看见服务运行。


5. 启动WebUI,切换不同的模型进行模型推理

在PAI EAS模型在线服务页面,找到您创建的服务,单击其服务方式列下的查看Web应用

在WebUI页面,点击左上角的下拉菜单,可以看到有许多模型,您在这里可以自动切换不同类型的cpkt模型。 此处选择“GhostMix”模型,等待几十秒模型加载完毕。

2.1 在提示词中输入:

(masterpiece, top quality, best quality, official art, beautiful and aesthetic:1.2), (1girl), extreme detailed,(fractal art:1.3),colorful,highest detailed..

2.2 在反向提示词中输入:

(worst quality, low quality:2), monochrome, zombie,overexposure, watermark,text,bad anatomy,bad hand,extra hands,extra fingers,too many fingers,fused fingers,bad arm,distorted arm,extra arms,fused arms,extra legs,missing leg,disembodied leg,extra nipples, detached arm, liquid hand,inverted hand,disembodied limb, small breasts, loli, oversized head,extra body,completely nude, extra navel,easynegative,(hair between eyes),sketch, duplicate, ugly, huge eyes, text, logo, worst face, (bad and mutated hands:1.3), (blurry:2.0), horror, geometry, bad_prompt, (bad hands), (missing fingers), multiple limbs, bad anatomy, (interlocked fingers:1.2), Ugly Fingers, (extra digit and hands and fingers and legs and arms:1.4), ((2girl)), (deformed fingers:1.2), (long fingers:1.2),(bad-artist-anime), bad-artist, bad hand, extra legs ,(ng_deepnegative_v1_75t).

2.3 输入后,单击生成。您会在右侧得到生成的图片。

本次提供的镜像模型库详细信息详见如下的链接,您可以通过语雀Stable diffusion模型库文档中的说明获取更多的样图和对应的提示词信息,探索更多好的玩法。


6. 清理及后续

清理

完成教程后,请参考以下场景处理NAS资源:

如果无需继续使用NAS文件系统,可以登录文件存储控制台,在文件系统列表页面,找到目标文件系统,在操作列,选择>删除,移除挂载点及生效策略,然后单击删除。

如果需要继续使用NAS文件系统,请务必至少在资源包试用到期1小时前为您的阿里云账号充值或购买新的资源包。欠费后如果在延期免停权益额度内,您的服务将不会受到停服影响。欠费后如果超出了延期免停权益额度,NAS服务将自动停止。如果您在NAS停服后15天内未补足欠款,将视为您主动放弃NAS存储服务,阿里云将终止本产品服务条款并停止为您继续提供服务,您保存在阿里云的全部数据将会被清理删除,清理后数据不可恢复。

如果无需继续使用EAS服务,您可以按照以下操作步骤删除模型服务。

登录PAI控制台

在页面左上方,选择服务的地域。

在左侧导航栏,选择模型部署>模型在线服务(EAS),进入PAI EAS模型在线服务页面。

在推理服务页面,单击目标服务操作列下的删除,删除模型服务。

领取抵扣包后,请在抵扣包额度和有效期内使用。如果抵扣包额度用尽或超出有效期,继续使用计算资源,会产生后付费账单。

请前往节省计划页面,查看抵扣包剩余金额和过期时间。

如果需要继续使用EAS服务,请务必至少在抵扣包额度用尽或试用到期1小时前为您的阿里云账号充值,到期未续费的EAS服务会因欠费而被自动停止。

后续

在抵扣包有效期期间,您还可自行构造测试数据,继续在SDWebUI页面进行推理验证。

实验链接:https://developer.aliyun.com/adc/scenario/564ec40de5ea4d74a4402c037a049723


相关实践学习
基于ECS和NAS搭建个人网盘
本场景主要介绍如何基于ECS和NAS快速搭建个人网盘。
阿里云文件存储 NAS 使用教程
阿里云文件存储(Network Attached Storage,简称NAS)是面向阿里云ECS实例、HPC和Docker的文件存储服务,提供标准的文件访问协议,用户无需对现有应用做任何修改,即可使用具备无限容量及性能扩展、单一命名空间、多共享、高可靠和高可用等特性的分布式文件系统。 产品详情:https://www.aliyun.com/product/nas
相关文章
|
7月前
|
机器学习/深度学习 人工智能 编译器
YOLO-NAS:面向目标检测的下一代模型
YOLO-NAS:面向目标检测的下一代模型
|
4月前
|
消息中间件 存储 Serverless
函数计算产品使用问题之怎么访问网络附加存储(NAS)存储模型文件
函数计算产品作为一种事件驱动的全托管计算服务,让用户能够专注于业务逻辑的编写,而无需关心底层服务器的管理与运维。你可以有效地利用函数计算产品来支撑各类应用场景,从简单的数据处理到复杂的业务逻辑,实现快速、高效、低成本的云上部署与运维。以下是一些关于使用函数计算产品的合集和要点,帮助你更好地理解和应用这一服务。
|
5月前
|
弹性计算 运维 Serverless
函数计算产品使用问题之更换NAS模型后遇到问题,该如何排查
函数计算产品作为一种事件驱动的全托管计算服务,让用户能够专注于业务逻辑的编写,而无需关心底层服务器的管理与运维。你可以有效地利用函数计算产品来支撑各类应用场景,从简单的数据处理到复杂的业务逻辑,实现快速、高效、低成本的云上部署与运维。以下是一些关于使用函数计算产品的合集和要点,帮助你更好地理解和应用这一服务。
|
6月前
|
存储 运维 Serverless
函数计算产品使用问题之模型存放在NAS中,如何删除NAS中的模型文件
函数计算产品作为一种事件驱动的全托管计算服务,让用户能够专注于业务逻辑的编写,而无需关心底层服务器的管理与运维。你可以有效地利用函数计算产品来支撑各类应用场景,从简单的数据处理到复杂的业务逻辑,实现快速、高效、低成本的云上部署与运维。以下是一些关于使用函数计算产品的合集和要点,帮助你更好地理解和应用这一服务。
|
6月前
|
消息中间件 Serverless 文件存储
Serverless 应用引擎产品使用合集之在NAS中下载torch和diffusers依赖包,如何加载
阿里云Serverless 应用引擎(SAE)提供了完整的微服务应用生命周期管理能力,包括应用部署、服务治理、开发运维、资源管理等功能,并通过扩展功能支持多环境管理、API Gateway、事件驱动等高级应用场景,帮助企业快速构建、部署、运维和扩展微服务架构,实现Serverless化的应用部署与运维模式。以下是对SAE产品使用合集的概述,包括应用管理、服务治理、开发运维、资源管理等方面。
|
7月前
|
运维 Serverless 文件存储
Serverless 应用引擎产品使用之阿里函数计算中stable. diffusion应用的服务器可以使用那种99元100G一年的道用型nas如何解决
阿里云Serverless 应用引擎(SAE)提供了完整的微服务应用生命周期管理能力,包括应用部署、服务治理、开发运维、资源管理等功能,并通过扩展功能支持多环境管理、API Gateway、事件驱动等高级应用场景,帮助企业快速构建、部署、运维和扩展微服务架构,实现Serverless化的应用部署与运维模式。以下是对SAE产品使用合集的概述,包括应用管理、服务治理、开发运维、资源管理等方面。
|
存储 Serverless 文件存储
将 Stable Diffusion 服务部署在 FC+NAS
将 Stable Diffusion 服务部署在 FC+NAS
246 1
|
文件存储 数据库 存储
大语言模型转存至NAS并挂载到PAI-DSW构建企业专属知识库
介绍如何将模型库的大语言模型转载到文件存储NAS,并挂载到PAI-DSW,利用Langchain构建可更换大语言模型的企业专属知识库。
|
存储 运维 监控
阿里云的文件存储NAS使用心得
阿里云的文件存储NAS使用心得
385 0
|
运维 文件存储 对象存储
【运维知识进阶篇】用阿里云部署kod可道云网盘(配置Redis+MySQL+NAS+OSS)(三)
【运维知识进阶篇】用阿里云部署kod可道云网盘(配置Redis+MySQL+NAS+OSS)(三)
330 0