通过在线迁移转存Stable Diffusion模型库到NAS

本文涉及的产品
对象存储 OSS,20GB 3个月
文件存储 NAS,50GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
简介: 本文将会指导您将流行的Stable Diffusion模型库迁移到您自有的文件存储NAS空间里

步骤一:创建NAS

您需要一个NAS,若您还未创建NAS,以下步骤将引导您创建NAS。若您已有NAS,可以跳过本章节指南。

1.登录https://vpcnext.console.aliyun.com/overview,进入专有网络控制台。


2.点击专有网络,选择地域,此处示例选择杭州,点击创建专有网络。


3.在创建界面,您可以自定义名称,IPV4网段可选择提示中的网段,如192.168.0.0/16

资源组选中默认资源组,交换机名称可自定义,可用区可按需选择。选择完成后点击确定。


4.如下所示,创建成功。


5.进入nas控制台:https://nasnext.console.aliyun.com/overview.选择地域,此处选择杭州,点击文件系统列表,点击创建文件系统。


6.弹出如下所示框,点击创建通用型nas。


7.本例子中选择杭州,容量型存储规格(不同可用区有不同的规格,本例子选了可用区F,您可按需选择有容量型的可用区),协议类型选择NFS。

其它配置可保持默认。

此处选择之前步骤创建的专有网络和虚拟交换机。勾选服务协议,并点击购买。


8.创建成功后,如下所示:

在nas控制台中可看见文件系统:


步骤二:将镜像站模型库转存到个人NAS

1.登录https://mgw.console.aliyun.com/?spm=a2c4g.98544.0.0.16b920a0sQiXVx#/source?_k=qa7hkf,进入旧版数据迁移服务控制台。为在线迁移创建源端数据地址和目的端数据地址,如下所示,点击数据地址>创建数据地址:


2.如下所示,数据类型为OSS,您可自定义数据名称,并选择数据所在区域,示例为杭州。Endpoint请选择带有internal的地址,此地址可以用内网传输,免去流量费用。

输入以下参数:

镜像站的Access Key Id:xxxxxx

镜像站的Access Key Secret:xxxxxx

输入对应Region的存储桶名称,您可在下方参考镜像站bucket名称,本示例地域为杭州,因此选择sdmodel-hangzhou。

OSS Prefix中请输入data-oss。

输入完成后点击确定。

镜像站bucket名称:

模型库镜像站下载

bucket名称

域名信息

华东1(杭州)

sdmodel-hangzhou

http://oss-cn-hangzhou-internal.aliyuncs.com

华东2(上海)

sdmodel-shanghai

http://oss-cn-shanghai-internal.aliyuncs.com

华北1(青岛)

sdmodel-qingdao

http://oss-cn-qingdao-internal.aliyuncs.com

华北2(北京)

sdmodel-beijing

http://oss-cn-beijing-internal.aliyuncs.com

华北3(张家口)

sdmodel-zhangjiakou

http://oss-cn-zhangjiakou-internal.aliyuncs.com

华北5(呼和浩特)

sdmodel-huhehaote

http://oss-cn-huhehaote.aliyuncs.com

华北6(乌兰察布)

sdmodel-wulanchabu

http://oss-cn-wulanchabu.aliyuncs.com

华南1(深圳)

sdmodel-shenzhen

http://oss-cn-shenzhen-internal.aliyuncs.com

华南2(河源)

sdmodel-heyuan

http://oss-cn-heyuan.aliyuncs.com

华南3(广州)

sdmodel-guangzhou

http://oss-cn-guangzhou-internal.aliyuncs.com

西南1(成都)

sdmodel-chengdu

http://oss-cn-chengdu.aliyuncs.com

新加坡

sdmodel-xjp

http://oss-ap-southeast-1-internal.aliyuncs.com


如下所示,创建成功。

3.再次点击创建数据地址,数据源选择nas,若弹出如下所示框,点击去授权。

点击同意授权。

授权完成后请再次点击创建数据地址,数据源选择nas。

如下所示,您可自定义名称,区域选择与oss同地域,文件系统和挂载点您可直接下拉选择,为前面步骤创建的nas文件系统和挂载点。点击确定。


等待一定时间后,如下所示创建成功。


4.通过迁移任务,实现模型库转存。在迁移任务中点击创建迁移任务。

弹出如下界面,勾选条款,并点击下一步

点击确认,继续创建。由于使用内网地址传输,因此不会造成流量费,但会产生少许oss请求费,此费用较低。


5.如下所示,您可自定义任务名称,源地址选择刚才oss创建的地址,目的地址选择刚才nas创建的地址。指定目录选择包含,并输入 models 。

其它默认,点击下一步。


6.如下所示,您需要评估待迁移存储量和待迁移文件个数。待迁移存储量请填写70GB,待迁移文件个数请填写50个。为保证您的业务不受影响,您可按需选择限流时间段和最大流量,此处仅示例。选择完成后点击创建。

如下所示,任务已创建,您可刷新页面查看任务状态,当任务显示迁移中,您可在管理中查看迁移详情,等待10-15分钟后,下图的任务状态变已完成,表示迁移已完成。

7.至此,您已经拥有了个人模型库空间,后续可以挂载到不同的服务进行推理。

步骤三:将个人NAS挂载并部署PAI-EAS服务

1.进入PAI管理控制台选择模型在线服务(EAS),选择地域,本示例选择杭州,点击部署服务。

2.在如下所示界面中,设置PAI挂载NAS。您可自定义服务名称,其它设置跟下图保持一致。

image.png

3.如下所示,再进行模型配置,选择NAS挂载,NAS挂载点选择之前创建的NAS,NAS源路径选择 / ,挂载路径填写 /code/stable-diffusion-webui/data-oss ,运行命令填写 ./webui.sh --listen --port=8000 --skip-version-check --no-hashing --no-download-sd-model --skip-install --api --filebrowser --blade --data-dir /code/stable-diffusion-webui/data-oss 。

image.png

4.如您领取了免费试用,选择如下规格:

image.png

如您选择自己创建资源,选择如下:

image.png

5.关闭服务随开随停

image.png

6.点击部署

image.png

7.等待几分钟,可看见服务运行。

步骤四:启动WebUI,切换不同的模型进行模型推理

1.在PAI EAS模型在线服务页面,找到您创建的服务,单击其服务方式列下的查看Web应用。

2.启动WebUI。在WebUI页面Stable Diffusion模型(ckpt)下拉列表中切换指定模型,进行模型推理验证。此处选择名称为dreamshaper_7的模型,选择完成后,切换模型时间预计需要几十秒,请耐心等待。

image.png

切换完成后,在文生图页面输入如下信息:

  • 提示词:photo of the warrior Aragorn from Lord of the Rings, film grain
  • 反向提示词:BadDream, (UnrealisticDream:1.2)
  • 采样方法(Sampler):DPM++ SDE Karras
  • 迭代步数(steps):30
  • 相关性(CFG scale):4
  • 随机种(seed):82742
  1. image.png
相关实践学习
基于ECS和NAS搭建个人网盘
本场景主要介绍如何基于ECS和NAS快速搭建个人网盘。
阿里云文件存储 NAS 使用教程
阿里云文件存储(Network Attached Storage,简称NAS)是面向阿里云ECS实例、HPC和Docker的文件存储服务,提供标准的文件访问协议,用户无需对现有应用做任何修改,即可使用具备无限容量及性能扩展、单一命名空间、多共享、高可靠和高可用等特性的分布式文件系统。 产品详情:https://www.aliyun.com/product/nas
相关文章
|
6月前
|
机器学习/深度学习 人工智能 编译器
YOLO-NAS:面向目标检测的下一代模型
YOLO-NAS:面向目标检测的下一代模型
|
3月前
|
消息中间件 存储 Serverless
函数计算产品使用问题之怎么访问网络附加存储(NAS)存储模型文件
函数计算产品作为一种事件驱动的全托管计算服务,让用户能够专注于业务逻辑的编写,而无需关心底层服务器的管理与运维。你可以有效地利用函数计算产品来支撑各类应用场景,从简单的数据处理到复杂的业务逻辑,实现快速、高效、低成本的云上部署与运维。以下是一些关于使用函数计算产品的合集和要点,帮助你更好地理解和应用这一服务。
|
4月前
|
弹性计算 运维 Serverless
函数计算产品使用问题之更换NAS模型后遇到问题,该如何排查
函数计算产品作为一种事件驱动的全托管计算服务,让用户能够专注于业务逻辑的编写,而无需关心底层服务器的管理与运维。你可以有效地利用函数计算产品来支撑各类应用场景,从简单的数据处理到复杂的业务逻辑,实现快速、高效、低成本的云上部署与运维。以下是一些关于使用函数计算产品的合集和要点,帮助你更好地理解和应用这一服务。
|
5月前
|
存储 运维 Serverless
函数计算产品使用问题之模型存放在NAS中,如何删除NAS中的模型文件
函数计算产品作为一种事件驱动的全托管计算服务,让用户能够专注于业务逻辑的编写,而无需关心底层服务器的管理与运维。你可以有效地利用函数计算产品来支撑各类应用场景,从简单的数据处理到复杂的业务逻辑,实现快速、高效、低成本的云上部署与运维。以下是一些关于使用函数计算产品的合集和要点,帮助你更好地理解和应用这一服务。
|
6月前
|
运维 Serverless 文件存储
Serverless 应用引擎产品使用之阿里函数计算中stable. diffusion应用的服务器可以使用那种99元100G一年的道用型nas如何解决
阿里云Serverless 应用引擎(SAE)提供了完整的微服务应用生命周期管理能力,包括应用部署、服务治理、开发运维、资源管理等功能,并通过扩展功能支持多环境管理、API Gateway、事件驱动等高级应用场景,帮助企业快速构建、部署、运维和扩展微服务架构,实现Serverless化的应用部署与运维模式。以下是对SAE产品使用合集的概述,包括应用管理、服务治理、开发运维、资源管理等方面。
|
存储 Serverless 文件存储
将 Stable Diffusion 服务部署在 FC+NAS
将 Stable Diffusion 服务部署在 FC+NAS
242 1
|
存储 Serverless 网络安全
热门Stable Diffusion模型库快速转存至个人NAS与加载训练
本实验介绍如何使用阿里云在线迁移服务,将热门模型库从国内镜像站点转存到个人文件存储NAS中,并且可将NAS里的模型挂载到FC函数计算或PAI平台进行推理和训练。
|
文件存储 数据库 存储
大语言模型转存至NAS并挂载到PAI-DSW构建企业专属知识库
介绍如何将模型库的大语言模型转载到文件存储NAS,并挂载到PAI-DSW,利用Langchain构建可更换大语言模型的企业专属知识库。
|
存储 运维 监控
阿里云的文件存储NAS使用心得
阿里云的文件存储NAS使用心得
370 0
|
运维 文件存储 对象存储
【运维知识进阶篇】用阿里云部署kod可道云网盘(配置Redis+MySQL+NAS+OSS)(三)
【运维知识进阶篇】用阿里云部署kod可道云网盘(配置Redis+MySQL+NAS+OSS)(三)
325 0