热门Stable Diffusion模型库快速转存至个人OSS与加载训练

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 本实验介绍如何使用阿里云在线迁移服务,将热门模型库从国内镜像站点转存到个人对象存储OSS空间,并且可将OSS Bucket里的模型挂载到FC函数计算或PAI平台进行推理和训练。

热门Stable Diffusion模型库快速转存至个人OSS与加载训练

1. 实验资源方式简介及开始实验

云起实验室实验资源方式介绍

云起实验室支持实验资源体验、领取免费试用额度、个人账户资源三种实验资源方式。

  • 实验资源体验
  • 资源归属于客户,仅供本次实验使用
  • 实验结束后,实验资源及实验记录将被释放。
  • 资源创建过程需要3~5分钟(视资源不同开通时间有所差异,ACK等资源开通时间较长)。完成实验资源的创建后,在实验室页面左侧导航栏中,单击云产品资源列表,可查看本次实验资源相关信息(例如子用户名称、子用户密码、AK ID、AK Secret、资源中的项目名称等)。
  • 说明:实验环境一旦开始创建则进入计时阶段,建议学员先基本了解实验具体的步骤、目的,真正开始做实验时再进行创建。

  • 领取免费试用额度
  • 使用个人账号开通试用,平台仅提供手册参考。
  • 所有实验操作将保留至您的账号,请谨慎操作。
  • 在实验页面下方卡片会展示本实验支持的试用规格,可以选择你要试用的云产品资源进行开通。您在实验过程中,可以随时用右下角icon唤起试用卡片。阿里云支持试用的产品列表、权益及具体规则说明请参考开发者试用中心
  • 说明:试用云产品开通在您的个人账号下,并占用您的试用权益。如试用超出免费试用额度,可能会产生一定费用。

  • 个人账户资源
  • 使用您个人的云资源进行操作,资源归属于个人。
  • 所有实验操作将保留至您的账号,请谨慎操作。
  • 平台仅提供手册参考,不会对资源做任何操作。
  • 说明:使用个人账户资源,在创建资源时,可能会产生一定的费用,请您及时关注相关云产品资源的计费概述。

准备开始实验

在实验开始前,请您选择其中一种实验资源,单击确认开启实验

说明:每个实验所支持的实验资源方式都不相同,实验不一定能满足有三种实验资源方式,请根据实验的实际情况,进行选择。


2. 领取免费试用资源

重要提示,请您务必看完如下内容再进行实验。

  1. 本次实验转存的模型文件数据量达到78.5GB,超过OSS免费试用的20GB存储空间,将会有额外的存储费用
  2. 如果您不需要那么多的模型,转存后可以进入OSS控制台自行删除部分模型文件。

说明:

  • 若您是新用户,且符合免费试用资格,那您在右侧可同时领取OSS和PAI的免费试用,请按照本小节2和3的步骤领取免费资源,并按照4步骤进入实验。
  • 若您是老用户,您可能没有OSS或PAI的免费试用资格,在右侧界面中该产品领取按钮会显示灰度,此时您可以依然领取拥有免费试用资格的产品,按照本小节2或3的步骤领取,并按照4步骤进入实验。若两个产品都没有免费试用资格,您依然可以单击我已开通,进入实验开始实验。进入实验后,若按照第三小节的步骤创建资源并使用,没有领取免费资源的产品,可能会产生一定的费用,如OSS,推荐您此时购买对象存储预留空间产品抵扣费用,也可按量付费进行使用。

其它说明:

  • 试用云产品开通在您的个人账号下,并占用您的试用权益。如试用超出免费试用额度,可能会产生一定费用。阿里云支持试用的产品列表、权益及具体规则说明请参考开发者试用中心
  • PAI-EAS抵扣包只适用于本教程中的PAI-EAS产品。如果您领取了PAI-EAS抵扣包后,使用了PAI-EAS及PAI的其他产品功能(如PAI-DSW、PAI-DLC等),PAI-EAS产品产生的费用由抵扣包抵扣,其他产品功能产生的费用无法抵扣,会产生对应的费用账单。
  1. 在实验开始前,请您选择开通免费试用

  1. 开通对象存储OSS免费试用。

2.1 在实验室页面下方,选择对象存储OSS,单击立即试用

2.2 在对象存储OSS面板,选中服务协议,然后单击立即试用,如弹出新的页面,您可先忽略。

  1. 开通模型在线服务PAI-EAS免费试用。

3.1 在实验室页面下方,选择模型在线服务PAI-EAS,单击立即试用

3.2 在模型在线服务PAI-EAS面板,勾选服务协议后,单击立即试用,如弹出新的页面,您可先忽略。

  1. 领取完免费试用后,返回资源领取界面,单击我已开通,进入实验


3. 将模型文件一键转存到个人OSS Bucket

本步骤转存的模型文件详细介绍请参考《Stable diffusion流行模型介绍》。模型文件一共为78.5GB,请注意转存后将会产生存储费用,你可以随时到OSS控制台删除不需要的模型文件。

如果您已经在活动页面完成了转存,请直接跳转到下一个章节。

  1. 进入《Stable diffusion模型库,AIGC画风任你选》页面活动,在方案1:使用对象存储 OSS 作为模型库存储空间处单击一键复制。

2. 单击一键复制按钮后,将会弹出公共库转存信息对话框,输入新建对象存储OSS Bucket名称,此处示例填写osstestforsd;地域请从杭州,上海,北京,乌兰察布这四个Region选择,此处选择华东2(上海);签署转存的授权协议;最后单击确认转存

3. 确认转存后几秒钟,将会弹出文件框提示转存成功,记录对象存储OSS Bucket名称为 osstestforsd

4. 前往对象存储OSS控制台,确认您刚才转存的模型文件。在Bucket列表找并单击osstestforsd

进入Bucket的文件管理-文件列表处,然后逐个单击文件夹,进入/data-oss/models的目录,可以看到模型文件已经转存进来。如果您有部分模型不需要,请到对应的文件夹中,删除对应的模型文件。


4. 创建模型在线服务PAI-EAS

您需要创建模型在线服务PAI-EAS的默认工作空间,若您还未创建默认工作空间,以下步骤将引导您创建默认工作空间。若您已有默认工作空间,可以跳过本小节。

说明:

  • 如果您选择的免费试用,并且在第二小节中领取了模型在线服务PAI-EAS的免费试用,请您根据如下操作,创建默认工作空间。
  • 如果您选择的免费试用,但是您的阿里云主账号没有资格领取模型在线服务PAI-EAS的免费试用,请您根据如下操作,创建默认工作空间,并且会产生一定的费用,详情请参考PAI-EAS计费说明
  • 如果您选择的个人资源,请您根据如下操作,创建默认工作空间,并且会产生一定的费用,详情请参考PAI-EAS计费说明
  1. 前往PAI控制台
  2. 开通机器学习PAI并创建默认工作空间。其中关键参数配置如下。
  • 本教程地域选择:华东2(上海)
  • 组合开通:本教程无需使用其他产品,去除勾选MaxCompute和DataWorks产品。如果您勾选了MaxCompute和DataWorks产品,在开通时会产生如下图报错。

  • 服务角色授权:单击去授权,完成服务角色授权。

说明:更多详细内容,请参见开通并创建默认工作空间。如果您后续使用RAM用户来部署模型,您需要将RAM用户添加为默认工作空间的成员,并配置管理员角色,详情请参见管理成员;同时,需要为RAM用户授予PAI-EAS的管理权限,详情请参见云产品依赖与授权:EAS

  1. 返回如下页面,表示您已成功开通机器学习PAI并创建默认工作空间。

说明: 如果您在开通时出现Create workspace failed, status: FAILURE!报错提示,您可忽略此报错,继续进行下一步实验操作。


5. 部署PAI-EAS服务并挂载个人OSS Bucket

  1. 登录PAI控制台
  2. 在左侧导航栏,单击工作空间列表

  1. 工作空间列表页面,找到默认工作空间,单击默认工作空间名称。

  1. 在左侧导航栏,选择模型部署>模型在线服务(EAS),进入PAI EAS模型在线服务页面。

说明:如果界面弹出一键授权对话框,单击授权即可。

  1. 部署服务页面,单击新建服务,在模型服务信息配置以下关键参数,其他参数保持默认即可。
  • 服务名称:自定义一个服务名称,本教程示例为sdwebui_test
  • 部署方式:本次选择镜像部署AI-WEB应用
  • 镜像选择:在PAI平台镜像列表中选择stable-diffusion-webui;镜像版本选择3.2说明:由于版本迭代迅速,部署时镜像版本选择最高版本即可。
  • 勾选并同意PAI服务专用协议

6. 在模型服务信息区域,配置以下参数。

  1. 单击填写模型配置,进行模型配置
  2. 模型配置选择OSS挂载,将OSS路径配置为步骤1中创建的OSS Bucket路径。例如:oss://osstestforsd/data-oss/
  1. 挂载路径:将您配置的OSS文件目录挂载到镜像的/code/stable-diffusion-webui路径下。例如配置为:/code/stable-diffusion-webui/data-oss
  2. 是否只读:开关关闭。
  1. 运行命令中增加--data-dir 挂载目录,其中挂载目录需要与模型配置挂载路径的最后一级目录一致。例如:./webui.sh --listen --port 8000 --skip-version-check --no-hashing --no-download-sd-model --skip-install --api --filebrowser --data-dir data-oss

7. 在资源部署信息区域,配置如下参数

  1. 资源种类:选择公共资源组
  2. 资源配置方法:选择常规资源配置
  3. 资源配置选择:
  4. 如果您使用免费试用资源,本教程实例规格选择试用活动页签的ecs.gn6i-c8g1.2xlarge.limit说明:阿里云免费试用提供的机型包括以下三种机型,仅选择试用活动页签下的这三种机型来部署服务产生的费用,才能使用抵扣包抵扣。 ecs.g6.xlarge.limit ecs.gn6i-c8g1.2xlarge.limit ecs.gn7i-c8g1.2xlarge.limit
  1. 如果您使用个人账户资源,本教程实例规格选择试用活动页签的ecs.gn6i-c8g1.2xlarge.limit。
  1. 额外系统盘:本教程不需要额外系统盘。

8. 在部署服务页面下方,单击部署。

9. 在部署服务对话框中,单击确定

10. 在PAI EAS模型在线服务页面,等待1~3分钟,当模型状态创建中变为运行中,表明服务已成功部署,您可继续后续的模型推理操作。


6. 启动WebUI,切换不同的模型进行模型推理

  1. PAI EAS模型在线服务页面,找到您创建的服务,单击其服务方式列下的查看Web应用

  1. 在WebUI页面,单击左上角的下拉菜单,可以看到有许多模型,您在这里可以自动切换不同类型的cpkt模型。 此处选择dreamshaper_7模型,等待几十秒模型加载完毕后。输入提示词和反向提示词即可生成。
  1. 提示词:
photo of the warrior Aragorn from Lord of the Rings, film grain
  1. 反向提示词
BadDream, (UnrealisticDream:1.2), (worst quality, low quality:2), monochrome, zombie, overexposure, watermark,text,bad anatomy, bad hand, extra hands, extra fingers, too many fingers, fused fingers, bad arm, distorted arm, extra arms, fused arms, extra legs, missing leg,disembodied leg,extra nipples, detached arm, liquid hand, inverted hand, disembodied limb, small breasts, Loli, oversized head, extra body, completely nude, extra navel,easynegative,(hair between eyes),sketch, duplicate, ugly, huge eyes, text, logo, worst face, (bad and mutated hands:1.3),  (blurry:2.0), horror, geometry, bad prompt, (bad hands), (missing fingers), multiple limbs, bad anatomy, (interlocked fingers:1.2), Ugly Fingers, (extra digit and hands and fingers and legs and arms:1.4), ((2girl)), (deformed fingers:1.2), (long fingers:1.2),(bad-artist-anime), bad-artist, bad hand, extra legs ,(ng_deepnegative_v1_75t)..
  1. 采样(Sampler)DPM++2MKarras
  2. 相关性(CFG scale):4
  3. 步数(steps):30
  4. 随机种(seed):82742

  1. 本次提供的镜像模型库详细信息详见如下的链接,您可以通过stablediffusion流行模型介绍中的说明获取更多的样图和对应的提示词信息,探索更多好的玩法。


7. 清理及后续

清理

  • OSS提供3个月的免费资源包,包含每月20 GB的标准(LRS)存储、每月2 GB的下行流量、每月20万次的请求数。
  • 如果无需继续使用OSS Bucket,您可以登录对象存储OSS控制台,在文件列表页面,找到相应文件,然后在文件右侧操作列,选择>彻底删除,根据界面提示删除文件。当您删除所有的文件及文件夹后,然后在左侧导航栏,选择删除Bucket,在删除Bucket页面,单击删除Bucket,然后根据界面提示删除Bucket。
  • 如果需继续使用OSS Bucket,请务必至少在资源包试用到期1小时前为您的阿里云账号充值或购买新的资源包。欠费后如果在延期免停权益额度内,您的服务将不会受到停服影响。欠费后如果超出了延期免停权益额度,OSS服务将自动停止。如果您在OSS停服后15天内未补足欠款,将视为您主动放弃OSS存储服务,阿里云将终止本产品服务条款并停止为您继续提供服务,您保存在阿里云的全部数据将会被清理删除,清理后数据不可恢复。
  • 如果无需继续使用EAS服务,您可以按照以下操作步骤删除模型服务。
  1. 登录PAI控制台
  2. 在页面左上方,选择服务的地域
  3. 在左侧导航栏,选择模型部署>模型在线服务(EAS),进入PAI EAS模型在线服务页面。
  4. 推理服务页面,单击目标服务操作列下的删除,删除模型服务。
  • 领取抵扣包后,请在抵扣包额度和有效期内使用。如果抵扣包额度用尽或超出有效期,继续使用计算资源,会产生后付费账单。

请前往节省计划页面,查看抵扣包剩余金额和过期时间。

  • 如果需要继续使用EAS服务,请务必至少在抵扣包额度用尽或试用到期1小时前为您的阿里云账号充值,到期未续费的EAS服务会因欠费而被自动停止。

后续

在抵扣包有效期期间,您还可自行构造测试数据,继续在SDWebUI页面进行推理验证。

实验链接:https://developer.aliyun.com/adc/scenario/d122439a63b84d27a1c998a470ef73c3

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
相关文章
|
24天前
|
存储 API 对象存储
对象存储OSS产品常见问题之图片无法加载排查如何解决
对象存储OSS是基于互联网的数据存储服务模式,让用户可以安全、可靠地存储大量非结构化数据,如图片、音频、视频、文档等任意类型文件,并通过简单的基于HTTP/HTTPS协议的RESTful API接口进行访问和管理。本帖梳理了用户在实际使用中可能遇到的各种常见问题,涵盖了基础操作、性能优化、安全设置、费用管理、数据备份与恢复、跨区域同步、API接口调用等多个方面。
46 0
|
7月前
|
对象存储 机器学习/深度学习 存储
大语言模型一键转存到OSS并挂载PAI实现企业知识库
本文介绍如何实现一键转载主流的大语言模型到自己的对象存储OSS空间中,然后再挂载到PAI-DSW实现多种模型切换测试知识库的效果。
大语言模型一键转存到OSS并挂载PAI实现企业知识库
|
对象存储 CDN
阿里云OSS如何把才能把图片最小最快的加载?
阿里云OSS如何把才能把图片最小最快的加载?
788 0
|
10月前
|
机器学习/深度学习 对象存储 API
将OSS里的 Stable diffusion 模型库挂载到PAI-EAS并部署推理
本文将会介绍如何一键转存模型库到自己的对象存储OSS空间中,并给出将OSS挂载到PAI-EAS实现部署,并对模型进行灵活切换与推理。
1760 1
将OSS里的 Stable diffusion 模型库挂载到PAI-EAS并部署推理
|
存储 机器学习/深度学习 人工智能
【DSW Gallery】如何在DLC训练任务中挂载OSS
阿里云对象存储OSS(Object Storage Service)是一款海量、安全、低成本、高可靠的云存储服务。本文将介绍如何使用在DLC训练任务中挂载OSS,使用读写本地文件的方式来访问OSS中的数据。
【DSW Gallery】如何在DLC训练任务中挂载OSS
|
存储 SQL 关系型数据库
Python玩转阿里云OSS对象存储,批量转存markdown和html图片
Python玩转阿里云OSS对象存储,批量转存markdown和html图片
|
SQL 存储 Cloud Native
CDN转存离线日志到OSS,实现更长时间的日志存储
CDN转存离线日志到OSS,实现更长时间的日志存储
530 1
CDN转存离线日志到OSS,实现更长时间的日志存储
|
前端开发 JavaScript 对象存储
如何把emlog的css,js,字体,图片等迁移到阿里云oss提升网站加载速度
如何把emlog的css,js,字体,图片等迁移到阿里云oss提升网站加载速度
291 0
如何把emlog的css,js,字体,图片等迁移到阿里云oss提升网站加载速度
|
缓存 Kubernetes Cloud Native
Fluid十JindoFS 对 OSS 上的数据进行训练加速 | 学习笔记
快速学习Fluid十JindoFS 对 OSS 上的数据进行训练加速。
162 0
|
存储 缓存 人工智能
数据湖实操讲解【AI 训练加速】第十六讲:Fluid + JindoFS 对 OSS 上数据进行训练加速
数据湖 JindoFS+OSS 实操干货 36讲 每周二16点准时直播! 扫文章底部二维码入钉群,线上准时观看~ Github链接: https://github.com/aliyun/alibabacloud-jindofs
数据湖实操讲解【AI 训练加速】第十六讲:Fluid + JindoFS 对 OSS 上数据进行训练加速

热门文章

最新文章

相关产品

  • 对象存储