热门Stable Diffusion模型库快速转存至个人OSS与加载训练

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 本实验介绍如何使用阿里云在线迁移服务,将热门模型库从国内镜像站点转存到个人对象存储OSS空间,并且可将OSS Bucket里的模型挂载到FC函数计算或PAI平台进行推理和训练。

热门Stable Diffusion模型库快速转存至个人OSS与加载训练

1. 实验资源方式简介及开始实验

云起实验室实验资源方式介绍

云起实验室支持实验资源体验、领取免费试用额度、个人账户资源三种实验资源方式。

  • 实验资源体验
  • 资源归属于客户,仅供本次实验使用
  • 实验结束后,实验资源及实验记录将被释放。
  • 资源创建过程需要3~5分钟(视资源不同开通时间有所差异,ACK等资源开通时间较长)。完成实验资源的创建后,在实验室页面左侧导航栏中,单击云产品资源列表,可查看本次实验资源相关信息(例如子用户名称、子用户密码、AK ID、AK Secret、资源中的项目名称等)。
  • 说明:实验环境一旦开始创建则进入计时阶段,建议学员先基本了解实验具体的步骤、目的,真正开始做实验时再进行创建。

  • 领取免费试用额度
  • 使用个人账号开通试用,平台仅提供手册参考。
  • 所有实验操作将保留至您的账号,请谨慎操作。
  • 在实验页面下方卡片会展示本实验支持的试用规格,可以选择你要试用的云产品资源进行开通。您在实验过程中,可以随时用右下角icon唤起试用卡片。阿里云支持试用的产品列表、权益及具体规则说明请参考开发者试用中心
  • 说明:试用云产品开通在您的个人账号下,并占用您的试用权益。如试用超出免费试用额度,可能会产生一定费用。

  • 个人账户资源
  • 使用您个人的云资源进行操作,资源归属于个人。
  • 所有实验操作将保留至您的账号,请谨慎操作。
  • 平台仅提供手册参考,不会对资源做任何操作。
  • 说明:使用个人账户资源,在创建资源时,可能会产生一定的费用,请您及时关注相关云产品资源的计费概述。

准备开始实验

在实验开始前,请您选择其中一种实验资源,单击确认开启实验

说明:每个实验所支持的实验资源方式都不相同,实验不一定能满足有三种实验资源方式,请根据实验的实际情况,进行选择。


2. 领取免费试用资源

重要提示,请您务必看完如下内容再进行实验。

  1. 本次实验转存的模型文件数据量达到78.5GB,超过OSS免费试用的20GB存储空间,将会有额外的存储费用
  2. 如果您不需要那么多的模型,转存后可以进入OSS控制台自行删除部分模型文件。

说明:

  • 若您是新用户,且符合免费试用资格,那您在右侧可同时领取OSS和PAI的免费试用,请按照本小节2和3的步骤领取免费资源,并按照4步骤进入实验。
  • 若您是老用户,您可能没有OSS或PAI的免费试用资格,在右侧界面中该产品领取按钮会显示灰度,此时您可以依然领取拥有免费试用资格的产品,按照本小节2或3的步骤领取,并按照4步骤进入实验。若两个产品都没有免费试用资格,您依然可以单击我已开通,进入实验开始实验。进入实验后,若按照第三小节的步骤创建资源并使用,没有领取免费资源的产品,可能会产生一定的费用,如OSS,推荐您此时购买对象存储预留空间产品抵扣费用,也可按量付费进行使用。

其它说明:

  • 试用云产品开通在您的个人账号下,并占用您的试用权益。如试用超出免费试用额度,可能会产生一定费用。阿里云支持试用的产品列表、权益及具体规则说明请参考开发者试用中心
  • PAI-EAS抵扣包只适用于本教程中的PAI-EAS产品。如果您领取了PAI-EAS抵扣包后,使用了PAI-EAS及PAI的其他产品功能(如PAI-DSW、PAI-DLC等),PAI-EAS产品产生的费用由抵扣包抵扣,其他产品功能产生的费用无法抵扣,会产生对应的费用账单。
  1. 在实验开始前,请您选择开通免费试用

  1. 开通对象存储OSS免费试用。

2.1 在实验室页面下方,选择对象存储OSS,单击立即试用

2.2 在对象存储OSS面板,选中服务协议,然后单击立即试用,如弹出新的页面,您可先忽略。

  1. 开通模型在线服务PAI-EAS免费试用。

3.1 在实验室页面下方,选择模型在线服务PAI-EAS,单击立即试用

3.2 在模型在线服务PAI-EAS面板,勾选服务协议后,单击立即试用,如弹出新的页面,您可先忽略。

  1. 领取完免费试用后,返回资源领取界面,单击我已开通,进入实验


3. 将模型文件一键转存到个人OSS Bucket

本步骤转存的模型文件详细介绍请参考《Stable diffusion流行模型介绍》。模型文件一共为78.5GB,请注意转存后将会产生存储费用,你可以随时到OSS控制台删除不需要的模型文件。

如果您已经在活动页面完成了转存,请直接跳转到下一个章节。

  1. 进入《Stable diffusion模型库,AIGC画风任你选》页面活动,在方案1:使用对象存储 OSS 作为模型库存储空间处单击一键复制。

2. 单击一键复制按钮后,将会弹出公共库转存信息对话框,输入新建对象存储OSS Bucket名称,此处示例填写osstestforsd;地域请从杭州,上海,北京,乌兰察布这四个Region选择,此处选择华东2(上海);签署转存的授权协议;最后单击确认转存

3. 确认转存后几秒钟,将会弹出文件框提示转存成功,记录对象存储OSS Bucket名称为 osstestforsd

4. 前往对象存储OSS控制台,确认您刚才转存的模型文件。在Bucket列表找并单击osstestforsd

进入Bucket的文件管理-文件列表处,然后逐个单击文件夹,进入/data-oss/models的目录,可以看到模型文件已经转存进来。如果您有部分模型不需要,请到对应的文件夹中,删除对应的模型文件。


4. 创建模型在线服务PAI-EAS

您需要创建模型在线服务PAI-EAS的默认工作空间,若您还未创建默认工作空间,以下步骤将引导您创建默认工作空间。若您已有默认工作空间,可以跳过本小节。

说明:

  • 如果您选择的免费试用,并且在第二小节中领取了模型在线服务PAI-EAS的免费试用,请您根据如下操作,创建默认工作空间。
  • 如果您选择的免费试用,但是您的阿里云主账号没有资格领取模型在线服务PAI-EAS的免费试用,请您根据如下操作,创建默认工作空间,并且会产生一定的费用,详情请参考PAI-EAS计费说明
  • 如果您选择的个人资源,请您根据如下操作,创建默认工作空间,并且会产生一定的费用,详情请参考PAI-EAS计费说明
  1. 前往PAI控制台
  2. 开通机器学习PAI并创建默认工作空间。其中关键参数配置如下。
  • 本教程地域选择:华东2(上海)
  • 组合开通:本教程无需使用其他产品,去除勾选MaxCompute和DataWorks产品。如果您勾选了MaxCompute和DataWorks产品,在开通时会产生如下图报错。

  • 服务角色授权:单击去授权,完成服务角色授权。

说明:更多详细内容,请参见开通并创建默认工作空间。如果您后续使用RAM用户来部署模型,您需要将RAM用户添加为默认工作空间的成员,并配置管理员角色,详情请参见管理成员;同时,需要为RAM用户授予PAI-EAS的管理权限,详情请参见云产品依赖与授权:EAS

  1. 返回如下页面,表示您已成功开通机器学习PAI并创建默认工作空间。

说明: 如果您在开通时出现Create workspace failed, status: FAILURE!报错提示,您可忽略此报错,继续进行下一步实验操作。


5. 部署PAI-EAS服务并挂载个人OSS Bucket

  1. 登录PAI控制台
  2. 在左侧导航栏,单击工作空间列表

  1. 工作空间列表页面,找到默认工作空间,单击默认工作空间名称。

  1. 在左侧导航栏,选择模型部署>模型在线服务(EAS),进入PAI EAS模型在线服务页面。

说明:如果界面弹出一键授权对话框,单击授权即可。

  1. 部署服务页面,单击新建服务,在模型服务信息配置以下关键参数,其他参数保持默认即可。
  • 服务名称:自定义一个服务名称,本教程示例为sdwebui_test
  • 部署方式:本次选择镜像部署AI-WEB应用
  • 镜像选择:在PAI平台镜像列表中选择stable-diffusion-webui;镜像版本选择3.2说明:由于版本迭代迅速,部署时镜像版本选择最高版本即可。
  • 勾选并同意PAI服务专用协议

6. 在模型服务信息区域,配置以下参数。

  1. 单击填写模型配置,进行模型配置
  2. 模型配置选择OSS挂载,将OSS路径配置为步骤1中创建的OSS Bucket路径。例如:oss://osstestforsd/data-oss/
  1. 挂载路径:将您配置的OSS文件目录挂载到镜像的/code/stable-diffusion-webui路径下。例如配置为:/code/stable-diffusion-webui/data-oss
  2. 是否只读:开关关闭。
  1. 运行命令中增加--data-dir 挂载目录,其中挂载目录需要与模型配置挂载路径的最后一级目录一致。例如:./webui.sh --listen --port 8000 --skip-version-check --no-hashing --no-download-sd-model --skip-install --api --filebrowser --data-dir data-oss

7. 在资源部署信息区域,配置如下参数

  1. 资源种类:选择公共资源组
  2. 资源配置方法:选择常规资源配置
  3. 资源配置选择:
  4. 如果您使用免费试用资源,本教程实例规格选择试用活动页签的ecs.gn6i-c8g1.2xlarge.limit说明:阿里云免费试用提供的机型包括以下三种机型,仅选择试用活动页签下的这三种机型来部署服务产生的费用,才能使用抵扣包抵扣。 ecs.g6.xlarge.limit ecs.gn6i-c8g1.2xlarge.limit ecs.gn7i-c8g1.2xlarge.limit
  1. 如果您使用个人账户资源,本教程实例规格选择试用活动页签的ecs.gn6i-c8g1.2xlarge.limit。
  1. 额外系统盘:本教程不需要额外系统盘。

8. 在部署服务页面下方,单击部署。

9. 在部署服务对话框中,单击确定

10. 在PAI EAS模型在线服务页面,等待1~3分钟,当模型状态创建中变为运行中,表明服务已成功部署,您可继续后续的模型推理操作。


6. 启动WebUI,切换不同的模型进行模型推理

  1. PAI EAS模型在线服务页面,找到您创建的服务,单击其服务方式列下的查看Web应用

  1. 在WebUI页面,单击左上角的下拉菜单,可以看到有许多模型,您在这里可以自动切换不同类型的cpkt模型。 此处选择dreamshaper_7模型,等待几十秒模型加载完毕后。输入提示词和反向提示词即可生成。
  1. 提示词:
photo of the warrior Aragorn from Lord of the Rings, film grain
  1. 反向提示词
BadDream, (UnrealisticDream:1.2), (worst quality, low quality:2), monochrome, zombie, overexposure, watermark,text,bad anatomy, bad hand, extra hands, extra fingers, too many fingers, fused fingers, bad arm, distorted arm, extra arms, fused arms, extra legs, missing leg,disembodied leg,extra nipples, detached arm, liquid hand, inverted hand, disembodied limb, small breasts, Loli, oversized head, extra body, completely nude, extra navel,easynegative,(hair between eyes),sketch, duplicate, ugly, huge eyes, text, logo, worst face, (bad and mutated hands:1.3),  (blurry:2.0), horror, geometry, bad prompt, (bad hands), (missing fingers), multiple limbs, bad anatomy, (interlocked fingers:1.2), Ugly Fingers, (extra digit and hands and fingers and legs and arms:1.4), ((2girl)), (deformed fingers:1.2), (long fingers:1.2),(bad-artist-anime), bad-artist, bad hand, extra legs ,(ng_deepnegative_v1_75t)..
  1. 采样(Sampler)DPM++2MKarras
  2. 相关性(CFG scale):4
  3. 步数(steps):30
  4. 随机种(seed):82742

  1. 本次提供的镜像模型库详细信息详见如下的链接,您可以通过stablediffusion流行模型介绍中的说明获取更多的样图和对应的提示词信息,探索更多好的玩法。


7. 清理及后续

清理

  • OSS提供3个月的免费资源包,包含每月20 GB的标准(LRS)存储、每月2 GB的下行流量、每月20万次的请求数。
  • 如果无需继续使用OSS Bucket,您可以登录对象存储OSS控制台,在文件列表页面,找到相应文件,然后在文件右侧操作列,选择>彻底删除,根据界面提示删除文件。当您删除所有的文件及文件夹后,然后在左侧导航栏,选择删除Bucket,在删除Bucket页面,单击删除Bucket,然后根据界面提示删除Bucket。
  • 如果需继续使用OSS Bucket,请务必至少在资源包试用到期1小时前为您的阿里云账号充值或购买新的资源包。欠费后如果在延期免停权益额度内,您的服务将不会受到停服影响。欠费后如果超出了延期免停权益额度,OSS服务将自动停止。如果您在OSS停服后15天内未补足欠款,将视为您主动放弃OSS存储服务,阿里云将终止本产品服务条款并停止为您继续提供服务,您保存在阿里云的全部数据将会被清理删除,清理后数据不可恢复。
  • 如果无需继续使用EAS服务,您可以按照以下操作步骤删除模型服务。
  1. 登录PAI控制台
  2. 在页面左上方,选择服务的地域
  3. 在左侧导航栏,选择模型部署>模型在线服务(EAS),进入PAI EAS模型在线服务页面。
  4. 推理服务页面,单击目标服务操作列下的删除,删除模型服务。
  • 领取抵扣包后,请在抵扣包额度和有效期内使用。如果抵扣包额度用尽或超出有效期,继续使用计算资源,会产生后付费账单。

请前往节省计划页面,查看抵扣包剩余金额和过期时间。

  • 如果需要继续使用EAS服务,请务必至少在抵扣包额度用尽或试用到期1小时前为您的阿里云账号充值,到期未续费的EAS服务会因欠费而被自动停止。

后续

在抵扣包有效期期间,您还可自行构造测试数据,继续在SDWebUI页面进行推理验证。

实验链接:https://developer.aliyun.com/adc/scenario/d122439a63b84d27a1c998a470ef73c3

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
相关文章
|
1月前
|
分布式计算 Java 开发工具
阿里云MaxCompute-XGBoost on Spark 极限梯度提升算法的分布式训练与模型持久化oss的实现与代码浅析
本文介绍了XGBoost在MaxCompute+OSS架构下模型持久化遇到的问题及其解决方案。首先简要介绍了XGBoost的特点和应用场景,随后详细描述了客户在将XGBoost on Spark任务从HDFS迁移到OSS时遇到的异常情况。通过分析异常堆栈和源代码,发现使用的`nativeBooster.saveModel`方法不支持OSS路径,而使用`write.overwrite().save`方法则能成功保存模型。最后提供了完整的Scala代码示例、Maven配置和提交命令,帮助用户顺利迁移模型存储路径。
|
1月前
|
分布式计算 DataWorks 数据处理
"DataWorks高级技巧揭秘:手把手教你如何在PyODPS节点中将模型一键写入OSS,实现数据处理的完美闭环!"
【10月更文挑战第23天】DataWorks是企业级的云数据开发管理平台,支持强大的数据处理和分析功能。通过PyODPS节点,用户可以编写Python代码执行ODPS任务。本文介绍了如何在DataWorks中训练模型并将其保存到OSS的详细步骤和示例代码,包括初始化ODPS和OSS服务、读取数据、训练模型、保存模型到OSS等关键步骤。
129 3
|
6月前
|
机器学习/深度学习 分布式计算 大数据
MaxCompute产品使用问题之如何直接加载oss中的parque数据,无需指定列和分区
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
6月前
|
机器学习/深度学习 人工智能 分布式计算
人工智能平台PAI产品使用合集之如何删除oss路径上特定的模型
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
6月前
|
机器学习/深度学习 人工智能 分布式计算
人工智能平台PAI操作报错合集之在ODPS的xxx_dev项目空间调用easyrec训练,需要访问yyy项目空间的OSS,出现报错,是什么导致的
阿里云人工智能平台PAI (Platform for Artificial Intelligence) 是阿里云推出的一套全面、易用的机器学习和深度学习平台,旨在帮助企业、开发者和数据科学家快速构建、训练、部署和管理人工智能模型。在使用阿里云人工智能平台PAI进行操作时,可能会遇到各种类型的错误。以下列举了一些常见的报错情况及其可能的原因和解决方法。
|
6月前
|
文字识别 算法 安全
视觉智能开放平台产品使用合集之如何将返回的图片链接转存到OSS(对象存储服务)
视觉智能开放平台是指提供一系列基于视觉识别技术的API和服务的平台,这些服务通常包括图像识别、人脸识别、物体检测、文字识别、场景理解等。企业或开发者可以通过调用这些API,快速将视觉智能功能集成到自己的应用或服务中,而无需从零开始研发相关算法和技术。以下是一些常见的视觉智能开放平台产品及其应用场景的概览。
|
6月前
|
机器学习/深度学习 人工智能 分布式计算
人工智能平台PAI产品使用合集之在easy_rec中,将model_dir设置为oss地址时,oss相关配置需要加载在环境中,有完整的示例吗
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
7月前
|
安全 网络安全 开发工具
对象存储oss使用问题之flutter使用http库进行post请求文件上传返回400如何解决
《对象存储OSS操作报错合集》精选了用户在使用阿里云对象存储服务(OSS)过程中出现的各种常见及疑难报错情况,包括但不限于权限问题、上传下载异常、Bucket配置错误、网络连接问题、跨域资源共享(CORS)设定错误、数据一致性问题以及API调用失败等场景。为用户降低故障排查时间,确保OSS服务的稳定运行与高效利用。
317 1
|
7月前
|
存储 API 对象存储
对象存储OSS产品常见问题之图片无法加载排查如何解决
对象存储OSS是基于互联网的数据存储服务模式,让用户可以安全、可靠地存储大量非结构化数据,如图片、音频、视频、文档等任意类型文件,并通过简单的基于HTTP/HTTPS协议的RESTful API接口进行访问和管理。本帖梳理了用户在实际使用中可能遇到的各种常见问题,涵盖了基础操作、性能优化、安全设置、费用管理、数据备份与恢复、跨区域同步、API接口调用等多个方面。
721 0
|
对象存储 机器学习/深度学习 存储
大语言模型一键转存到OSS并挂载PAI实现企业知识库
本文介绍如何实现一键转载主流的大语言模型到自己的对象存储OSS空间中,然后再挂载到PAI-DSW实现多种模型切换测试知识库的效果。
大语言模型一键转存到OSS并挂载PAI实现企业知识库

相关产品

  • 对象存储