如何将模型更新到 OSS 实现离线更新|学习笔记

本文涉及的产品
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
模型训练 PAI-DLC,5000CU*H 3个月
对象存储 OSS,20GB 3个月
简介: 快速学习如何将模型更新到 OSS 实现离线更新。

开发者学堂课程【PAL 平台学习路线:机器学习入门到应用:如何将模型更新到 OSS 实现离线更新】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/855/detail/14245


如何将模型更新到 OSS 实现离线更新


在调度任务中自动同步 PAI 模型至 OSS 的步骤

PAI 控制栏左侧的导航栏中选择模型开发和训练->可视化建模Studio

创建项目时,需选择按量付费模式,并开启 GPU,PAI-PF 任务只能在 GPU 资源中运行

单击项目操作列->进入机器学习

从首页里面选择心脏病预测案例模板->单击从模板创建,创建实验单击确定

左上角的运行训练该实验的模型,

每个组件旁边都出现绿色对号时,代表模型训练完成,

 image.png

选择训练好的模型逻辑回归二分类组件单击右键->模型选项->查看模型

右下角模型逻辑回归二分类的名称,单击可复制并且保存在备忘录将前缀删除,稍后会用到。

Xlab_m_logisticregres_1289495_vo

 image.png

返回在左侧选择设置->基本设置,选择OSS访问授权。

显示之后,确定 OSS 唯一凭证 OSS-ARN

在 DataWorks 里创建一个能够执行模型储存的命令点击左侧导航栏 DataWorks

进入DataWorks后,左侧导航栏选择工作空间列表

在页面右侧操作列中选择之前训练模型实验的项目->进入数据开发

右上角的第四个图标选择添加业务流程命名为同步 PAI 模型至 OSS ,点击确定进入流程

image.png

在左侧栏中拖拽 MaxCompute 中 ODPS SQL 节点至空白处,即可创建 ODPS SQL 的节点

命名为:同步 PAI 模型至OSS

 image.png

双击创建好的节点进入编辑,需要 PAI 命令。可以进入如何在调度任务中自动同步 PAI模型至 OSS 的文档中,文档的最后复制代码返回 Dataworks

储存的模型名字 Xlab_m_logisticregres_1289495_vo 复制近代码中

将 OSS 地址更改成想要将它入库的 OSS 地址单击上方运行即可。 

pai -name modeltransfer2oss

-Dmode1Name=xlab_m_logisticregres_100658o_v0

(Xlab_m_logisticregres_1289495_vo)

-DossPath=

"oss://images-beijing.oss-cn-beijing-internal.aliyuncs.com/aohai/"

(OSS地址)

-Darn="acs:ram::1664081855183111:role/aliyunodpspaidefaultrole" (ARN )

-Dformat=pmml

-Doverwrite=true/false

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
相关文章
|
存储 Java 中间件
【分布式技术专题】「OSS中间件系列」Minio的文件服务的存储模型及整合Java客户端访问的实战指南
【分布式技术专题】「OSS中间件系列」Minio的文件服务的存储模型及整合Java客户端访问的实战指南
942 5
【分布式技术专题】「OSS中间件系列」Minio的文件服务的存储模型及整合Java客户端访问的实战指南
|
11天前
|
分布式计算 Java 开发工具
阿里云MaxCompute-XGBoost on Spark 极限梯度提升算法的分布式训练与模型持久化oss的实现与代码浅析
本文介绍了XGBoost在MaxCompute+OSS架构下模型持久化遇到的问题及其解决方案。首先简要介绍了XGBoost的特点和应用场景,随后详细描述了客户在将XGBoost on Spark任务从HDFS迁移到OSS时遇到的异常情况。通过分析异常堆栈和源代码,发现使用的`nativeBooster.saveModel`方法不支持OSS路径,而使用`write.overwrite().save`方法则能成功保存模型。最后提供了完整的Scala代码示例、Maven配置和提交命令,帮助用户顺利迁移模型存储路径。
|
14天前
|
分布式计算 DataWorks 数据处理
"DataWorks高级技巧揭秘:手把手教你如何在PyODPS节点中将模型一键写入OSS,实现数据处理的完美闭环!"
【10月更文挑战第23天】DataWorks是企业级的云数据开发管理平台,支持强大的数据处理和分析功能。通过PyODPS节点,用户可以编写Python代码执行ODPS任务。本文介绍了如何在DataWorks中训练模型并将其保存到OSS的详细步骤和示例代码,包括初始化ODPS和OSS服务、读取数据、训练模型、保存模型到OSS等关键步骤。
34 3
|
5月前
|
机器学习/深度学习 人工智能 分布式计算
人工智能平台PAI产品使用合集之如何删除oss路径上特定的模型
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
机器学习/深度学习 对象存储 API
将OSS里的 Stable diffusion 模型库挂载到PAI-EAS并部署推理
本文将会介绍如何一键转存模型库到自己的对象存储OSS空间中,并给出将OSS挂载到PAI-EAS实现部署,并对模型进行灵活切换与推理。
1966 1
将OSS里的 Stable diffusion 模型库挂载到PAI-EAS并部署推理
|
物联网 对象存储
如何将个人OSS里的Stable Diffusion模型库挂载到PAI-EAS
本文讲述如何将自己对象存储OSS里的Stable Diffusion文件挂载到PAI-EAS,实现模型的加载和推理训练
613 17
|
存储 机器学习/深度学习 分布式计算
热门Stable Diffusion模型库快速转存至个人OSS与加载训练
本实验介绍如何使用阿里云在线迁移服务,将热门模型库从国内镜像站点转存到个人对象存储OSS空间,并且可将OSS Bucket里的模型挂载到FC函数计算或PAI平台进行推理和训练。
java202304java学习笔记第五十二天员工管理-阿里云oss-集成服务2
java202304java学习笔记第五十二天员工管理-阿里云oss-集成服务2
88 0
java202304java学习笔记第五十二天员工管理-阿里云oss-集成服务2
java202304java学习笔记第五十二天员工管理-阿里云oss-集成服务2
277 0
java202304java学习笔记第五十二天员工管理-oss-文件上传2
java202304java学习笔记第五十二天员工管理-oss-文件上传2
75 0
下一篇
无影云桌面