如何在 PAI-EAS 定时自动部署模型服务|学习笔记

本文涉及的产品
模型训练 PAI-DLC,5000CU*H 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
交互式建模 PAI-DSW,5000CU*H 3个月
简介: 快速学习如何在 PAI-EAS 定时自动部署模型服务。

开发者学堂课程【PAL 平台学习路线:机器学习入门到应用:如何在 PAI-EAS 定时自动部署模型服务】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/855/detail/14241


如何在 PAI-EAS 定时自动部署模型服务

 

内容介绍

一、前提条件

二、 PAI-EAS 定时自动部署模型服务的步骤

 

一、前提条件

前提条件

1.购买 DataWorks 独享调度资源组

2.购买 PAI 服务

3.完成实验的定时训练,并将模型保存至固定地址

4.如果 RAM 用户进行定时自动模型部署,则需要对其赋予 DataWorks 相关权限及 PAI-EAS 模型部署权限

 

二、在 PAI-EAS 定时自动部署模型服务的步骤

1.步骤一:创建独享调度资源组

登录 DataWorks 左侧导航栏中,单资源组列表

独享资源页单击创建调资源组

在创建调资源组面板中配置相应参数,单确定。

资源组名称:eas_video

资源组备注:test

image.png

2.步骤二:绑定归属的工作空间

独享调度资源组需要绑定归属的工作空间,才可以在对应的工作空间下选择该资源组

首先需要在独享资源页签单击相应的资源组后的修改归属工作空间

修改归属工作空间对话框分配工作空间的区域选中的是 es_video_demo 单击目标的空间操作下的绑定,已经进行了关联步骤。

3.步骤三是创建工作流

登录 DataWorks 左侧导航栏单击工作空间列表

选择需要的工作 es_video_demo 为例,在右侧操作列下进入数据开发页面

选择第4个图标->业务流程

 image.png

输入业务名称:es_video_demo 

在业务流程页面拖拽通用里的 Shall 节至右侧画布

节点名称是部署节点

image.png

4.步骤四:部署初始模型

定时自动部署在初始模型的服务基础上增加模型服务的版本作为线上运行服务定时自动部署之前需要先部署初始模型,如果已经存在初始模型服务,则直接执行步骤五。

由于选的 PAI-tor 深入学习模型,公共资源组内没有相应的 GPU 资源,因此需要点击新建资源组。申请带有 GPU 资源的相应的节点进行部署

已经选中相应的资源组,GPU 配置是1GPU(Core)4

申请完专属资源组后,需将相应的 CPUGPU 以及 resource 字段填入 metadata 内,从而进行脚本执行。

cat << EOF > echo. Json

{

"name"": "pytorch_nodel_13",

"generate_token"" : "true".

"model_path"":

"oss://eas-model-shanghai/blade/bbs_v2.0/pt_resnet50_v1.5.pt",

"processor"": "pytorch_gpu_1.6",

"metadata": {

"instance": 1,

" cpu": 4,

“gpu": 1,

"cuda": "10.0",

"memory" : 2000,

resource"": "eas-r-ij9g2xb4yw59v1bwpf"

}

}EOF

-i LTAI4G4D7qJN5Qr1q4MN6d4v -k UUEtGMfVoEU7RXraGMNjxKYJEBEePw -e pai.cn-Shanghai.aliyuns.com create

显示任务已经完成

image.png

模型部署在线服务界面,看到 pytorch _nodel_13服务模型的状态是正在运行。

5.步骤五:编辑定时自动部署脚本

Json 部分数据无需改变,只需改变下面两行执行的脚本,

将 create 改为 model,是执行模型进行更新部署。执行一次定时部署的调度系统就会在原型的服务基础上增加一个模型服务版本,作为最新的线上运行服务。如果测试服务发生了异常,则可以使用下述的命令进行模型回滚服务

 

-i LTAI4G4D7qJN5Qr1q4MN6d4v

-k UUEtGMfVoEU7RXraGMNjxKYJEBEePw

-e pai.cn-Shanghai.aliyuns.com modify

image.png

PAI EAS 模型在线务界面,看到 pytorch _nodel_13服务模型当前版本是 V2,模型状态时是正在运行仍是等待中,要等待一段时间。

等待一段时间后,目前的模型状态显示运行中说明模型更新版本已经完成 

6.步骤六:执行定时调度

分为三步骤

(1) 执行调任务,在 Shall 节点页面单击页面右侧的调度配置

调度配置页面中找时间属性区域,选择调度周期:;

在调度依赖区域单击依赖的上源节点使用工作空间节点

 image.png

配置依赖关系:详细可以参配置调用依赖的文档点击 shall 节点页面上方的保存图标保存配置

单击 shall 节点页面上方的上传图标提交调度任务。跳出提交新版本框,点击确认。

定时调度的运行实例

shall 节点页面单击右上方的运维中心,在运维中心页面->周期任务运维->周期实例

实例详情页面可以查看模型自动部署的定时时间

 image.png

选择操作列下的更多查看每次模型自动部署运行日志

 image.png

(3)查看历史部署的模型服务

登录 PAI 控制台,在左侧导航栏中选择EAS模型部署->模型在线服务(EAS)

PAI 控制台平台页面的左上方选择相应的地域。

选择的是华东,上海

PAI 模型在线服务 (EAS )页面,从当前版本列下的列表,查看模型服务自动更新的所有历史版本,看到 pytorch _nodel_13 已经迭代过三次,当前版本是V3

相关实践学习
使用PAI-EAS一键部署ChatGLM及LangChain应用
本场景中主要介绍如何使用模型在线服务(PAI-EAS)部署ChatGLM的AI-Web应用以及启动WebUI进行模型推理,并通过LangChain集成自己的业务数据。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
相关文章
|
10月前
|
机器学习/深度学习 编解码 计算机视觉
Python机器学习和图像处理学习笔记
Python机器学习和图像处理学习笔记
|
机器学习/深度学习 算法
学习笔记: 机器学习经典算法-决策边界(decision boundary)
机器学习经典算法-个人笔记和学习心得分享
731 0
学习笔记: 机器学习经典算法-决策边界(decision boundary)
|
机器学习/深度学习 算法 搜索推荐
【吴恩达机器学习笔记】十五、大规模机器学习
【吴恩达机器学习笔记】十五、大规模机器学习
80 0
|
机器学习/深度学习 算法
【吴恩达机器学习笔记】九、机器学习系统的设计
【吴恩达机器学习笔记】九、机器学习系统的设计
83 0
|
机器学习/深度学习 算法
【吴恩达机器学习笔记】八、应用机器学习的建议
【吴恩达机器学习笔记】八、应用机器学习的建议
100 0
|
机器学习/深度学习 算法 前端开发
学习笔记: 机器学习经典算法-集成学习策略
机器学习经典算法-个人笔记和学习心得分享
170 0
|
机器学习/深度学习 算法 Python
学习笔记: 机器学习经典算法-决策树(Decision Tress)
机器学习经典算法-个人笔记和学习心得分享
173 0
|
机器学习/深度学习 资源调度 算法
学习笔记: 机器学习经典算法-核SVM(KernelSVM)
机器学习经典算法-个人笔记和学习心得分享
127 0
|
机器学习/深度学习 资源调度 算法
学习笔记: 机器学习经典算法-线性SVM(LinearSVM)
机器学习经典算法-个人笔记和学习心得分享
126 0
|
机器学习/深度学习 算法
学习笔记: 机器学习经典算法-空间内一点到超平面的距离推广公式
机器学习经典算法-个人笔记和学习心得分享
124 0

相关产品

  • 人工智能平台 PAI