开发者社区 问答 正文

周期性调度是什么?

<divre style='background: rgb(246, 246, 246); font: 12px/1.6 "YaHei Consolas Hybrid", Consolas, "Meiryo UI", "Malgun Gothic", "Segoe UI", "Trebuchet MS", Helvetica, monospace, monospace; margin: 0px 0px 16px; padding: 10px; outline: 0px; border-radius: 3px; border: 1px solid rgb(221, 221, 221); color: rgb(51, 51, 51); text-transform: none; text-indent: 0px; letter-spacing: normal; overflow: auto; word-spacing: 0px; white-space: pre-wrap; word-wrap: break-word; box-sizing: border-box; orphans: 2; widows: 2; font-size-adjust: none; font-stretch: normal; -webkit-text-stroke-width: 0px; text-decoration-style: initial; text-decoration-color: initial;' prettyprinted?="" linenums="">

如何使用阿里云机器学习PAI的离线周期性调度功能



背景


离线调度功能是机器学习的常见场景,用户需要通过离线调度功能,周期性的更新模型。阿里云机器学习PAI可以帮助用户构建模型训练的pipline,大数据开发套件是一套阿里云飞天系统的管理运维平台,目前PAI和大数据开发套件已经打通,可以实现机器学习实验的周期性调度。

第一步.建立PAI实验


首先建立一个机器学习实验,在本案例中我们以一个深度学习实验为例。需要记住实验名以便在调度的时候进行选择,如图红框所示。

第二步.进入大数据开发套件工作空间


进入数加大数据开发套件,如图:
大数据开发套件与机器学习PAI共用一套项目,选择需要调度的实验所在的项目,点击进入工作空间。

第三步.新建节点调度任务


点击新建,选择任务。

在新建任务的配置中,选择节点任务,类型选择机器学习。


第四步.配置调度任务


建立了节点任务之后,可以选择对应的需要调度的机器学习实验,并且可以在右边的配置栏进行配置和相关参数的设定。
点击提交即可,注意:提交的作业从第二天开始生效。

第五步.任务日志查询


提交调度任务之后,可以点击前往运维进行日志查看。
在运维中心可以全方位的观察机器学习任务的运行情况以及系统日志。

展开
收起
nicenelly 2017-10-24 15:33:48 2276 分享 版权
阿里云 AI 助理回答

您已经概述了如何使用阿里云机器学习PAI(Platform for Artificial Intelligence)的离线周期性调度功能来自动更新模型的基本步骤,这里我将为您提供更详细的指导和补充信息:

第一步:建立PAI实验

  1. 登录阿里云控制台,进入机器学习PAI服务。
  2. 创建实验:在PAI Studio中,点击“创建实验”,选择合适的模板或从头开始构建您的深度学习或其他类型的机器学习实验。确保实验设计正确无误,并且能够成功运行至结束。
  3. 保存并记住实验名称:完成实验设计后,保存实验,并记下实验的准确名称,因为这将在后续的大数据开发套件(DataWorks)中用到。

第二步:进入大数据开发套件工作空间

  1. 切换至DataWorks:在阿里云控制台,找到并进入大数据开发套件(DataWorks)。
  2. 选择项目:确保您选择了与PAI实验相同的项目,这样可以访问到PAI中的资源。
  3. 进入工作空间:在选定的项目下,进入DataWorks的工作空间界面。

第三步:新建节点调度任务

  1. 新建任务:在DataWorks工作流界面,点击“新建”按钮,然后选择“任务”。
  2. 配置节点任务:在任务类型中选择“节点任务”,接着在子类型中选择“机器学习”。

第四步:配置调度任务

  1. 选择实验:在节点任务的配置页面,从下拉菜单中选择您之前在PAI中创建的实验。
  2. 设置调度周期:配置任务的执行周期,如每天、每周的具体时间点等。
  3. 参数设定:根据需要,可以在右侧配置栏中为实验输入参数、依赖关系等。
  4. 提交任务:检查所有配置无误后,提交任务。注意,任务通常会在提交后的第二天开始执行。

第五步:任务日志查询

  1. 运维中心查看日志:提交任务后,可以通过点击“前往运维”或直接在DataWorks的运维中心查看该任务的运行状态和日志。
  2. 监控与调试:在运维中心,您可以监控任务的执行进度、查看错误日志,以及对失败的任务进行调试和重试操作。

补充说明

  • 权限管理:确保您的账号在阿里云上拥有足够的权限来创建和管理PAI实验及DataWorks任务。
  • 资源分配:根据实验需求,可能需要预先在PAI中配置好计算实例(例如ECS或GPU实例)和存储资源。
  • 成本考虑:周期性调度意味着持续消耗云资源,务必评估和监控成本,合理安排调度时间和频率。

通过以上步骤,您可以有效地利用阿里云机器学习PAI的离线周期性调度功能,实现模型的自动化更新和维护。

有帮助
无帮助
AI 助理回答生成答案可能存在不准确,仅供参考
0 条回答
写回答
取消 提交回答