开发者社区 问答 正文

如何使用阿里云机器学习PAI的离线周期性调度功能?



背景


离线调度功能是机器学习的常见场景,用户需要通过离线调度功能,周期性的更新模型。阿里云机器学习PAI可以帮助用户构建模型训练的pipline,大数据开发套件是一套阿里云飞天系统的管理运维平台,目前PAI和大数据开发套件已经打通,可以实现机器学习实验的周期性调度。

第一步.建立PAI实验


首先建立一个机器学习实验,在本案例中我们以一个深度学习实验为例。需要记住实验名以便在调度的时候进行选择,如图红框所示。

第二步.进入大数据开发套件工作空间


进入数加大数据开发套件,如图:
大数据开发套件与机器学习PAI共用一套项目,选择需要调度的实验所在的项目,点击进入工作空间。

第三步.新建节点调度任务


点击新建,选择任务。

在新建任务的配置中,选择节点任务,类型选择机器学习。


第四步.配置调度任务


建立了节点任务之后,可以选择对应的需要调度的机器学习实验,并且可以在右边的配置栏进行配置和相关参数的设定。
点击提交即可,注意:提交的作业从第二天开始生效。

第五步.任务日志查询


提交调度任务之后,可以点击前往运维进行日志查看。
在运维中心可以全方位的观察机器学习任务的运行情况以及系统日志。

展开
收起
nicenelly 2017-10-24 15:00:12 2253 分享 版权
阿里云 AI 助理回答

基于您提供的背景和步骤,这里简要概括了如何使用阿里云的机器学习PAI(Platform of Artificial Intelligence)与大数据开发套件(DataWorks,原Data IDE)实现机器学习实验的离线调度功能:

1. 建立PAI实验

  • 目标:创建一个机器学习模型训练实验,例如深度学习实验。
  • 操作:在PAI平台上设计并保存您的实验流程。关键点是记住实验名称,因为后续配置调度时需要选择这个实验。

2. 进入大数据开发套件工作空间

  • 目的:利用DataWorks来管理及调度PAI上的实验。
  • 操作:登录DataWorks控制台,选择与PAI实验关联的项目进入工作空间。这一步骤确保了您可以直接在DataWorks中管理和调度PAI任务。

3. 新建节点调度任务

  • 操作路径:在DataWorks界面,点击“新建” > “任务”,然后选择“节点任务”,类型指定为“机器学习”。

4. 配置调度任务

  • 详细配置
    • 选择实验:从下拉菜单中选取之前在PAI上创建的实验。
    • 参数设定:在右侧配置栏中,根据需求设置调度周期(如每日、每周等)、运行时间、资源配置等参数。
    • 提交任务:完成配置后提交。注意,调度任务通常从提交后的第二天开始执行。

5. 任务日志查询

  • 监控与日志:提交任务后,通过“前往运维”可以进入运维中心查看任务的运行状态、进度以及系统日志。这对于跟踪任务执行情况、诊断问题至关重要。

小结

通过上述步骤,您能够有效地将阿里云PAI的机器学习能力与DataWorks的调度和管理功能结合,实现模型训练任务的自动化周期性调度。这种集成不仅提升了工作效率,还便于大规模机器学习项目的运维管理,确保模型能够及时更新以应对数据变化,满足业务需求。

有帮助
无帮助
AI 助理回答生成答案可能存在不准确,仅供参考
0 条回答
写回答
取消 提交回答