大数据与机器学习:实践方法与行业案例.2.4 作业调度-阿里云开发者社区

开发者社区> 华章计算机> 正文

大数据与机器学习:实践方法与行业案例.2.4 作业调度

简介:
+关注继续查看

2.4 作业调度


调度工具用来对作业进行调度,通过ETL工具创建的作业如果需要周期性运行,就需要使用调度工具来完成。调度工具是一个相对复杂的系统,尤其是在跨操作系统、跨应用平台的作业环境中更是如此。

在复杂的作业环境中,需要使用商用调度工具,目前国内使用较多的商用调度工具为Control-M。该工具是BMC Software提供的企业级集中作业调度管理解决方案,能够集中管理跨平台、跨应用的生产控制和调度过程,因此适用于大型复杂的ETL调度场景。

一些相对简单的调度场景可以不使用专门的调度工具实现。比如,如果公司的作业环境全部是Linux系统,则可以使用系统自带的crontab进行调度。

例如,图2-11中的作业配置为每日凌晨1点10分开始运行,那么可以将代码清单2-41的内容保存在文件run_trx_load_and_static.sh中。

代码清单 2-41

kitchen.sh -rep=kettle_rep_test -job="z06837. analysis.trx_load_and_static"

-dir=/ -user=admin -pass=admin -level=Basic

然后编辑Linux系统的crontab文件(通过crontab –e 命令),再在该文件中加入如代码清单2-42所示的内容。

代码清单 2-42

10 01 * * * /home/queziyang/shell/run_trx_load_and_static.sh

crontab会在每天凌晨1点10分运行指定的脚本run_trx_load_and_static.sh,这样便可以完成每日定时调度该ETL作业。显然,使用crontab调度作业,本身是没有作业日志记录的,这也是为什么需要遵循ETL作业日志规范的原因之一。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
飞天加速计划·高校学生在家实践
关于使用小白对阿里云ECS的使用
32 0
我的ecs初体验
这是一篇我对阿里ECS的使用体验文章
9 0
对阿里云ECS服务器的初步使用与体验
研二学生学习阿里云的使用体验
16 0
用阿里云飞天计划提供的CES服务器为高中生活搭建“故事簿”网页
一名刚踏入大学的大一本科生利用阿里云提供的CES服务器为高中“故事簿”搭建网页
15 0
阿里云对于学习的帮助
在配置好阿里云后的使用过程中发现的帮助,以及便利。
8 0
ECS初体验的感受
ECS初体验的感受 云翼计划
15 0
使用阿里云ECS搭建个人网站
学习在ECS上如何搭建个人网站
23 0
阿里ECS初体验
谈谈使用阿里ECS的体验感受
13 0
第一次使用ECS的过程
为方便做毕业设计的过程中向导师展示进度,开始接触云服务器,本篇文章主要记录了一下我的学习过程。
28 0
10059
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载