电商项目之 Azkaban 案例(3.X 任务)|学习笔记

简介: 快速学习电商项目之 Azkaban 案例(3.X 任务)

开发者学堂课程【新电商大数据平台2020最新课程电商项目之 Azkaban 案例(3.X 任务)】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/640/detail/10511


电商项目之Azkaban案例(3.X任务)

 

上一节讲述了 Azkaban 的使用,包括案例的讲解,同时处理了 shell 中的脚本程度,之前用的都是2.0的版本,也就是没有使用3版本。本节课讲解三版本的使用。

三版本的使用方式和二版本的是一样的提交流程,但是在编写脚本任务的时候,不是原来.脚本文件,而是.flow文件。

之后把模板.project 的文件,进行改名为 mb.project;模板.flow 文件更名为 mb.flow;模板.sh 文件名改为 mb.sh,之后再依次打开。

首先来说明,shell 脚本使用的是 yesterday 类,后期选取时间,打印时间即可,输出前一天的时间即可,如下图。

image.png

或者也可以选择不输出时间,将 yesterday 改为 Azkaban,并且把 yesterday 的所在行删掉,这个就是 shell 脚本。

之后是载 mb.flow 文件进行配置,如果有 emaiil 就可以配置 email,没有就不需要配置。

Nodes,是所写的任务,name 后面是当前任务的名字这个名字可以进行修改,可以改为 Shell2Az,是可以将名字更换的。

类型依旧选择 command,之后 config 里面配置要执行的文件,这里的文件是 mb.sh,是 shell 脚本,前面有四个空格。名字前面的-有两个空格,-和 name 之间还有一个空格,如下图。注意模板一定要按照规定去书写。

image.png

最后一个文件 mb.project 中,是指当天所要进行的任务,现在要执行 azkaban-flow-version:2.0,是 flow 用户,包括之前的文件都是.flow 的形式,这三个文件形式都必须要有。

现在将这个三个文件压缩成压缩包,并将压缩包名字改为 mb.zip,之后上传,载 Azkaban 的网站页面中,找到 upload 的按钮,在上传的文件选择框中找到刚刚桌面上的压缩包,上传即可。

之后会有一个任务,点击 Execute Flow 进行执行,到以下页面后点击允许。

image.png

之后得到允许成功的结果

可以在当前的任务查看执行的结果,如下图,显示有一个命令没找到,但并不影响输出,正常输入没有大的问题是可以的,这样的调动就是搞定的

image.png

如果后面调动 school from 是一样的,将 school from 滚动的命令写进 shell 脚本中。还可以设置定时器,显示当前所执行的任务时区是在上海,下面还有例子是表示设立时间的数据,是按小时的,对外服务改了,可能就会改变。

默认是每一小时执行一次,这些都是可以更换的,这是每分钟的,可以进行修改。

image.png

因为刚刚进行了修改,所以现在是每一分钟。

image.png

这个任务是定时定点的跑,不管是写 swap 任务还是 hell 的文件,都会在这个 azkaban 的文件上面设置好,跑定制好的程序。

整体来说这个是比较方便的,所以在使用的时候可以用这个定时来配置。

在二版本的时候,配置过程不是这样的,没有例子演示,只需要告知程序多久执行一次即可,在这个版本是可选的,比2 版本更要完善。这个 Azkaban 从整体的介绍、安装、到配置、案例分析,从2版本讲述到3版本,整体过程到此为止,这个过程会整理出来。会使用即可,包括特性,定制脚本以及如何设置就可以。

目录
打赏
0
0
0
0
319
分享
相关文章
Spark学习--day05、SparkCore电商网站实操、SparkCore-工程代码
Spark学习--day05、SparkCore电商网站实操、SparkCore-工程代码
158 11
电商4.0项目【二】: 架构搭建
电商4.0项目【二】: 架构搭建
98 0
淘东电商项目(80) -思维导图小结
淘东电商项目(80) -思维导图小结
52 0
淘东电商项目(80) -思维导图小结
淘东电商项目(13) -项目整合WxJava
淘东电商项目(13) -项目整合WxJava
69 0
39分布式电商项目 - SpringDataRedis 介绍及Demo
39分布式电商项目 - SpringDataRedis 介绍及Demo
59 0
02分布式电商项目 - 项目简介
02分布式电商项目 - 项目简介
67 0
45分布式电商项目 - SpringDataSolr 入门例子
45分布式电商项目 - SpringDataSolr 入门例子
56 0