开发者学堂课程【新电商大数据平台2020最新课程:电商项目之 Azkaban 安装(Exec 参数配置)】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/640/detail/10506
电商项目之Azkaban安装(Exec参数配置)
对 Azkaban 进行安装,把它给上传了,进行解压了。再把压缩包生成之后,它里面会有两个文件夹。
用 ZIP 方式进行压缩,然后进入这个安装文件,安装文件它有两个,一个是 exec server,一个是 WEB server,一个是执行器,一个是 UI 界面。
执行器主要是用于执行任务,界面用于上传任务,然后进行一个执行。先依次配置一下,两倍的配置文件,在配置文件之前,先要去运行一下,协调预约,需要将 Azkaban DB 进行解压,然后需要在 mysql 当中,创建 Azkaban 的数据库,然后执行命令,然后呢运行文件即可。
首先将它进行解压,完成之后把它拷到到对应的 Azkaban 的地方。
然后可以看到,都是创建表的一个文件,都是创建各对应的一个源数据库,源数据表。存储各种的源数据的。然后,在这里面只要执行文件即可,然后里面的文件所有的执行创建对应的表。当然创建表之前先创建数据库。
进来之后,table 是没有东西的,它是空的,需要在里面执行 Source 命令。
需要去安装源数据库,源数据库其实就是在安装 Azkaban 的时候里面的一个源数据存储。存储在上传任何任务的时候,需要有一个元数据存储位置,比如说上传了多少次,执行了多少次,每一次更新是什么样的,都需要知道。
在里面进行 Azkaban 源数据初始化,然后把它对应的数据,主管成功即可,初始化成功就行,找到 source 需要在对应的位置,找到原数据啊。
然后,初始化 Azkaban 的一项源数据,各种元素表。找到它拿过来。然后找到文件,执行,就可以看到对应创建对应的表了。
创建对应的表,依次都会创建成功,依次都成功,输入 show table。会发现这里面有 Azkaban 的任务表。表现在都是空的,执行的时候里面会存源数据,就是任务的源数据。接下来先配置Azkaban。现在源数据有了,之前的就没用了,退出它就没什么用了。然后进入执行器。这个执行器当中需要把命令改一下,因为它是一个不可执行文件吧,这时候给它一个权限,因为是解压好的,是这个编译好的,不需要重新编译了。然后,打开压缩包之后呢,它的属性就变了。
然后进来修改文件里面的 Azkaban,其他不用修改啊。需要改成配置好的内容,就是为防止出错,整体来说,配置的方式都是一样的。其他都是一样的。保存一下,替换。
首先第一步,执行器的参数,第一个是 Azkaban 的名称,在 web 上面都会显示。
然后介绍,颜色,执行到默认页面,然后选择的是时间上海,下面配置账号密码,然后是执行器的一些配置参数,下边是配置数据库的,就按照输入数据库在哪里,就装在哪里就可以了,然后使用 mysql 数据库,用完了之后,有账号密码就可以了,执行器的修改完成。修改完成之后,可以去启动一下。