电商项目之 Azkaban 安装(Exec 参数配置)|学习笔记

简介: 快速学习电商项目之 Azkaban 安装(Exec 参数配置)

开发者学堂课程【新电商大数据平台2020最新课程电商项目之 Azkaban 安装(Exec 参数配置)】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/640/detail/10506


电商项目之Azkaban安装(Exec参数配置)

 

对 Azkaban 进行安装把它给上传了,进行解压了。再把压缩包生成之后它里面会有两个文件夹。

image.png

ZIP 方式进行压缩然后进入这个安装文件安装文件它有两个一个是 exec server,一个是 WEB server一个是执行器,一个是 UI 界面

image.png

执行器主要是用于执行任务,界面用于上传任务,然后进行一个执行。先依次配置一下,两倍的配置文件配置文件之前,先要去运行一下协调预约需要将 Azkaban DB 进行解压,然后需要在 mysql 当中,创建 Azkaban 的数据库,然后执行命令,然后呢运行文件即可。

首先将它进行解压完成之后把它拷到到对应的 Azkaban 的地方。

然后可以看到,都是创建表的一个文件,都是创建各对应的一个数据库,数据表。存储各种的数据。然后,在这里面只要执行文件即可,然后里面的文件所有的执行创建对应的表。当然创建表之前先建数据库。

image.png

进来之后table 是没有东西的它是空的,需要在里面执行 Source 命令。

需要去安装数据库源数据库其实就是在安装 Azkaban 的时候里面的一个数据存储。存储上传任何任务的时候,需要有一个元数据存储位置比如说上了多少次执行了多少次每一次更新是什么样的,都需要知道。

在里面进行 Azkaban 源数据初始化,然后把它对应的数据主管成功即可初始化成功就行找到 source 需要在对应的位置找到原数据啊。

然后,初始化 Azkaban 的一项数据各种元素。找到它拿过来。然后找到文件,执行可以看到对应创建对应的表了。

创建对应的表依次都会创成功,依次都成功,输入 show table。会发现这里面有 Azkaban 的任务表。表现在都是空的,执行的时候里面会存数据,就是任务的源数据接下来先配置Azkaban。现在源数据有了,之前的就没用了,退出它就没什么用了。然后进入执行器。这个执行器当中需要命令改一下因为是一个不可执行文件吧,这时候给它一个权限因为是解压好的,是这个编译好的,不需要重新编译了。然后打开压缩包之后呢,它的属性就变了

然后进来修改文件里面的 Azkaban其他不用改啊。需要改配置好的内容,为防止出错,整体来说配置的方式都是一样的。其他都是一样的。保存一下替换。

 image.png

首先第一步,执行器的参数,第一个Azkaban 名称web 上面都会显示。

然后介绍颜色执行到默认面,然后选择的是时间上海下面配置账号密码,然后是执行器的一些配置参数下边配置数据库就按照输入数据库在哪就装就可以了,然后使用 mysql 数据用完了之后密码可以了执行器的修改完成。修改完成之后可以去启动一下

相关文章
|
4月前
|
SQL 分布式计算 Hadoop
Azkaban【基础 01】核心概念+特点+Web界面+架构+Job类型(一篇即可入门Azkaban工作流调度系统)
【2月更文挑战第6天】Azkaban【基础 01】核心概念+特点+Web界面+架构+Job类型(一篇即可入门Azkaban工作流调度系统)
271 0
|
2月前
|
SQL 分布式计算 大数据
MaxCompute操作报错合集之 Spark Local模式启动报错,是什么原因
MaxCompute是阿里云提供的大规模离线数据处理服务,用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时,可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。
|
3月前
|
Oracle 关系型数据库 Java
实时计算 Flink版产品使用问题之源码 deploy,生成带有时间戳的jar包,如何修改配置信息
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
4月前
|
Kubernetes 数据处理 数据库
实时计算 Flink版产品使用合集之tm的临时文件保存路径可以用哪个配置项
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStreamAPI、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
4月前
|
存储 监控 Linux
Airflow【部署 01】Airflow官网Quick Start实操(一篇学会部署Airflow)
【2月更文挑战第7天】Airflow【部署 01】Airflow官网Quick Start实操(一篇学会部署Airflow)
379 1
|
11月前
|
Java 数据库连接 Maven
93分布式电商项目 - Maven Profile切换数据库连接配置
93分布式电商项目 - Maven Profile切换数据库连接配置
66 0
|
Java 关系型数据库 MySQL
azkaban使用方法大全
azkaban自动化流程
|
SQL 关系型数据库 MySQL
Azkaban--介绍、架构、部署模式 | 学习笔记
快速学习 Azkaban--介绍、架构、部署模式
502 0
Azkaban--介绍、架构、部署模式 | 学习笔记
|
大数据 调度 开发者
Azkaban--使用实战--定时任务调度 | 学习笔记
快速学习 Azkaban--使用实战--定时任务调度
1533 0
Azkaban--使用实战--定时任务调度 | 学习笔记
|
XML Shell 调度
Apache Oozie-- 实战操作--集成 hue- 定时调度配置|学习笔记
快速学习 Apache Oozie-- 实战操作--集成 hue- 定时调度配置
493 0
Apache Oozie-- 实战操作--集成  hue- 定时调度配置|学习笔记