Azkaban--安装部署--solo server 模式安装--azkaban 使用初体验 | 学习笔记

简介: 快速学习 Azkaban--安装部署--solo server 模式安装--azkaban 使用初体验

开发者学堂课程【Azkaban 大数据调度系统课程精讲Azkaban--安装部署--solo server 模式安装--azkaban 使用初体验 学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/721/detail/12875


Azkaban--安装部署--solo server 模式安装--azkaban 使用初体验


内容介绍:

一、节点规划

二、解压配置

三、启动验证

四、登陆 web 页面

五、初体验测试

六、小结


一、节点规划

HOST

角色

node-1

Web ServerExecutor Server 同一进程

1、azkaban 当中 solo server 模式部署方式,这个模式称之为单节点模式,web 服务器和 Executor 服务器在同一个进程当中,主要用于测试和体验环节,通过这个模式更多的感受 azkaban 完整的工作流开发过程。

针对集群做一个规划,只有一台机器,在 node-1 服务器上安装 solo Server 服务器,当 Web Server Executor Server 都会在同一进程中,在这种模式下所需要的安装包只有一个叫做 azkaban solo server,其他的都不需要。

image.png


二、解压配置

打开服务器,cd 到常见的安装软件包的路径,把 azkaban solo Serve 拖拽进来,注意当下模式只需要这一个包,连数据库都不需要,因为它使用自带的数据库,上传完成后,做解压操作,cd 到解压后的目录中,针对单节点模式,配置比较简单,首先配置 azkaban.properties,修改时区,因为当下在中国开发,默认都是东8区,直接复制命令。

mkdir /export/servers/azkaban

tar -zxvf azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz-C /export/servers/azkaban/

vim conf/azkaban.properties

默认的时区是美国洛杉矶,要改成上海,日期格式不能随便写,大小写有规定,注意当数字粘贴完成后不要多打空格。

default.timezone.id= Asia/Shanghai #修改时区

Vim pluqins/jobtypes/commonprivate.properties

添加: memCheck.enabled =false 避免虚拟机中内存不足出现问题。

azkaban 默认需要3G 的内存,剩余内存不足则会报异常,在体验时可以做相应的修改。

database.type=h2数据库类型 h2

h2. path=. /h2路径在安装包的根目录下

h2. create. table s=true

不用创建,直接使用即可,非常方便。


三、启动验证

在安装包的根目录下直接 bin/start-solo 启动,注意,它告诉启动的命令在b目录下,如果到目录下启动,会发现启动成功但是没有进程。所以要求必须在安装包的根目录下启动,cd..返回到上一级,bin/start 进行启动,使用 jps,就会发现多了一个 AzkabanSingleServer。

cd azkaban-solo-server-0.1.0-SNAPSHOT/

bin/start-solo.sh

注:启动/关闭必须进到 azkaban-solo-server-0.1.0-SNAPSHOT/目录下。

AzkabanSingleServer(对于 Azkaban solo-server 模式, Exec Server 和 Web Server 在同一个进程中)


四、登陆 web 页面

访问 Web Server=>http://node-1:8081/默认用户名密码 azkaban

输入用户名和密码。

image.png

登陆到 Azkaban web 页面。从左到右依次是工程,在 Azkaban 中项目是以工程存在的。

image.png

当前正在调度的工程。

image.png

正在执行的工程。

image.png

执行完毕的工程。

image.png

所有操作基于工程进行相关的创建。


五、初体验测试

http://node-1:8081/index 登录=>Create Project=>Upload zip =>execute flow 执行一步步操作即可。

创建两个文件 one.job two.job,内容如下,打包成 zip 包。

打开参考资料,在资料中安装部署配置 solo 模式。

image.png

第一个是 one.job,右键点击。

#one. job

type=command 类型

Command=echo "this is job one"命令,show 命令,输出一句话

第二个 two.job,右键点击。

# two.job

type= command

Dependencies=one依赖于 one,根据后面的名字进行寻找,依赖于它,它执行完后再执行,任何一个软件只要最后能转化成 command 稀有脚本,都可以调度执行。把两个配置文件达成 zip 的压缩包。

command=echo "this is job two"

cat one.job

type=command

command=echo "this is job one"

cat two.job

type=command

dependencies=one

command=echo "this is job two"

创建工程:azkaban_ demo

image.png

点击 upload 上传压缩包,solo.zip

image.png

点击查看,列举出当前工程的依赖。

image.png

点击右上角按钮 Schedule/Execute Flow 调用或执行,打开后如果点击左边就是调度,点击右边就是执行。点击执行。

image.png

通过 job list 查看,时间曲线百分之百是先一后二,如果出错,可以点击 details,查看相关信息,this is job onethis is job two,完成调度。

image.png


六、小结

1、安装部署

1)单节点部署模式,注意时区,内存检测的关闭。

2)启动时候必须在安装包的根目录下进行启动。

bin/start-solo.sh 正确

./start-solo.sh 错误

2azkaban 开发流程

1)编写 job 的配置文件 xxxx.job

type=command

command=xxxx

2)把所有 job 配置打成一个 zip 的压缩包。

3)登录页面 node-1:8081创建工程(默认用户名密码都是 azkaban)

4)上传 zip 压缩包。

5)选择调度 schduler 或者立即执行 executor 工程。

相关文章
|
SQL 分布式计算 Oracle
数据同步工具DataX的安装
数据同步工具DataX的安装
5661 0
|
人工智能 JSON 安全
面试被问MCP?看这一篇文章就行了
MCP(模型上下文协议)是由Anthropic推出的开源标准,旨在统一AI与外部工具、数据源及系统的交互方式。它通过Tools(执行操作)、Resources(安全读取数据)和Prompts(复用提示模板)三大能力,实现跨厂商、跨环境的标准化连接,支撑可感知上下文的智能体开发。(239字)
|
机器学习/深度学习 JSON 算法
京东拍立淘图片搜索 API 接入实践:从图像识别到商品匹配的技术实现
京东拍立淘图片搜索 API 是基于先进图像识别技术的购物搜索接口,支持通过上传图片、URL 或拍摄实物搜索相似商品。它利用机器学习和大数据分析,精准匹配商品特征,提供高效、便捷的搜索体验。接口覆盖京东海量商品资源,不仅支持外观、颜色等多维度比对,还结合用户行为数据实现智能推荐。请求参数包括图片 URL 或 Base64 编码,返回 JSON 格式的商品信息,如 ID、价格、链接等,助力消费者快速找到心仪商品,满足个性化需求。
851 18
|
9月前
|
分布式计算 Java 关系型数据库
二、Sqoop 详细安装部署教程
在大数据开发实战中,Sqoop 是数据库与 Hadoop 生态之间不可或缺的数据传输工具。这篇文章将以 Sqoop 1.4.7 为例,结合官方站点截图,详细讲解 Sqoop 的下载路径、安装步骤、环境配置,以及常见 JDBC 驱动的准备过程,帮你一步步搭建出能正常运行的 Sqoop 环境,并通过 list-databases 命令验证安装是否成功。如果你正打算学习 Sqoop,或者在搭建大数据平台过程中遇到安装配置问题,本文将是非常实用的参考指南。
887 6
|
关系型数据库 MySQL 调度
DataX教程(05)- DataX Web项目实践
DataX教程(05)- DataX Web项目实践
4329 0
|
存储 人工智能 开发框架
Kheish:开源的多智能体开发框架,通过 YAML 配置工作流和多个 Agent 共同协作解决复杂任务
Kheish 是一个开源的多智能体协调平台,基于大型语言模型(LLM)设计,能够通过灵活配置多个智能体来解决复杂任务。平台支持模块化集成、聊天式提示、反馈循环等功能,适用于代码审计、法律文件分析、客户服务自动化等多种应用场景。
576 18
Kheish:开源的多智能体开发框架,通过 YAML 配置工作流和多个 Agent 共同协作解决复杂任务
|
前端开发 NoSQL Java
【Java若依框架】RuoYi-Vue的前端和后端配置步骤和启动步骤
本文介绍了如何配置和启动基于Java的若依(RuoYi)项目,涵盖后端和前端的详细步骤。首先,准备Redis、MySQL以及IDE(如Idea和VS)。接着,通过GitHub获取代码并导入到IDE中,执行必要的SQL文件和配置数据库密码。然后,启动Redis并进行相关配置。最后,按照前端配置步骤克隆前端代码库,打开终端执行命令完成前端配置。整个过程详细记录了每一步的操作,帮助开发者顺利部署若依项目。 如果你觉得有帮助,请点赞、关注和收藏,这将是我持续分享的动力!
8735 4
|
JSON 前端开发 JavaScript
vue.config.js配置详解
【8月更文挑战第16天】vue.config.js配置详解
1060 1
vue.config.js配置详解
|
人工智能 监控 IDE
利用AI进行代码生成:开发新纪元
【10月更文挑战第9天】人工智能在软件开发领域的应用日益广泛,特别是AI驱动的代码生成技术。本文介绍了AI代码生成的原理、核心优势及实施步骤,探讨了其在自动补全、代码优化和快速原型开发中的应用,并提供了实战技巧,旨在帮助开发者高效利用这一技术提升开发质量和效率。