Azkaban--安装部署--two server 模式安装--服务器配置下 | 学习笔记

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云数据库 RDS MySQL,高可用系列 2核4GB
简介: 快速学习 Azkaban--安装部署--two server 模式安装--服务器配置下

开发者学堂课程【Azkaban 大数据调度系统课程精讲Azkaban--安装部署--two server 模式安装--服务器配置下学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/721/detail/12877


Azkaban--安装部署--two server 模式安装--服务器配置下


内容介绍:

一、web server 服务器配置

二、ec server  服务器配置

三、集群启动  

四、通过页面来使用 Azkaba

五、注意事项


一、web server 服务器配置

在 web 服务器的根目录下 web server 在根目录下找到 mkdir-p plugin/jobtypes 复制操作 在路径下创建

vim commonprivate.properties

并且复制,输入

cd plugins/jobtypes

在这个路径下采用 vim 编辑这个文件 ,然后设置 3个属性,内存检测本地库,用户,设置为 false,

azkaban.native.lib=false

execute.as.user=false

memCheck.enbled=false

复制这3个属性即可,之后保存即可。

image.png


二、exec server  服务器配置

重点配置 conf/azkaban.properties  下面的文件,使用 notepad++ 编辑选择 conf/azkaban.properties  下面 exec 执行服务器当中选择 conf 下面 azkaban.properties  打开文件更改里面的时区,选择亚洲上海,复制替代里面的美国洛杉矶,其次 web 服务器的路径的 http 开启了 S 认证所以改为 https note-2 刚端配置的是 8443 端口保持一致。

接下来就是数据库相关的配置,选择 mysql  在 note-1 端口是3356 服务器数据库的名字复制操作,用户 root 用户密码 hadhop 这样完成了数据库配置,最后复制服务器端口  12321

default . timezone . id - Asia / Shanghal

azkabanwebserver . url =https://node-2:8443

mysql .porta3306

mysql . hosts=node -1

mysql . database = azkaban _ two _ server

mysql . usera=root

mysql . pasSword = hadoop

xecutor . port =12321

image.png


三、集群启动

1.先启动  exec - server

首先启动一下 exec 执行服务器

cd / export / servers / azkaban /ExecutorServer

在根目录下使用并下面StartOK启动完成之后使用JPS可以查看一下当前的进程,发现有一个叫做 azkaban ExecutorServer

如果出错的话可以在当前路径下发现有日志,可以看一下当面里面有没有什么信息出错,而且这边有个文件很重要需要做excutor.port 端口等。这个文件非常有帮助。

接下来再去启动 web 服务器

cd ./ azkaban - web - server -0.1.0-SNAPSHOT/

这里面也是采用并启动 bin 下的启动,Start -web.sh。启动完之后我们 jps,发现 web server 进程没有了,意味着启动失败了。接下来,在他路径下也有一个日志文件这里面可以帮你去验证到底有什么问题。使用 cat 命令做一个查看web server 发现当中报了错误信息叫 No active executor found 找不到一个活跃的 executor 服务器

2.再启动  web - server

启动  webServer 之后进程失败消失,可通过安装包根目录下对应启动日志进行排查。

No active executor found

3.需要手动激活 executor

那么,刚才明明启动了一个jps可以发现这个进程确实存在 azkaban。启动的时候需要我们自己去手动的激活引出的这个服务。

cd / export / servers / azkaban / execserver

curl - G " node -2:S(</ executor . port )/ executor ? action =activate "&& echo

4.  然后重新启动  webServer  就可以了


四、通过页面来使用 Azkaban

image.png

现在这个私密连接还没有进行认证可能不安全,这个就是 ssl 需要一个数字签名的问题,感兴趣可以去了解一下。直接点击下面的高级按钮转到,点击“继续前往“ 用户名 Azkaban ,密码也是 Azkaban

image.png

接下来可以对它做一个简单测试,创建一个工程叫做 demo description itcast

image.png

选择刚才创建好的一个压缩包 solo 点击上传,依然可以发现它可以有2个 ,选择立即执行看一下效果 发现是非常成功的。

image.png

那么这样就完成了第2种部署模式 to server。


五、注意事项

第一点,two server 模式部署特点是 web 服务器和 exec executor 服务器分别位于不同的进程。第二点是使用第三方数据库进行数据的保存。

使用的是叫做 mysql 在安装部署时注意几点注意事项:第一,要先对 mysql 进行初始化的操作。

第二叫做配置 Azkaban.properties。注意里面的时区数据库地址 ,mysql 相关信息。最后一点在启动的时候注意需要自己手动的激活服务器。而且是要在根目录下启动。强调的是如果启动错误,只能通过安装包根目录下的日志进行。最后一点需要强调的是我们访问的页面叫做 HTTPS。这就是我们 two server 模式的部署在其当中这是一个比较常见的一个部署模式。

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
1月前
|
弹性计算 监控 负载均衡
|
5天前
|
存储 人工智能 自然语言处理
ChatMCP:基于 MCP 协议开发的 AI 聊天客户端,支持多语言和自动化安装 MCP 服务器
ChatMCP 是一款基于模型上下文协议(MCP)的 AI 聊天客户端,支持多语言和自动化安装。它能够与多种大型语言模型(LLM)如 OpenAI、Claude 和 OLLama 等进行交互,具备自动化安装 MCP 服务器、SSE 传输支持、自动选择服务器、聊天记录管理等功能。
56 14
ChatMCP:基于 MCP 协议开发的 AI 聊天客户端,支持多语言和自动化安装 MCP 服务器
|
1月前
|
弹性计算 开发工具 git
2分钟在阿里云ECS控制台部署个人应用(图文示例)
作为一名程序员,我在部署托管于Github/Gitee的代码到阿里云ECS服务器时,经常遇到繁琐的手动配置问题。近期,阿里云ECS控制台推出了一键构建部署功能,简化了这一过程,支持Gitee和GitHub仓库,自动处理git、docker等安装配置,无需手动登录服务器执行命令,大大提升了部署效率。本文将详细介绍该功能的使用方法和适用场景。
2分钟在阿里云ECS控制台部署个人应用(图文示例)
|
25天前
|
Ubuntu 网络协议 关系型数据库
超聚变服务器2288H V6使用 iBMC 安装 Ubuntu Server 24.04 LTS及后续系统配置
【11月更文挑战第15天】本文档详细介绍了如何使用iBMC在超聚变服务器2288H V6上安装Ubuntu Server 24.04 LTS,包括连接iBMC管理口、登录iBMC管理界面、配置RAID、安装系统以及后续系统配置等步骤。
|
27天前
|
NoSQL Linux PHP
如何在不同操作系统上安装 Redis 服务器,包括 Linux 和 Windows 的具体步骤
本文介绍了如何在不同操作系统上安装 Redis 服务器,包括 Linux 和 Windows 的具体步骤。接着,对比了两种常用的 PHP Redis 客户端扩展:PhpRedis 和 Predis,详细说明了它们的安装方法及优缺点。最后,提供了使用 PhpRedis 和 Predis 在 PHP 中连接 Redis 服务器及进行字符串、列表、集合和哈希等数据类型的基本操作示例。
52 4
|
29天前
|
NoSQL 容灾 MongoDB
MongoDB主备副本集方案:两台服务器使用非对称部署的方式实现高可用与容灾备份
在资源受限的情况下,为了实现MongoDB的高可用性,本文探讨了两种在两台服务器上部署MongoDB的方案。方案一是通过主备身份轮换,即一台服务器作为主节点,另一台同时部署备节点和仲裁节点;方案二是利用`priority`设置实现自动主备切换。两者相比,方案二自动化程度更高,适合追求快速故障恢复的场景,而方案一则提供了更多的手动控制选项。文章最后对比了这两种方案与标准三节点副本集的优缺点,指出三节点方案在高可用性和数据一致性方面表现更佳。
|
1月前
|
PHP 数据库 数据安全/隐私保护
布谷直播源码部署服务器关于数据库配置的详细说明
布谷直播系统源码搭建部署时数据库配置明细!
|
2月前
|
关系型数据库 MySQL Linux
基于阿里云服务器Linux系统安装Docker完整图文教程(附部署开源项目)
基于阿里云服务器Linux系统安装Docker完整图文教程(附部署开源项目)
377 3
|
2月前
|
NoSQL Linux PHP
|
2月前
|
弹性计算 数据库连接 Nacos
阿里云ECS服务器在docker中部署nacos
docker pull nacos 失败,docker部署nacos遇到的问题,nacos数据库连接,nacos端口映射
154 1