Azkaban--安装部署--two server 模式安装--服务器配置下 | 学习笔记

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,高可用系列 2核4GB
简介: 快速学习 Azkaban--安装部署--two server 模式安装--服务器配置下

开发者学堂课程【Azkaban 大数据调度系统课程精讲Azkaban--安装部署--two server 模式安装--服务器配置下学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/721/detail/12877


Azkaban--安装部署--two server 模式安装--服务器配置下


内容介绍:

一、web server 服务器配置

二、ec server  服务器配置

三、集群启动  

四、通过页面来使用 Azkaba

五、注意事项


一、web server 服务器配置

在 web 服务器的根目录下 web server 在根目录下找到 mkdir-p plugin/jobtypes 复制操作 在路径下创建

vim commonprivate.properties

并且复制,输入

cd plugins/jobtypes

在这个路径下采用 vim 编辑这个文件 ,然后设置 3个属性,内存检测本地库,用户,设置为 false,

azkaban.native.lib=false

execute.as.user=false

memCheck.enbled=false

复制这3个属性即可,之后保存即可。

image.png


二、exec server  服务器配置

重点配置 conf/azkaban.properties  下面的文件,使用 notepad++ 编辑选择 conf/azkaban.properties  下面 exec 执行服务器当中选择 conf 下面 azkaban.properties  打开文件更改里面的时区,选择亚洲上海,复制替代里面的美国洛杉矶,其次 web 服务器的路径的 http 开启了 S 认证所以改为 https note-2 刚端配置的是 8443 端口保持一致。

接下来就是数据库相关的配置,选择 mysql  在 note-1 端口是3356 服务器数据库的名字复制操作,用户 root 用户密码 hadhop 这样完成了数据库配置,最后复制服务器端口  12321

default . timezone . id - Asia / Shanghal

azkabanwebserver . url =https://node-2:8443

mysql .porta3306

mysql . hosts=node -1

mysql . database = azkaban _ two _ server

mysql . usera=root

mysql . pasSword = hadoop

xecutor . port =12321

image.png


三、集群启动

1.先启动  exec - server

首先启动一下 exec 执行服务器

cd / export / servers / azkaban /ExecutorServer

在根目录下使用并下面StartOK启动完成之后使用JPS可以查看一下当前的进程,发现有一个叫做 azkaban ExecutorServer

如果出错的话可以在当前路径下发现有日志,可以看一下当面里面有没有什么信息出错,而且这边有个文件很重要需要做excutor.port 端口等。这个文件非常有帮助。

接下来再去启动 web 服务器

cd ./ azkaban - web - server -0.1.0-SNAPSHOT/

这里面也是采用并启动 bin 下的启动,Start -web.sh。启动完之后我们 jps,发现 web server 进程没有了,意味着启动失败了。接下来,在他路径下也有一个日志文件这里面可以帮你去验证到底有什么问题。使用 cat 命令做一个查看web server 发现当中报了错误信息叫 No active executor found 找不到一个活跃的 executor 服务器

2.再启动  web - server

启动  webServer 之后进程失败消失,可通过安装包根目录下对应启动日志进行排查。

No active executor found

3.需要手动激活 executor

那么,刚才明明启动了一个jps可以发现这个进程确实存在 azkaban。启动的时候需要我们自己去手动的激活引出的这个服务。

cd / export / servers / azkaban / execserver

curl - G " node -2:S(</ executor . port )/ executor ? action =activate "&& echo

4.  然后重新启动  webServer  就可以了


四、通过页面来使用 Azkaban

image.png

现在这个私密连接还没有进行认证可能不安全,这个就是 ssl 需要一个数字签名的问题,感兴趣可以去了解一下。直接点击下面的高级按钮转到,点击“继续前往“ 用户名 Azkaban ,密码也是 Azkaban

image.png

接下来可以对它做一个简单测试,创建一个工程叫做 demo description itcast

image.png

选择刚才创建好的一个压缩包 solo 点击上传,依然可以发现它可以有2个 ,选择立即执行看一下效果 发现是非常成功的。

image.png

那么这样就完成了第2种部署模式 to server。


五、注意事项

第一点,two server 模式部署特点是 web 服务器和 exec executor 服务器分别位于不同的进程。第二点是使用第三方数据库进行数据的保存。

使用的是叫做 mysql 在安装部署时注意几点注意事项:第一,要先对 mysql 进行初始化的操作。

第二叫做配置 Azkaban.properties。注意里面的时区数据库地址 ,mysql 相关信息。最后一点在启动的时候注意需要自己手动的激活服务器。而且是要在根目录下启动。强调的是如果启动错误,只能通过安装包根目录下的日志进行。最后一点需要强调的是我们访问的页面叫做 HTTPS。这就是我们 two server 模式的部署在其当中这是一个比较常见的一个部署模式。

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
8天前
|
弹性计算 监控 负载均衡
|
1天前
|
弹性计算 开发工具 git
2分钟在阿里云ECS控制台部署个人应用(图文示例)
作为一名程序员,我在部署托管于Github/Gitee的代码到阿里云ECS服务器时,经常遇到繁琐的手动配置问题。近期,阿里云ECS控制台推出了一键构建部署功能,简化了这一过程,支持Gitee和GitHub仓库,自动处理git、docker等安装配置,无需手动登录服务器执行命令,大大提升了部署效率。本文将详细介绍该功能的使用方法和适用场景。
2分钟在阿里云ECS控制台部署个人应用(图文示例)
|
19天前
|
监控 Java Linux
Linux系统之安装Ward服务器监控工具
【10月更文挑战第17天】Linux系统之安装Ward服务器监控工具
43 5
Linux系统之安装Ward服务器监控工具
|
8天前
|
PHP 数据库 数据安全/隐私保护
布谷直播源码部署服务器关于数据库配置的详细说明
布谷直播系统源码搭建部署时数据库配置明细!
|
17天前
|
关系型数据库 MySQL Linux
基于阿里云服务器Linux系统安装Docker完整图文教程(附部署开源项目)
基于阿里云服务器Linux系统安装Docker完整图文教程(附部署开源项目)
154 2
|
17天前
|
NoSQL Linux PHP
|
18天前
|
弹性计算 数据库连接 Nacos
阿里云ECS服务器在docker中部署nacos
docker pull nacos 失败,docker部署nacos遇到的问题,nacos数据库连接,nacos端口映射
77 1
|
24天前
|
监控 网络安全 调度
Quartz.Net整合NetCore3.1,部署到IIS服务器上后台定时Job不被调度的解决方案
解决Quartz.NET在.NET Core 3.1应用中部署到IIS服务器上不被调度的问题,通常需要综合考虑应用配置、IIS设置、日志分析等多个方面。采用上述策略,结合细致的测试和监控,可以有效地提高定时任务的稳定性和可靠性。在实施任何更改后,务必进行充分的测试,以验证问题是否得到解决,并监控生产环境的表现,确保长期稳定性。
37 1
|
25天前
|
网络协议 Ubuntu Linux
gpg从公钥服务器接收失败(gpg: keyserver receive failed: Server indicated a failure)
通过上述步骤,大多数情况下应该能够解决GPG从公钥服务器接收失败的问题。如果问题依旧存在,可能需要进一步调查与公钥服务器相关的更深层次的技术问题,或者考虑在相关社区论坛寻求帮助。
120 1
|
24天前
|
弹性计算 应用服务中间件 网络安全
ECS服务器使用:SSL证书安装、配置和问题定位指南
本文简要介绍了SSL证书的生成与部署方法,包括使用OpenSSL生成自签名证书和从CA获取证书的步骤,以及在Apache和Nginx服务器上的配置方法。此外,还提供了测试证书是否生效的方法和常见问题的解决策略,帮助确保证书正确安装并解决调试过程中可能遇到的问题。
121 0
下一篇
无影云桌面