开发者学堂课程【Azkaban 大数据调度系统课程精讲:Azkaban--安装部署--two server 模式安装--服务器配置下】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/721/detail/12877
Azkaban--安装部署--two server 模式安装--服务器配置下
内容介绍:
一、web server 服务器配置
二、ec server 服务器配置
三、集群启动
四、通过页面来使用 Azkaba
五、注意事项
一、web server 服务器配置
在 web 服务器的根目录下 web server 在根目录下找到 mkdir-p plugin/jobtypes 复制操作 在路径下创建
vim commonprivate.properties
并且复制,输入
cd plugins/jobtypes
在这个路径下采用 vim 编辑这个文件 ,然后设置 3个属性,内存检测本地库,用户,设置为 false,
azkaban.native.lib=false
execute.as.user=false
memCheck.enbled=false
复制这3个属性即可,之后保存即可。
二、exec server 服务器配置
重点配置 conf/azkaban.properties 下面的文件,使用 notepad++ 编辑选择 conf/azkaban.properties 下面 exec 执行服务器当中选择 conf 下面 azkaban.properties 打开文件更改里面的时区,选择亚洲上海,复制替代里面的美国洛杉矶,其次 web 服务器的路径的 http 开启了 S 认证所以改为 https note-2 刚端配置的是 8443 端口保持一致。
接下来就是数据库相关的配置,选择 mysql 在 note-1 端口是3356 服务器数据库的名字复制操作,用户 root 用户密码 hadhop 这样完成了数据库配置,最后复制服务器端口 12321
default . timezone . id - Asia / Shanghal
azkabanwebserver . url =https://node-2:8443
mysql .porta3306
mysql . hosts=node -1
mysql . database = azkaban _ two _ server
mysql . usera=root
mysql . pasSword = hadoop
xecutor . port =12321
三、集群启动
1.先启动 exec - server
首先启动一下 exec 执行服务器
cd / export / servers / azkaban /ExecutorServer
在根目录下使用并下面Start他OK启动完成之后使用JPS可以查看一下当前的进程,发现有一个叫做 azkaban ExecutorServer
如果出错的话可以在当前路径下发现有日志,可以看一下当面里面有没有什么信息出错,而且这边有个文件很重要需要做excutor.port 端口等。这个文件非常有帮助。
接下来再去启动 web 服务器
cd ./ azkaban - web - server -0.1.0-SNAPSHOT/
这里面也是采用并启动 bin 下的启动,Start -web.sh。启动完之后我们 jps,发现 web server 进程没有了,意味着启动失败了。接下来,在他路径下也有一个日志文件这里面可以帮你去验证到底有什么问题。使用 cat 命令做一个查看web server 发现当中报了错误信息叫 No active executor found 找不到一个活跃的 executor 服务器。
2.再启动 web - server
启动 webServer 之后进程失败消失,可通过安装包根目录下对应启动日志进行排查。
No active executor found
3.需要手动激活 executor
那么,刚才明明启动了一个jps可以发现这个进程确实存在 azkaban。启动的时候需要我们自己去手动的激活引出的这个服务。
cd / export / servers / azkaban / execserver
curl - G " node -2:S(</ executor . port )/ executor ? action =activate "&& echo
4. 然后重新启动 webServer 就可以了
四、通过页面来使用 Azkaban
现在这个私密连接还没有进行认证可能不安全,这个就是 ssl 需要一个数字签名的问题,感兴趣可以去了解一下。直接点击下面的高级按钮转到,点击“继续前往“ 用户名 Azkaban ,密码也是 Azkaban。
接下来可以对它做一个简单测试,创建一个工程叫做 demo, description 是 itcast
选择刚才创建好的一个压缩包 solo 点击上传,依然可以发现它可以有2个 ,选择立即执行看一下效果 发现是非常成功的。
那么这样就完成了第2种部署模式 to server。
五、注意事项
第一点,two server 模式部署特点是 web 服务器和 exec executor 服务器分别位于不同的进程。第二点是使用第三方数据库进行数据的保存。
使用的是叫做 mysql 在安装部署时注意几点注意事项:第一,要先对 mysql 进行初始化的操作。
第二叫做配置 Azkaban.properties。注意里面的时区数据库地址 ,mysql 相关信息。最后一点在启动的时候注意需要自己手动的激活服务器。而且是要在根目录下启动。强调的是如果启动错误,只能通过安装包根目录下的日志进行。最后一点需要强调的是我们访问的页面叫做 HTTPS。这就是我们 two server 模式的部署在其当中这是一个比较常见的一个部署模式。