zeppelin高可用部署

简介: 这边所说的zeppelin高可用不是传统意义上的HA模式,而是利用统一的配置文件,在一个zeppelin server挂掉之后,在另一个zeppelin server从统一配置文件再恢复到原有作业模式。在集群中,同时仅存在一个zeppelin server服务。

下面描述如何配置。

环境准备

服务器以及组件安装位置:

服务器名称 hadoop hadoop1
组件名称 hdfs 3.2.1 hdfs 3.2.1
组件名称 zeppelin 0.10.0 zeppelin 0.10.0

说明:

  • hadoop和hadoop1组成hdfs集群。
  • zeppelin位于hadoop和hadoop1上,其配置完全相同。

zeppelin配置

为了配置两台机器中,一台zeppelin server挂掉之后另一台机器能够接管上面运行的任务,需要做如下配置。

注意,两台zeppelin server配置完全相同。

修改zeppelin-site.xml,设置zeppelin.notebook.storage和zeppelin.notebook.dir为如下所示,该配置表示将notebook存储于hdfs上:

<property>
  <name>zeppelin.notebook.storage</name>
  <value>org.apache.zeppelin.notebook.repo.FileSystemNotebookRepo</value>
  <description>Hadoop compatible file system notebook persistence layer implementation, such as local file system, hdfs, azure wasb, s3 and etc.</description>
</property>

<property>
  <name>zeppelin.notebook.dir</name>
  <value>hdfs://hadoop:9000/zeppelin-notebook</value>
  <description>path or URI for notebook persist</description>
</property>

修改zeppelin-site.xml,设置zeppelin.recovery.storage.class和zeppelin.recovery.dir为如下所示,该配置表示启用zeppelin的恢复功能,并将回复信息放在hdfs上:

<property>
  <name>zeppelin.recovery.storage.class</name>
  <value>org.apache.zeppelin.interpreter.recovery.FileSystemRecoveryStorage</value>
  <description>ReoveryStorage implementation based on hadoop FileSystem</description>
</property>


<property>
  <name>zeppelin.recovery.dir</name>
  <value>hdfs://hadoop:9000/zeppelin-recovery</value>
  <description>Location where recovery metadata is stored</description>
</property>

基本测试

接下来以一个Flink SQL任务为例进行测试。

首先在hadoop主机上启动zeppelin server

提交任务

查看flink作业

停止hadoop主机上的zeppelin server

在hadoop1主机上启动zeppelin server

在hadoop1主机上查看任务情况

我们可以发现,hadoop1已经接管了hadoop之前运行的任务。

总结

基于上述方式,可以达到一台zeppelin server主机宕机,利用另一台zeppelin server主机接管原有任务,达到高可用的目的。

参考链接:

https://lrting.top/backend/2087/

相关文章
|
分布式计算 Hadoop Java
Hadoop分布式集群部署
Hadoop分布式集群部署
97 0
|
网络安全 流计算
108 Storm集群部署
108 Storm集群部署
39 0
|
SQL 分布式计算 Hadoop
Hiveserver2的高可用搭建
Hiveserver2的高可用搭建
260 0
|
分布式计算 Java 网络安全
Flink独立集群部署和HA部署
场景描述 172.19.9.202 主节点 JobManager 主/从 172.19.9.201 从节点 TaskManager 主/从 172.19.9.203 从节点 TaskManager 主/从
266 0
|
存储 Ubuntu 网络协议
storm完全分布式部署
storm完全分布式部署
|
存储 运维 Java
Apache ZooKeeper - 高可用ZK集群模式搭建与运维
Apache ZooKeeper - 高可用ZK集群模式搭建与运维
288 0
|
机器学习/深度学习 分布式计算 Hadoop
搭建高可用Hadoop集群
搭建高可用Hadoop集群
|
分布式计算 Hadoop Java
【Flink完全分布式环境搭建及应用,Standalone(开发测试)二】
【Flink完全分布式环境搭建及应用,Standalone(开发测试)二】
217 0
【Flink完全分布式环境搭建及应用,Standalone(开发测试)二】
|
分布式计算 Hadoop 流计算
如何搭建Storm集群?
如何搭建Storm集群?
113 0
|
流计算
storm集群的搭建
最近也是有朋友问我storm的问题,好长时间没玩storm了,今天就来简单的说一下吧,首先我们来看一下官网的图片,storm是完全实时的,就像水龙头打开后一样,会不停的往外面流水.所以他的延迟非常的低,这也是他的特点.然后先搭建storm集群吧,storm集群的搭建也比较简单.