zeppelin高可用部署

简介: 这边所说的zeppelin高可用不是传统意义上的HA模式,而是利用统一的配置文件,在一个zeppelin server挂掉之后,在另一个zeppelin server从统一配置文件再恢复到原有作业模式。在集群中,同时仅存在一个zeppelin server服务。

下面描述如何配置。

环境准备

服务器以及组件安装位置:

服务器名称 hadoop hadoop1
组件名称 hdfs 3.2.1 hdfs 3.2.1
组件名称 zeppelin 0.10.0 zeppelin 0.10.0

说明:

  • hadoop和hadoop1组成hdfs集群。
  • zeppelin位于hadoop和hadoop1上,其配置完全相同。

zeppelin配置

为了配置两台机器中,一台zeppelin server挂掉之后另一台机器能够接管上面运行的任务,需要做如下配置。

注意,两台zeppelin server配置完全相同。

修改zeppelin-site.xml,设置zeppelin.notebook.storage和zeppelin.notebook.dir为如下所示,该配置表示将notebook存储于hdfs上:

<property>
  <name>zeppelin.notebook.storage</name>
  <value>org.apache.zeppelin.notebook.repo.FileSystemNotebookRepo</value>
  <description>Hadoop compatible file system notebook persistence layer implementation, such as local file system, hdfs, azure wasb, s3 and etc.</description>
</property>

<property>
  <name>zeppelin.notebook.dir</name>
  <value>hdfs://hadoop:9000/zeppelin-notebook</value>
  <description>path or URI for notebook persist</description>
</property>

修改zeppelin-site.xml,设置zeppelin.recovery.storage.class和zeppelin.recovery.dir为如下所示,该配置表示启用zeppelin的恢复功能,并将回复信息放在hdfs上:

<property>
  <name>zeppelin.recovery.storage.class</name>
  <value>org.apache.zeppelin.interpreter.recovery.FileSystemRecoveryStorage</value>
  <description>ReoveryStorage implementation based on hadoop FileSystem</description>
</property>


<property>
  <name>zeppelin.recovery.dir</name>
  <value>hdfs://hadoop:9000/zeppelin-recovery</value>
  <description>Location where recovery metadata is stored</description>
</property>

基本测试

接下来以一个Flink SQL任务为例进行测试。

首先在hadoop主机上启动zeppelin server

提交任务

查看flink作业

停止hadoop主机上的zeppelin server

在hadoop1主机上启动zeppelin server

在hadoop1主机上查看任务情况

我们可以发现,hadoop1已经接管了hadoop之前运行的任务。

总结

基于上述方式,可以达到一台zeppelin server主机宕机,利用另一台zeppelin server主机接管原有任务,达到高可用的目的。

参考链接:

https://lrting.top/backend/2087/

相关文章
|
6月前
|
分布式计算 资源调度 Kubernetes
Spark集群部署与架构
Spark集群部署与架构
|
SQL 分布式计算 Hadoop
Hiveserver2的高可用搭建
Hiveserver2的高可用搭建
241 0
|
存储 Java 大数据
分布式数据库HBase的安装部署和环境搭建的集群模式
HBase是一个分布式数据库系统,能够支持高性能、高可靠性、高伸缩性的数据存储和读写操作。在大数据时代,HBase成为了一个越来越受欢迎的数据库选择。本文将介绍HBase的集群模式的安装部署和环境搭建,帮助开发者快速上手。
725 2
|
存储 Java 大数据
分布式数据库HBase的安装部署和环境搭建的Standalone/伪集群模式
HBase是一个分布式数据库系统,能够支持高性能、高可靠性、高伸缩性的数据存储和读写操作。在大数据时代,HBase成为了一个越来越受欢迎的数据库选择。本文将介绍HBase的Standalone/伪集群模式的安装部署和环境搭建,帮助开发者快速上手。
718 1
|
资源调度 分布式计算 Hadoop
Flink 集群安装部署和 HA 配置
我们在这一课时将讲解 Flink 常见的部署模式:本地模式、Standalone 模式和 Flink On Yarn 模式,然后分别讲解三种模式的使用场景和部署中常见的问题,最后将讲解在生产环境中 Flink 集群的高可用配置。
3705 0
Flink 集群安装部署和 HA 配置
|
分布式计算 Java 网络安全
Flink独立集群部署和HA部署
场景描述 172.19.9.202 主节点 JobManager 主/从 172.19.9.201 从节点 TaskManager 主/从 172.19.9.203 从节点 TaskManager 主/从
251 0
|
资源调度 分布式计算 Kubernetes
Flink最全的集群部署攻略(推荐yarn实现企业级部署)
🍅程序员小王的博客:程序员小王的博客 🍅 欢迎点赞 👍 收藏 ⭐留言 📝 🍅 如有编辑错误联系作者,如果有比较好的文章欢迎分享给我,我会取其精华去其糟粕
7104 1
Flink最全的集群部署攻略(推荐yarn实现企业级部署)
|
分布式计算 运维 Hadoop
【大数据开发运维解决方案】Hadoop2.7.6+Spark单机伪分布式安装
一、安装spark依赖的Scala 1.1 下载和解压缩Scala 下载地址: 点此下载 或则直接去官网挑选下载: 官网连接 在Linux服务器的opt目录下新建一个名为scala的文件夹,并将下载的压缩包上载上去: [root@hadoop opt]# cd /usr/ [root@hadoop usr]# mkdir scala [root@hadoop usr]# cd scala/ [ro...
【大数据开发运维解决方案】Hadoop2.7.6+Spark单机伪分布式安装
|
机器学习/深度学习 分布式计算 Hadoop
搭建高可用Hadoop集群
搭建高可用Hadoop集群
uiu
|
存储 分布式计算 安全
【亲测】Hadoop 高可用集群搭建 与 开发环境部署(二)
【亲测】Hadoop 高可用集群搭建 与 开发环境部署(二)
uiu
144 0
【亲测】Hadoop 高可用集群搭建 与 开发环境部署(二)
下一篇
无影云桌面