开发者社区> 问答> 正文

spark master在使用zookeeper进行HA时,有哪些元数据保存在zookeeper?

spark master在使用zookeeper进行HA时,有哪些元数据保存在zookeeper?

展开
收起
芯在这 2021-12-07 15:58:38 401 0
1 条回答
写回答
取消 提交回答
  • spark通过这个参数spark.deploy.zookeeper.dir指定master元数据在zookeeper中保存的位置,包括worker,master,application,executors.standby节点要从zk中获得元数据信息,恢复集群运行状态,才能对外继续提供服务,作业提交资源申请等,在恢复前是不能接受请求的

    2021-12-07 15:58:54
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载