开发者社区 问答 正文

Spark Master的选举过程是什么?

Spark Master的选举过程是什么?

展开
收起
芯在这 2021-12-08 21:56:58 587 分享 版权
1 条回答
写回答
取消 提交回答
  • "Master作为Spark standalone模式的核心,如果Master出现异常,那么集群就不能正常工作。所以Spark会从Standby中选择一个节点作为Master.

    Spark支持以下几种策略,这种策略可以通过配置文件spark-env.sh配置spark.deploy.recoveryMode

    ZOOKEEPER: 集群元数据持久化到zookeeper,当master出现异常的时候,zookeeper会通过选举机制选举出新的Master,新的Master接管集群时需要从zookeeper获取持久化信息,并根据这些信息恢复集群状态 FILESYSTEM: 集群的元数据持久化到文件系统,当Master出现异常的时候,只要在该机器上重启Master,启动后的Master获取持久化信息并根据持久化信息恢复集群状态 CUSTOM: 自定义恢复模式,实现StandaloneRecoveryModeFactory抽象类进行实现,并把该类配置到配置文件,当Master出现异常,会根据用户自定义的方式进行恢复集群状况 NONE: 不持久化集群元数据,当Master出现异常时,新启动的Master不进行恢复集群状态"

    2021-12-08 22:08:00
    赞同 展开评论
问答分类:
问答地址: