目前 E-MapReduce 集群中默认启动了
ZooKeeper 服务。
注意事项
目前无论集群内有多少台机器,ZooKeeper 只会有 3 个节点。目前还不支持更多的节点。
创建集群
E-MapReduce 创建集群的软件配置页面,会默认勾选 ZooKeeper,如下图所示:
节点信息
集群创建成功,状态空闲后,查看集群的详情页面,可以查到 ZooKeeper 的节点信息,E-MapReduce 会启动 3 个 ZooKeeper 节点。如下图所示,应用进程一栏标有 ZooKeeper 节点对应的内网 IP (端口默认为 2181),即可访问 ZooKeeper 服务。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
E-MapReduce是阿里云提供的一站式大数据处理平台,它基于Apache Hadoop和Apache Spark等开源技术构建,旨在简化大数据处理的集群搭建、运维和管理过程。您提到的ZooKeeper服务在E-MapReduce集群中的角色是非常关键的,它是分布式系统中用于提供协调服务的一个重要组件,负责管理大型分布式系统的配置信息、命名服务、分布式同步以及集群成员关系等。
如您所述,E-MapReduce集群在创建时,默认会启动ZooKeeper服务,并且不论集群规模大小(即无论集群内有多少台机器),ZooKeeper服务都只会部署3个节点。这是因为ZooKeeper设计上遵循了“多数原则”(majority rule)来保证数据一致性,最小推荐配置为3个节点,这样能确保在一个节点故障的情况下,剩余节点仍能形成多数并继续提供服务,从而保证高可用性。
一旦E-MapReduce集群创建成功并处于空闲状态,您可以通过集群详情页面查看ZooKeeper服务的具体信息,包括每个ZooKeeper节点对应的内网IP地址及默认端口2181。这些信息对于需要直接与ZooKeeper交互的应用或服务来说至关重要,它们可以通过这些节点进行配置信息的读取、写入以及执行其他协调操作。
如果您有更具体的问题或者需要进一步的帮助,比如如何通过E-MapReduce集成其他大数据处理框架、优化集群性能等,欢迎继续提问。