开发者社区> 问答> 正文

EMR中Master节点选型需要注意的地方有哪些?

EMR中Master节点选型需要注意的地方有哪些?

展开
收起
游客5n3d3br4o5qn4 2021-12-07 23:56:01 382 0
1 条回答
写回答
取消 提交回答
  • Master节点主要部署Hadoop的Master进程。例如,NameNode和ResourceManager等。 生产集群建议打开高可用HA,E-MapReduce的HDFS、YARN、Hive和HBase等组件均已实现HA。生产集群建议在创建集群的硬件配置步骤开启高可用。如果购买时未开启高可用,在后续使用过程中无法开启高可用功能。 Master节点主要用来存储HDFS元数据和组件Log文件,属于计算密集型,对磁盘IO要求不高。HDFS元数据存储在内存中,建议根据文件数量选择16 GB以上内存空间。

    2021-12-08 08:17:27
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
生命密码-基因数据的EMR实践 立即下载
超大规模机器学习在EMR的实践 立即下载
EMR弹性低成本离线大数据分析最佳实践 立即下载