开发者社区> 问答> 正文

EMR 集群节点类型主要分为哪几种?

EMR 集群节点类型主要分为哪几种?

展开
收起
甜甜的嘻嘻嘻 2022-08-03 16:06:14 722 0
1 条回答
写回答
取消 提交回答
  • EMR 集群节点类型主要分以下四种:

    1.Master 节点:Master 节点部署了 HDFS Name Node 和 YARN ResourceManager。此外,相应的 HDFS、YARN、Hive、HBase 等组件均已实现了 HA 机制。

    2.Core 节点:Core 节点主要部署 YARN NodeManager 和 DataNode。Core节点不支持弹性伸缩。

    3.Task 节点:用户可以使用 Task 进行弹性伸缩或者使用竞价实例的购买方式。如果用户有深度学习需求,可以通过 YARN 调度 GPU 资源,同时也可以在 Task 节点选择购买 GPU 实例。

    4.Gateway 节点:Gateway 节点部署 Haddop、Spark、Flink 等组件的客户端,支持部署不同部门采用不同的参数和配置。因为用户可能会在不同客户端采用不同配置,从而实现用户隔离,用户可以购买 Gateway 节点实现资源配置上的隔离,同时减轻 Master 节点上的工作压力。

    以上内容摘自《大数据工程师必读手册》电子书,点击https://developer.aliyun.com/topic/download?id=29可下载完整版

    2022-08-03 16:18:45
    赞同 展开评论 打赏
来源圈子
更多
收录在圈子:
阿里云开发者社区官方技术圈,用户产品功能发布、用户反馈收集等。
问答排行榜
最热
最新

相关电子书

更多
生命密码-基因数据的EMR实践 立即下载
超大规模机器学习在EMR的实践 立即下载
EMR弹性低成本离线大数据分析最佳实践 立即下载