开发者社区> 问答> 正文

如何知道亚马逊emr集群上的mapred-site值?

小六码奴 2019-04-23 13:43:56 374

我遇到了内存问题,所以我查找了参数的默认值,如:

mapreduce.map.memory.mb
mapreduce.reduce.memory.mb
mapreduce.map.java.opts
在亚马逊文档上,并发现默认值很低。所以,我在创建这样的EMR集群时添加了一个配置:

classification=mapred-site,properties=[mapreduce.map.memory.mb=4096,mapreduce.reduce.memory.mb=4096,mapreduce.map.java.opts=-Xmx3072m]
并创建了集群。现在,我如何检查这些值是否确实更新?

数据挖掘
分享到
取消 提交回答
全部回答(1)
  • 小六码奴
    2019-07-17 23:34:03

    您可以按照以下任一方式查找mapreduce配置详细信息。

    方法一:

    登录EMR的EC2实例
    转到mapreduce配置路径(通常是/ etc / hadoop / conf)
    打开mapred-site.xml并搜索您的属性。
    方法2:

    转到JobHistory UI(通常是http:// history-server-hostname:19888 / jobhistory)
    遍历工具 - >配置
    方法3:

    希望您还可以从Amazon EMR控制台查看所有分类。

    0 0
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

推荐文章
相似问题
推荐课程