如何知道亚马逊emr集群上的mapred-site值？
我遇到了内存问题，所以我查找了参数的默认值，如：
mapreduce.map.memory.mb
mapreduce.reduce.memory.mb
mapreduce.map.java.opts
在亚马逊文档上，并发现默认值很低。所以，我在创建这样的EMR集群时添加了一个配置：
classification=mapred-site,properties=[mapreduce.map.memory.mb=4096,mapreduce.reduce.memory.mb=4096,mapreduce.map.java.opts=-Xmx3072m]
并创建了集群。现在，我如何检查这些值是否确实更新？
展开
收起
1
条回答
写回答
写回答
-
您可以按照以下任一方式查找mapreduce配置详细信息。
方法一：
登录EMR的EC2实例
转到mapreduce配置路径（通常是/ etc / hadoop / conf）
打开mapred-site.xml并搜索您的属性。
方法2：转到JobHistory UI（通常是http：// history-server-hostname：19888 / jobhistory）
遍历工具 - >配置
方法3：希望您还可以从Amazon EMR控制台查看所有分类。
2019-07-17 23:34:03赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
