AI 助理
备案控制台
开发者社区 问答 正文

E-MapReduce如何判断任务是否出现任务倾斜

已解决

E-MapReduce如何判断任务是否出现任务倾斜

展开
收起
阿里云服务支持 2022-12-12 11:06:27 155 分享 版权
来自： 阿里云支持与服务

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 阿里云服务支持
    官方回答

    可以通过以下步骤定位问题：

    1. 在EMR控制台的访问链接与端口页面，单击YARN UI所在行的链接。

    2. 单击Application ID。

    3. 在Reduce Task列表页面，按照完成时间逆序排序，找出Top耗时的Reduce Task任务。

    image.png

    1. 单击Task的Name链接。

    2. 在Task详情页面，单击左侧的Counters。

    image.png

    在Task详情页面，单击左侧的Counters。查看当前Reduce Task中Reduce Input bytes和Reduce shuffle bytes的信息，如果比其他的Task处理的数据量大很多，则说明出现了倾斜问题。

    image.png

    2022-12-12 11:25:08
    赞同 展开评论
问答标签：
mapreduce任务
问答地址：
开发者社区 > 阿里云支持与服务 > 问答
相关问答
E-MapReduce上的Flink任务的Checkpoint 写在哪里合适
69
1
0
E-MapReduce通过hive jdbc方式向集群提交多条不同类型的sql任务会偶发报错 ...
136
1
0
E-MapReduce执行任务有个别map一直卡住
140
1
0
E-MapReduce on ACK是否支持MapReduce任务
52
1
0
E-MapReduce集群上跑spark任务时报错This timeout is contro...
173
1
0
阿里云E-MapReduce文档中 要么手动创建单任务，要么在工作流里关联手动任务
98
1
0
阿里云E-MapReduce如何讓 spark 任務的 dataframe可以出現在日志之內?
115
0
0
阿里云E-MapReduce在 SPARK 任務在不知道 EMR master ip addres
96
2
0
阿里云E-MapReduce是否可以在 SHELL 任務中去 access EMR 的內置 MySQ
88
1
0
mapreduce任务能否往MaxCompute分区表写数据
70
1
0