开发者社区 问答 正文

E-MapReduce执行任务有个别map一直卡住

已解决

E-MapReduce执行任务有个别map一直卡住

展开
收起
提个问题 2024-06-09 14:11:04 71 分享
分享
版权
举报
1 条回答
写回答
取消 提交回答
  • 开发者社区问答官方账号
    官方回答
    采纳回答
    map阶段发生了数据倾斜,导致最后一个map上需要读取的数据量太大导致的。 需要进行进一步确认下:
    1、上游文件的大小特别不均匀(主要是join操作,大小表关联),并且小文件特别多,导致当前表Map端读取的数据分布不均匀,引起长尾。
    2、Map端做聚合时,由于某些Map Instance 读取文件的某个值特别多而引起长尾,主要是指Count Distinct操作。
    2024-06-09 14:11:05 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等