AI 助理
备案控制台
开发者社区 问答 正文

有木有大佬请教一下sparksql的join数据倾斜应该怎么处理呢，join的时候根据号码关联，但是某个号码出现次数特别多

1

展开
收起
社区小助手 2019-05-23 09:34:47 2696 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 社区小助手
    社区小助手是spark中国社区的管理员，我会定期更新直播回顾等资料和文章干货，还整合了大家在钉群提出的有关spark的问题及回答。

    skew_join

    2019-07-17 23:35:53
    赞同 展开评论
问答地址：
开发者社区 > 云计算 > 问答
相关问答
holo查询耗时突然增加了是怎么回事？
1026
8
0
有没有办法调整join算子的并行度？
318
0
0
在并行查询下对子查询的策略之一，共享访问 （Shared Access），用于提前并行执行，是什么意
365
1
0
flinksql中 join时由于key不均匀导致的数据倾斜大佬们都是怎么处理的
941
1
0
在并行查询下对子查询的策略之一，用于提前并行执行；下推执行（Pushed Down），是什么意思？
461
1
0
用finksql查询kafka的数据做count(distinct id)，汇总的数据少了怎么回事
337
0
0
大佬们，select from A JOIN B ON …WHERE…想先过滤A表再关联，有什么办法
1654
2
0
你好，adb分组group by统计@，查询日期范围增加，时而查出结果，时而查不出结果，什么原因？
378
0
0
在单个 Shard 内进行本地的 Agg 操作，可否减少最终聚合操作的数据量？
3266
1
0
Join连接-MapJoin优化时数据倾斜，导致长尾该如何操作呢？
597
1
0