开发者社区 问答 正文

Join端优化中大表join小表怎么操作?

Join端优化中大表join小表怎么操作?

展开
收起
三分钟热度的鱼 2024-04-21 22:13:00 86 分享 版权
1 条回答
写回答
取消 提交回答
  • 通过将需要join的小表分发至map端内存中,将Join操作提前至map端执行,避免因分发key值不均匀引发的长尾效应,复杂度从(M*N)降至(M+N),从而提高执行效率。ODPS SQL与Hive SQL使用mapjoin,SPARK使用broadcast。image.png

    2024-04-21 22:45:30
    赞同 展开评论
问答地址: