开发者社区> 问答> 正文

Join端优化中大表join小表怎么操作?

Join端优化中大表join小表怎么操作?

展开
收起
三分钟热度的鱼 2024-04-21 22:13:00 45 0
1 条回答
写回答
取消 提交回答
  • 通过将需要join的小表分发至map端内存中,将Join操作提前至map端执行,避免因分发key值不均匀引发的长尾效应,复杂度从(M*N)降至(M+N),从而提高执行效率。ODPS SQL与Hive SQL使用mapjoin,SPARK使用broadcast。image.png

    2024-04-21 22:45:30
    赞同 展开评论 打赏
问答地址:
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载