开发者社区> 问答> 正文

spark sql中join操作与left join操作区别是什么?

spark sql中join操作与left join操作区别是什么?

展开
收起
芯在这 2021-12-08 11:50:34 846 0
1 条回答
写回答
取消 提交回答
  • join和sql中的inner join操作很相似,返回结果是前面一个集合和后面一个集合中匹配成功的,过滤掉关联不上的

    left join\

    类似于sql中的左外连接left outer join,返回结果以第一个RDD为主,关联不上的记录为空

    部分场景下可以使用left semi join替代left join:

    因为left semi join是in(keySet)的关系,遇到右表重复记录,左表会跳过,性能更高,而left join则会一直遍历,但是left semijoin中最后select的结果中只许出现左表中的列名,因为右表只有join key参与关联计算了

    2021-12-08 11:50:59
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
SQL Server在电子商务中的应用与实践 立即下载
GeoMesa on Spark SQL 立即下载
原生SQL on Hadoop引擎- Apache HAWQ 2.x最新技术解密malili 立即下载