开发者社区> 问答> 正文

什么是RDD宽依赖和窄依赖?

什么是RDD宽依赖和窄依赖?

展开
收起
茶什i 2019-10-25 16:14:23 2569 0
2 条回答
写回答
取消 提交回答
  • 下一站是幸福

    针对不同的转换函数,RDD之间的依赖关系分为窄依赖(narrow dependency) 和宽依赖(Wide Depencency

    2020-08-21 12:26:52
    赞同 展开评论 打赏
  • RDD和它依赖的parent RDD(s)的关系有两种不同的类型,即窄依赖(narrow dependency)和宽依赖(wide dependency)。
    1)窄依赖指的是每一个parent RDD的Partition最多被子RDD的一个Partition使用
    2)宽依赖指的是多个子RDD的Partition会依赖同一个parent RDD的Partition

    2019-10-25 16:22:19
    赞同 展开评论 打赏
问答分类:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载