开发者社区 问答 正文

什么是RDD宽依赖和窄依赖?

什么是RDD宽依赖和窄依赖?

展开
收起
茶什i 2019-10-25 16:14:23 2637 分享 版权
2 条回答
写回答
取消 提交回答
  • 下一站是幸福

    针对不同的转换函数,RDD之间的依赖关系分为窄依赖(narrow dependency) 和宽依赖(Wide Depencency

    2020-08-21 12:26:52
    赞同 展开评论
  • RDD和它依赖的parent RDD(s)的关系有两种不同的类型,即窄依赖(narrow dependency)和宽依赖(wide dependency)。
    1)窄依赖指的是每一个parent RDD的Partition最多被子RDD的一个Partition使用
    2)宽依赖指的是多个子RDD的Partition会依赖同一个parent RDD的Partition

    2019-10-25 16:22:19
    赞同 展开评论
问答分类:
问答地址: