开发者社区> 问答> 正文

RDD机制?

RDD机制?

展开
收起
茶什i 2019-10-25 16:11:53 1659 0
1 条回答
写回答
取消 提交回答
  • rdd分布式弹性数据集,简单的理解成一种数据结构,是spark框架上的通用货币。
    所有算子都是基于rdd来执行的,不同的场景会有不同的rdd实现类,但是都可以进行互相转换。
    rdd执行过程中会形成dag图,然后形成lineage保证容错性等。 从物理的角度来看rdd存储的是block和node之间的映射。

    2019-10-25 16:17:41
    赞同 展开评论 打赏
问答分类:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
Apache Flink 流式应用中状态的数据结构定义升级 立即下载
低代码开发师(初级)实战教程 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载