开发者社区> 问答> 正文

RDD的五大特性是什么?

RDD的五大特性是什么?

展开
收起
芯在这 2021-12-06 01:07:38 207 0
1 条回答
写回答
取消 提交回答
  • A list of partition

    一个RDD有一系列的分区/分片

    A function for computing each split/partition 对RDD的每一个分区/分片都作用同一个函数

    A list of dependencies on others RDDs 有一些依赖,在其他的RDD上

    Optionally,a Partitioner for key-value RDDs(e.g to say that the RDD is hash-partitioned) 可选的,对于key-value的RDD的分区策略。

    Optionally,a list of preferred locations to compute each split on(e.g. block locations for an HDFS file) 可选的,数据在哪儿优先把作业调度到数据所在节点进行计算:移动数据不如移动计算

    2021-12-06 01:08:01
    赞同 展开评论 打赏
问答分类:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
Flink中的两类新型状态存储 立即下载
基于streaming构建统一的数据处理引擎的挑战与实践 立即下载
为流处理世界重新设计的存储 立即下载