开发者社区> 问答> 正文

RDD的五大特性是什么?

RDD的五大特性是什么?

展开
收起
芯在这 2021-12-06 01:07:38 213 0
1 条回答
写回答
取消 提交回答
  • A list of partition

    一个RDD有一系列的分区/分片

    A function for computing each split/partition 对RDD的每一个分区/分片都作用同一个函数

    A list of dependencies on others RDDs 有一些依赖,在其他的RDD上

    Optionally,a Partitioner for key-value RDDs(e.g to say that the RDD is hash-partitioned) 可选的,对于key-value的RDD的分区策略。

    Optionally,a list of preferred locations to compute each split on(e.g. block locations for an HDFS file) 可选的,数据在哪儿优先把作业调度到数据所在节点进行计算:移动数据不如移动计算

    2021-12-06 01:08:01
    赞同 展开评论 打赏
问答分类:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
朱翥、贺小令|更快更稳更易用:Flink 自适应批处理能力演 立即下载
基于streaming构建统一的数据处理引擎的挑战与实践 立即下载
为并行图数据处理提供高层抽象/语言 立即下载