开发者社区 问答 正文

RDD的五大特性是什么?

RDD的五大特性是什么?

展开
收起
芯在这 2021-12-06 01:07:38 236 分享 版权
1 条回答
写回答
取消 提交回答
  • A list of partition

    一个RDD有一系列的分区/分片

    A function for computing each split/partition 对RDD的每一个分区/分片都作用同一个函数

    A list of dependencies on others RDDs 有一些依赖,在其他的RDD上

    Optionally,a Partitioner for key-value RDDs(e.g to say that the RDD is hash-partitioned) 可选的,对于key-value的RDD的分区策略。

    Optionally,a list of preferred locations to compute each split on(e.g. block locations for an HDFS file) 可选的,数据在哪儿优先把作业调度到数据所在节点进行计算:移动数据不如移动计算

    2021-12-06 01:08:01
    赞同 展开评论
问答分类:
问答地址: